기술적 요약: 대규모 언어 모델에서 내쉬 균형을 억제하는 요인은 무엇인가?

문제 제기

실증 연구에 따르면 대규모 언어 모델 (LLM) 에이전트는 전략적 상호작용에서 내쉬 균형에서 체계적으로 벗어나는 것으로 확인되었으며, 죄수의 딜레마 시나리오에서 과도한 협력과 같은 인간과 유사한 행동 편향을 자주 나타낸다. 이러한 행동 현상은 문서화되었으나, 이러한 편차의 기작적 이유는 아직 알려지지 않았다. 구체적으로 LLM 이 내쉬 균형을 계산할 전략적 역량이 부족해서인지, 아니면 내쉬 균형을 계산하되 내부 편향으로 인해 출력을 억제하는지는 불분명하다. 본 논문은 전략적 의사결정 중 LLM 의 내부 표현을 조사하고 이러한 편차가 인과적으로 가역적인지 여부를 규명함으로써 이 격차를 해소한다.

방법론

본 연구는 네 가지 오픈소스 지시 미세조정 모델 (Llama-3-8B, Llama-3-70B, Qwen2.5-32B, Qwen2.5-72B) 을 대상으로 행동 실험과 기작적 해석 가능성 기법을 결합하여 수행되었다.

행동 실험:

• 게임: 네 가지 고전적인 2 인 게임이 사용되었다: 죄수의 딜레마 (PD), 성별의 전쟁 (BoS), 사냥 게임 (SH), 그리고 매칭 페니 (MP).
• 프로토콜: 실험에는 자기 대결 (모델 대 복제본) 과 교차 대결 (모든 12 가지 순서 조합의 이종 짝짓기) 이 포함되었다.
• 추론 모드: 세 가지 프롬프팅 조건이 테스트되었다: 직접 (행동만), 사고의 사슬 (CoT, 가시적 추론), 그리고 스크래치패드 (비공개 추론).
• 지표: '내쉬 거리'($d_{Nash}$) 는 50 라운드에 걸친 경험적 혼합 전략과 가장 가까운 내쉬 균형 사이의 유클리드 거리로 계산되었다.

기작적 분석 (Llama-3-8B):

• 선형 프로빙: 32 개 레이어의 각 레이어에서 은닉 상태 ($h_l$) 에 대해 로지스틱 분류기를 훈련하여 상대방의 과거 행동, 협력 경향, 그리고 내쉬 행동을 디코딩했다.
• 로그릿 렌즈 (Logit Lens): 출력 임베딩 행렬을 중간 은닉 상태에 적용하여 순방향 통과 전반에 걸쳐 모델의 토큰 예측이 어떻게 진화하는지 추적했다.
• 헤드 제거 (Ablation): 상대방 추적을 담당하는 최고 점수 어텐션 헤드를 0 으로 제거하여 국소화된 회로를 테스트했다.
• 활성화 조향: 대비적 프롬프트 (협력 대 배신 과거) 를 사용하여 잔여 스트림에서 '내쉬 방향' 벡터를 추출하고 이를 모델에 주입하여 행동의 인과적 변화를 관찰했다.
• 개념 클램핑: 식별된 방향의 인과적 필요성을 검증하기 위해 은닉 상태의 협력 성분을 고정된 스칼라로 대체했다.

주요 기여 및 결과

1. 기작적 발견: 인코딩과 억제

핵심 기작적 발견은 LLM 이 내쉬 전략을 계산할 역량을 갖추고 있지만, 최종 레이어에서 이를 능동적으로 억제한다는 것이다.

• 상대방 과거 행동 인코딩: 상대방의 마지막 행동에 대한 정보는 첫 번째 레이어 (Layer 0) 에서 거의 완벽한 충실도 (96% 프로브 정확도) 로 인코딩되며, 이후 레이어들에 의해 점진적으로 소비된다.
• 약한 내쉬 인코딩: 전용 '내쉬 모듈'은 존재하지 않는다. 내쉬 행동에 대한 선형 프로브 정확도는 네트워크 전반에 걸쳐 약하게 유지되며 56% 를 초과한 적이 없다.
• 억제 회로: 로그릿 렌즈를 사용하여 관찰한 바에 따르면, 네트워크의 처음 약 75%(레이어 0–23) 동안 모델의 내부 예측은 내쉬 행동 (예: PD 에서 배신) 을 선호한다. 그러나 마지막 4 분의 1(레이어 24–30) 에는 '친사회적 오버라이드'가 나타나 확률을 협력 쪽으로 전환시킨다 (레이어 30 에서 협력 확률이 84% 로 정점에 도달). 마지막 레이어 (31) 는 이를 부분적으로 수정하지만 종종 비내쉬 행동으로 확정한다.
• 분산된 성질: 상대방 추적을 담당하는 특정 어텐션 헤드를 제거해도 행동 분포에 영향을 주지 않았다 ($\Delta P(Nash) = 0.000$). 협력 오버라이드는 잔여 스트림 내의 분산된 효과이며 특정 헤드로 국한되지 않는다.

2. 조향을 통한 인과적 제어

본 연구는 잔여 스트림을 조작함으로써 전략적 행동을 인과적으로 제어할 수 있음을 입증했다.

• 내쉬 방향 추출: 2 번째 레이어에서 협력 편향을 나타내는 선형 방향을 추출했다.
• 양방향 조향: 이 벡터를 주입함으로써 행동을 단조롭게 제어할 수 있었다.
  • 음성 조향: 협력 방향을 감소시킴 ($\alpha = -5$) 에 따라 내쉬 행동 (배신) 의 확률이 99.2% 로 증가했다.
  • 양성 조향: 방향을 증가시킴 ($\alpha = +10$) 에 따라 협력이 88.7% 로 도달했다.
• 개념 클램핑: 협력 성분을 고정된 스칼라로 대체한 결과, 스칼라 값과 협력 확률 사이에 강한 상관관계 ($r=0.73$) 가 확인되어 해당 방향이 우연한 특징이 아닌 인과적임을 증명했다.

3. 행동 및 교차 대결 현상

• 규모와 추론: 사고의 사슬 (CoT) 추론은 작은 모델 (예: Llama-8B, Qwen-32B) 에서 협력 선입관을 증폭시켜 내쉬 플레이를 악화시킨다. 그러나 대규모 모델 (>70B 파라미터) 에서는 CoT 가 편향을 넘어 내쉬 플레이에 근접할 수 있게 하여, 편향을 넘어 추론하는 능력이 규모에 의존함을 시사한다.
• 보편적 협력 잠금: 직접 모드에서 모든 모델은 크기와 상관없이 PD 에서 100% 협력으로 기본 설정된다.
• 교차 대결 역학:
  • 배신 전염: 작은 모델 (Llama-8B) 은 초기에 배신함으로써 어떤 대형 파트너의 협력도 '풀어낼' 수 있으며, 이는 파트너를 배신하게 만들어 내쉬 균형에 도달하게 한다.
  • 협력 강화: 두 개의 대형 모델이 짝을 이루면 서로의 협력 본능을 무한히 강화하여, 개별적으로 내쉬 균형 (상호 배신) 에 도달할 수 있는 능력에도 불구하고 내쉬 균형에 도달하지 못한다.
  • 역할 비대칭: 조정 게임 (BoS) 에서 '에이전트 A'(먼저 이동) 로 할당된 에이전트가 시스템이 수렴할 균형을 결정한다.

중요성 및 주장

본 논문은 LLM 이 내쉬를 플레이하지 못하는 '왜'에 초점을 맞추는 것은 잘못되었다고 주장한다. 핵심 발견은 LLM 이 내쉬 플레이 역량이 부족해서가 아니라, 이를 계산한 후 억제한다는 점이다.

• 진단: 편차는 전략적 추론 능력의 부재가 아니라, 인간 텍스트에 대한 사전 학습과 RLHF 에 의해 조절되는 '친사회적 오버라이드'의 결과이다. 이 오버라이드는 네트워크의 최종 레이어에 집중되어 있다.
• 개입: 억제는 잔여 스트림 내의 인과적 메커니즘이므로, 재학습 없이 추론 시점에 역전시킬 수 있다. 초기 레이어에서 작은 개입 (조향) 만으로도 모델을 거의 완벽한 협력에서 거의 완벽한 내쉬 플레이로 전환할 수 있다.
• 배포에 대한 함의: 결과는 인구 구성과 에이전트 역할 할당이 중요함을 강조한다. 단일의 작은 배신 에이전트는 대형 모델들의 협력 그룹을 불안정하게 만들 수 있는 반면, 두 개의 대형 모델은 게임 구조에 비효율적인 협력 잠금에 갇힐 수 있다.

저자들은 규모와 아키텍처에 따른 억제 회로와 그 변이를 이해하는 것이 단순히 행동적 편차를 관찰하는 것보다 더 생산적이라고 결론지었다. 본 연구는 LLM 의 전략적 실패에 대한 인과적 설명을 제공하고 이를 수정하는 방법을 제시한다.