Triadic Werewolf: A Jester Role for Multi-Hop Theory of Mind in LLMs

기술 요약: 삼자적(Triadic) 웨어울프: LLM의 다중 홉 마음 이론(Theory of Mind)을 위한 조커 역할

문제 정의
사회적 추론 게임(예: 웨어울프, 아발론) 내에서 대규모 언어 모델(LLM)의 마음 이론(ToM)을 평가하기 위한 현재의 벤치마크는 주로 **이자적(dyadic)**입니다. 이러한 게임은 플레이어를 두 개의 대립하는 진영(예: 마을 사람 vs 웨어울프)으로 나눕니다. 이 경우 모든 관찰 가능한 단서가 하나의 숨겨진 진영을 가리키게 됩니다. 결과적으로, 모델은 진정한 의미에서 상대방의 동기나 숨겨진 정신 상태를 시뮬레이션하지 않고도, 표면적인 휴리스틱(예: "망설임은 웨어울프임을 암시한다")을 악용하여 높은 점수를 얻을 수 있습니다. 이를 **단서 충분성 문제(cue-sufficiency problem)**라고 부릅니다. 즉, 이자적 조건에서의 높은 점수는 반드시 진정한 다중 홉 ToM 추론을 나타내는 것은 아닙니다. 왜냐로 인해 최적의 정책과 순수하게 단서를 읽는 정책이 동일한 행동을 선택할 수 있기 때문입니다.

방법론
이러한 우연한 일치를 깨뜨리기 위해, 저자들은 세 번째 진영인 **조커(Jester)**를 추가한 10인용 벤치마크인 삼자적(Triadic) 웨어울프를 도입합니다.

• 게임 구조: 이 게임에는 6명의 마을 사람, 2명의 웨어울프, 1명의 의사, 1명의 조커가 포함됩니다. 조커의 효용 함수는 반전되어 있습니다: 조커는 낮 동안 다수에 의해 투표되어 추방(exile)될 때에만 승리합니다. 반대로, 웨어울프는 마을 사람을 제거함으로써 승리하고, 마을 사람은 웨어울프를 제거함으로써 승리합니다.
• 인센티브 갈등: 이 구조는 **단서 모호성(cue ambiguity)**을 생성합니다. 높은 의심을 받는 플레이어는 모호한 증거가 됩니다. 그들은 (추방되어야 할) 웨어울프일 수도 있고, (추ло생략 - 원문 유지: 마을 사람의 패배를 야기하므로 추방해서는 안 될) 조커일 수도 있습니다. 웨어울프 또한 의심스러운 플레이어를 추방하는 것이 조커일 수도 있다는 점을 추론해야 하며, 만약 그렇다면 게임이 종료되어 웨어울프의 패배로 이어질 수 있음을 인지해야 합니다.
• 실험 설계: 본 연구는 세 가지 프런티어 모델(GPT-4.1, DeepSeek-V3.1, Llama-3.3-70B)을 대상으로 60번의 게임(모델당 10게임씩, 조건별 적용)을 통해 평가합니다.
  • 조건: **조커 자기 학습 루프(Jester self-learning loop)**를 ON/OFF로 설정합니다. ON 조건에서, 조커 모델은 게임을 요약하고, 교훈(전술, 해야 할 일, 피해야 할 일)을 추출하며, 이를 시스템 프롬프트에 다시 피드백되는 지속적인 학습 파일에 추가합니다.
  • 지표: 결과는 진영 승률, 투표 역학(특히 1일 차 투표), 그리고 기만 유형 및 의심 점수의 행동 분석을 통해 측정됩니다.
  • 대조군: 단서 충분성을 격리하기 위해 GPT-4.1을 사용하여 이자적 대조군(조커를 제거하고 마을 사람 1명을 추가)을 실행합니다.
• 주요 기여:
  1. 삼자적 벤치마크: 조커의 반전된 효용이 표준 이자적 추론 게임의 단서 충분성을 깨뜨려, 에이전트가 세 개의 경쟁하는 효용 함수를 가로질러 추론하도록 강제하는 10인용 웨어울프 변형 모델입니다.
  2. 통제된 평가: 기만적인 맥락에서 자기 학습 루프의 체계적인 평가를 수행하며, 조커의 1차적 이득과 다른 진영에 미치는 2차적 영향을 측정합니다.
  3. 기제적 분석: 141개의 누적된 조커 교훈을 연역적 코딩을 통해 분류하며, 이를 전략 및 마음 이론(ToM) 차수에 따라 구분합니다 (1차: 단순 명령형; 2차: 타인의 지각 참조; 3차: 두 진영의 지각 간 명시적 대비, 예: "마을 사람과 정렬된 것처럼 보이지 않으면서도 웨어울프처럼 보이기").

결과

• 조커의 우세: 모든 모델에서 조커는 55~70%의 승률을 기록한 반면, 웨어울프는 20%를 거의 넘지 못했습니다. 이는 모델들이 단서 모호성을 해결하는 데 실패하여, 높은 의심을 받는 플레이어를 추방해야 할 웨어울프로 취급함으로써 의도치 않게 조커를 돕고 있음을 시사합니다.
• 자기 파괴(Self-Sabotage): 웨어울프들은 1일 차에 조커에게 투표하는 경우가 빈번하며(GPT-4.1의 경우 60~70%), 이는 웨어울프 진영의 패배로 게임을 끝내는 엄격히 자기 파괴적인 행동입니다. 이는 조커를 별개의 세 번째 당사자이자 서로 다른 인센티브를 가진 존재로 모델링하는 데 실패했음을 나타냅니다.
• 대체 효과(Substitution Effect): 자기 학습 루프가 조커의 승률을 높일 때, 그 손실은 거의 전적으로 마을 사람에게 흡수되며, 웨어울프에게는 전이되지 않습니다. 웨어울프는 이미 추론 과제에서 실패하고 있었으며, 조커의 이득은 마을 사람의 신념 업데이트를 이용하는 데서 옵니다.
• 모델별 학습 특성:
  • DeepSeek-V3.1: 자기 학습으로부터 가장 큰 이득(+40% 승률)을 보였습니다. 이 모델은 유일하게 3차 ToM 항목(교훈의 15.4%)을 안정적으로 생성하며, 웨어울프를 흉내 내면서도 마을 사람과의 정렬을 피하는 법을 명시적으로 학습합니다.
  • GPT-4.1: 천장 효과(ceiling effect)를 보입니다. 높은 조커 승률(70%)에서 시작하며, 자기 학습은 개선을 거의 가져오지 못하거나 일부 지표에서 오히려 약간의 저하를 보입니다. 이 모델은 미묘한 대비적 추론보다는 불규칙한 행동과 공격성에 의존합니다.
  • Llama-3.3-70B: 중간 정도의 이득(+20%)을 보이지만, 명시적인 삼자적 대비 없이 1차 및 2차 추론(단순 명령 또는 단순 지각 참조)에 의존합니다.
• 모델 속성으로서의 기만: 기만 스타일(예: 조작 vs 왜곡)은 특정 모델의 역할 전반에 걸쳐 일관되게 나타나며, 이는 모델이 상대의 인센티브에 따라 전략을 적응시키기보다 고정된 "기만 미학(deception aesthetic)"을 적용함을 시사합니다.

의의 및 주장
본 논문은 삼자적 인센티브 구조가 이자적 게임에서는 보이지 않는 다중 에이전트 추론의 층위를 드러낸다고 주장합니다. 결과는 현재의 프런티어 LLM들이 올바른 행동이 숨겨진 역할의 효용에 달려 있을 때, "의심스러운 마을 사람/조커"와 "의심스러운 웨어울프"를 구별하는 데 필요한 다중 홉 ToM 추론을 신뢰성 있게 수행하지 못함을 보여줍니다.

저자들은 이자적 벤치마크에서의 높은 점수가 진정한 정신 상태 추론이 아니라 단서 충분성의 결과물일 수 있다고 주장합니다. 모델이 조커의 승리를 막지 못하는 현상(구체적으로 웨어울프의 자기 파괴와 마을 사람의 조커와 웨어울프를 구별하지 못하는 무능력)은 이러한 한계의 행동적 징후 역할을 합니다. 또한, 본 연구는 자기 학습 루프가 복잡하고 대비적인 전략(DeepSeek-V3.1에서 확인됨)을 습득하도록 도울 수 있지만, 이미 과업을 포화 상태에 도달했거나 다른 휴리스틱에 의존하는 모델(GPT-4.1에서 확인됨)에서는 성능을 저하시킬 수 있음을 입증합니다.

저자들은 조커의 승률이 다중 홉 ToM 실패를 측정하는 직접적인 척도로 기능하며, 삼자적 설정이 LLM이 표면적인 패턴 매칭을 넘어 경쟁하는 인센티브를 진정으로 추론할 수 있는지 평가하기 위한 필수적인 구조적 변화임을 결론짓습니다.