기술 요약: MINDGAMES: 다중 에이전트 LLM 의 사회적 및 전략적 추론 평가를 위한 라이브 아레나

1. 문제 제기

대규모 언어 모델 (LLM) 이 점차 상호작용 에이전트로서 배포되고 있지만, 확장된 다중 턴 상호작용을 통한 사회적 및 전략적 추론 능력은 여전히 잘 이해되지 않고 있습니다. 기존 평가들은 정적인 단편적 상황이나 단일 게임 벤치마크에 크게 의존하고 있어, 실제 세계의 다중 에이전트 환경에서 요구되는 지속적이고 다면적인 추론을 포착하지 못합니다. 구체적으로, 현재 벤치마크들은 종종 다음 요소들이 부족합니다:

• 동적 상호작용: 실시간으로 신념 귀속, 상대 적응, 그리고 기만을 모델링할 수 있는 능력.
• 상호보완적 추론 요구: 숨겨진 정보 하의 신념 귀속, 상대 모델링, 협력적 추론, 그리고 지속적 기만을 동시에 테스트하는 통합 프레임워크.
• 재현 가능한 데이터: 사후 분석 및 훈련을 위한 대규모 궤적 말뭉치.

이 논문은 LLM 에서 "마음 이론 (Theory of Mind, ToM)"으로의 진전을 측정하려면, 에이전트들이 고립되고 스크립트화된 작업이 아닌 지속적 상호작용을 통해 다른 에이전트에 대해 추론하고 반응해야 하는 환경이 필요하다고 주장합니다.

2. 방법론: MINDGAMES 플랫폼

MINDGAMES 는 ToM 과 관련된 상호보완적 추론 요구를 실현하기 위해 TextArena를 기반으로 구축된 다중 게임 아레나 및 평가 플랫폼입니다.

2.1 게임 환경

이 벤치마크는 정보 구조와 인센티브 정렬의 축을 따라 선정된 네 가지 고유한 게임 환경을 포괄합니다:

1. 콜로넬 블로토 (2 명, 제로섬): 숨겨진 정보 하의 상대 모델링을 테스트합니다. 플레이어는 의사소통 없이 전투장에 병력을 배분하며, 상대 전략을 추론해야 합니다.
2. 반복 죄수의 딜레마 (3 명, 혼합 동기): 의사소통을 통한 신뢰와 배신을 테스트합니다. 에이전트들은 자유 형식의 채팅을 한 후 사적인 협력/배신 결정을 내립니다.
3. 코드네임 (4 명, 협력): 제한된 신호 하의 협력적 추론을 테스트합니다. 팀은 한 단어 단서로 숨겨진 단어 연관성을 추론해야 하며, 이는 팀원의 해석을 예상하는 능력을 요구합니다.
4. 시크릿 마피아 (6 명, 비대칭 정보): 지속적 기만과 추리를 테스트합니다. 플레이어는 숨겨진 역할 (마피아 vs 마을 주민) 을 가지고 있으며, 상대를 제거하기 위해 공개 토론과 사적 조정을 navigat 해야 합니다.

2.2 평가 프로토콜

• 인프라: TextArena 기반을 구축하여 통합된 텍스트 전용 API, 온라인 매칭, 그리고 전체 궤적 로깅을 제공합니다.
• 평가 시스템: 변수가 있는 매치 크기 (2~6 명) 와 팀 기반 환경을 처리하기 위해 TrueSkill(베이지안 기술 평가 시스템) 을 사용하여, 단순 승률보다 더 강력한 지표를 제공합니다.
• 경쟁 구조 (NeurIPS 2025):
  • 트랙: 일반화 트랙 (블로토, IPD, 코드네임) 과 사회적 추리 트랙 (시크릿 마피아).
  • 부문: 효율적 (≤9B 파라미터) 과 무제한 (상한 없음).
  • 단계: 1 단계 (개방형 온라인 사다리) 를 통한 반복적 개발; 2 단계 (최종 평가) 는 고정된 제출물과 재설정된 평가를 통해 공정한 비교를 보장합니다.

2.3 데이터 공개

이 경쟁은 29,571 개의 게임 (94,132 개의 플레이어 궤적, 2.43 억 토큰) 으로 구성된 데이터셋을 생성했으며, 턴 수준의 관찰, 행동, 보상, 메타데이터를 포함합니다. 또한, **MindGames 참조 세트 (MG-Ref)**가 공개되었습니다: 이는 고정된 최상위 순위의 오류가 적은 2 단계 제출물과 결정론적 오프라인 토너먼트 프로토콜을 짝지어, 미래 에이전트들이 동일한 측정 렌즈 하에서 점수를 받을 수 있도록 한 것입니다.

3. 주요 결과 및 발견

3.1 에이전트 수준 설계 패턴

76 개 팀의 944 건 제출물에 대한 분석은 뚜렷한 성공 패턴을 드러냈습니다:

• 훈련 vs 추론: 효율적 부문에서 상위권 수행자들은 게임 궤적에 대한 미세 조정 (SFT 또는 RL) 을 주된 전략으로 삼았습니다. 무제한 부문에서 상위 에이전트들은 더 강력한 베이스 모델과 함께 추론 시간의 발판 (코드 실행, 상태 추적, 모듈식 파이프라인) 에 더 의존했으나, 최상위 순위 에이전트 (In2AI) 는 두 부문 모두에서 RL 로 훈련된 8B 모델을 사용했습니다.
• 데이터 큐레이션: 품질 필터링이 raw 데이터 양보다 더 중요함이 입증되었습니다. 공격적인 필터링 (예: 고품질 전략적 단계만 유지) 은 더 크고 노이즈가 많은 말뭉치로 훈련하는 것보다 우수한 성과를 거두었습니다.
• 인지 발판: 해당 미세 조정 없이 모델에 메모리나 구조화된 추론 모듈을 추가하는 것은 종종 성능을 저하시켰습니다. 이러한 구조는 SFT 와 짝지어졌을 때 가장 효과적이었습니다.
• 모듈식 아키텍처: 성공적인 시스템들은 종종 지각, 신념 업데이트, 행동 생성을 별도의 구성 요소로 분리했습니다 (예: 상황 평가와 행동 선택을 분리하는 듀얼 에이전트 아키텍처).

3.2 실패 모드

• 규칙 준수: 게임 규칙에 대한 취약한 준수가 주요 병목 현상이었습니다. 오류율은 환경에 따라 크게 달라졌습니다:
  • IPD: 0% 오류율 (자동 수정으로 인해).
  • 콜로넬 블로토: 8.5% 오류율 (주로 포맷팅).
  • 코드네임: 38.6% 오류율 (불법 단서).
  • 시크릿 마피아: 50.3% 오류율 (무효 이동, 상태 추적 부실).
• 상태 추적: 시크릿 마피아에서 모델들은 종종 구식 정보에 기반하여 행동했습니다 (예: 이미 제거된 플레이어에게 투표). 이는 장기 상태 유지에 대한 어려움을 나타냅니다.
• 정보 누출: 사회적 추리에서 모델들은 종종 추론 흔적이나 공개 통신을 통해 숨겨진 역할을 실수로 드러냈습니다.

3.3 평가 타당성과 교란 요인

이 논문의 중요한 기여는 리더보드 타당성 감사를 통해 평가 신뢰도가 환경에 크게 의존함을 드러낸 것입니다:

• IPD 및 콜로넬 블로토: 전략적 능력에 대한 상대적으로 해석 가능한 신호를 제공합니다.
• 코드네임: 순위는 전략적 기술과 규칙 준수 강건성을 혼합합니다.
• 시크릿 마피아: 뚜렷한 **"오류 - 생존 교란"**을 보입니다. 많은 오류가 치명적이지 않아 (자동 수정됨) 게임이 종종 상대의 실패로 인해 조기에 종료되기 때문에, 높은 순위는 종종 우수한 전략적 기만보다는 상대 오류에 대한 강건성을 반영합니다. 이 트랙의 최상위 모델들은 상대가 실패했기 때문에 주로 승리했으며, 더 나은 전략을 실행했기 때문은 아니었습니다.

4. 중요성 및 주장

이 논문은 MINDGAMES 를 단순히 벤치마크가 아닌, 다중 에이전트 추론의 한계를 연구하기 위한 재현 가능한 자원으로 위치시킵니다. 주요 주장은 다음과 같습니다:

1. 진전의 맥락화: 이 논문은 에이전트형 LLM 이 풍부한 사회적 추론을 "해결"하지 못했다고 주장합니다. 대신, 상호작용 메커니즘이 충분히 신뢰할 수 있을 때만 드러나는 부분적이고 환경에 의존적인 능력을 보여줍니다.
2. 규모보다 엔지니어링: 구조화된 상호작용 환경에서의 성공은 종종 raw 모델 파라미터 수보다 원칙적인 시스템 설계 (행동 유효성 제어, 상태 유지, 보상 귀속) 에 더 의존합니다.
3. 측정 인식: 이 논문은 라이브 다중 에이전트 리더보드가 단일 안정적 구성 요소를 측정하지 않는다고 강조합니다. 점수가 진정한 전략적 능력을 반영하는지 아니면 환경의 인공물 (예: 오류 생존) 인지를 구분하기 위한 프레임워크를 제공합니다.
4. 자원 가용성: 데이터셋, MG-Ref 참조 세트, 오프라인 토너먼트 프로토콜을 공개함으로써, MINDGAMES 는 미래 연구가 라이브 리더보드의 "농사" 유인을 우회하고 사회적 및 전략적 추론의 견고하고 재현 가능한 평가에 집중할 수 있게 합니다.

저자들은 이 분야의 미래 진전은 더 강력한 모델뿐만 아니라, 실패 역학과 평가 교란 요인을 명시적으로 고려하는 더 신뢰할 수 있는 환경과 더 날카로운 측정 프로토콜을 필요로 한다고 결론지었습니다.