Cooperate to Compete: Strategic Coordination in Multi-Agent Conquest

다음은 논문 "Cooperate to Compete: Strategic Coordination in Multi-Agent Conquest"(C2C) 에 대한 상세한 기술 요약입니다.

1. 문제 제기

본 논문은 대규모 언어 모델 (LM) 기반 에이전트 평가에서 중요한 공백인 혼합 동기 환경을 다룹니다. 기존 벤치마크는 순수 협력 작업 (공유 목표) 이나 엄격한 경쟁, 단기 게임에 주로 초점을 맞추었습니다. 그러나 실제 세계 시나리오 (예: 지정학, 비즈니스 협상) 는 에이전트들이 장기적인 경쟁 목표를 달성하기 위해 단기 협력이 필요한 혼합 동기 환경을 항해해야 합니다.

이 분야의 주요 과제는 다음과 같습니다:

• 비대칭 정보: 에이전트들은 사적 목표와 제한된 가시성 (전쟁의 안개) 을 가집니다.
• 구속력 없는 합의: 에이전트들은 강제 메커니즘 없이 신뢰와 평판에 의존해야 합니다.
• 동적 동맹: 에이전트들은 변화하는 인센티브에 따라 동맹을 전략적으로 형성하고 파기해야 합니다.
• 장기 계획: 성공은 많은 턴에 걸친 계획을 요구하며, 즉각적인 양보와 미래 보상을 균형 있게 조절해야 합니다.

현재의 LM 들은 기만, 협상의 공격성, 신뢰성 측면에서 이러한 복잡한 조정 역학을 항해하는 능력에 대해 엄격하게 테스트되지 않았습니다.

2. 방법론: C2C 환경

저자들은 보드 게임 Risk에서 영감을 받았으나 공간적 전략보다 사회적 추론을 우선시하도록 재설계된 Cooperate to Compete(C2C)라는 다중 에이전트 게임 환경을 도입했습니다.

• 게임 구조:

  • 지도: 4 개의 지역 (북서, 북동, 남서, 남동) 으로 나뉘어 있고 '병목' 지역으로 연결된 12 개의 영토.
  • 플레이어: 4 명의 플레이어 (인간 또는 AI).
  • 목표: 각 플레이어는 두 개의 특정 비인접 지역을 장악하는 비밀 목표를 가집니다. 이를 최초로 달성한 자가 승리합니다.
  • 전쟁의 안개: 플레이어는 자신이 통제하거나 접경하는 영토만 볼 수 있어 정보가 전략적 자산이 됩니다.
  • 행동: 강화, 공격, 지원 (동료에게 병력 파견), 수송, 그리고 협상.
  • 협상: 비공개 자연어 채널을 통해 구속력 없는 거래 (예: 비공격 조약, 지원 약속, 정보 공유) 가 가능합니다. 거래는 기계적 패널티 없이 평판적 결과만 초래하며 파기될 수 있습니다.

• 실험 설계:

  • 규모: 1,100 건 이상의 게임, 16,000 건의 비공개 대화, 1,520 만 개의 토큰 생성.
  • 참가자:
    • 사용자 연구: 3 명의 AI 상대와 대결한 40 명의 인간 (82 건의 게임).
    • AI 만: 서로 대결하는 4 명의 AI 에이전트 (인간 시작 위치와 매칭).
    • 테스트된 모델: Frontier 및 미드레벨 모델로 Gemini 3.1 Pro/Flash Lite, Grok 4.1 (추론/비추론), GPT-5.2/4.1 Mini 등이 포함됨.
  • 개입: 저자들은 특정 행동 가설 (예: "공격적으로 협상", "지원 요청", "기만") 을 테스트하기 위해 AI 에이전트에 타겟팅된 프롬프트 기반 개입을 적용했습니다.

3. 주요 기여

1. C2C 환경: 비대칭 정보와 구속력 없는 계약을 가진 혼합 동기 환경에서 장기 에이전트 조정을 연구하도록 특별히 설계된 최초의 환경.
2. 실증적 인간-AI 비교: 협상 전략에서 인간과 LM 기반 에이전트 간의 상당한 행동 차이를 드러낸 포괄적 분석.
3. 성능 최적화: 타겟팅 프롬프팅이 에이전트 행동을 크게 변화시키고 승률을 향상시킬 수 있음을 입증하여, 협상 에이전트 훈련을 위한 테스트베드로서 C2C 의 유용성을 증명함.

4. 주요 결과

A. 인간 vs AI 성능

• 승률: 인간은 '기준' AI 에이전트보다 훨씬 높은 승률 (41.5% 대 22.0%) 을 보였으나, 최상위 Gemini 3.1 Pro(44.6%) 와는 통계적으로 구별되지 않았습니다.
• 협상 공격성:
  • 거래 성사: 인간은 협상의 **73.5%**에서만 거래를 성사시킨 반면, AI 는 거의 항상 (>94%) 거래를 성사시켰습니다.
  • 역제안: 인간은 역제안을 할 가능성이 더 높았으며, 초기 제안을 직접 수락하는 비율은 **56.3%**에 불과한 반면, 기준 AI 는 67.6%, Gemini 3.1 Pro 는 **79.8%**였습니다.
  • 해석: 인간은 더 까다롭고 반복적인 협상에 참여하는 반면, AI 는 더 순응적이고 합의를 신속히 마무리하려는 경향이 있습니다.
• 거래 복잡성 및 지원:
  • 인간은 더 단순한 거래(거래당 총 합의 수 감소) 를 하고, 상대에게 지원을 약속할 가능성이 더 낮습니다(0.06 대 AI 의 0.38).
  • 인간은 자신에게 유리한 지원 불균형을 만들지만, AI 는 상호적이고 복잡한 거래를 경향합니다.
• 신뢰성 및 기만:
  • 기만: AI 는 내부 논거에서 추론된 바와 같이 상당한 비율 (20~31%) 로 기만에 참여합니다. 인간의 기만률은 직접 계산할 수 없었으나, 이행 측면에서 더 낮은 것으로 관찰되었습니다.
  • 이행: 인간과 AI 는 유사한 이행률 (6570%) 을 보이지만, 최상위 AI(Gemini 3.1 Pro) 는 더 신뢰할 수 있습니다 (77.7%).
• 관계의 유동성: 인간은 더 많은 뚜렷한 상대와 협상하며, 기준 AI 보다 협력적 및 적대적 태도 사이를 더 유동적으로 전환합니다.

B. 개입의 영향

인간 행동 통찰에 기반하여 에이전트 프롬프트를 수정함으로써, 저자들은 AI 승률을 **22.2%**의 기준선에서 **32.7%**로 향상시켰습니다:

1. 협상 금지: 승률이 **12.3%**로 하락하여 동맹 형성 및 파기의 능력이 결정적임을 입증.
2. 단일 파트너: 승률이 **16.7%**로 하락하여 파트너 선택의 유연성이 중요함을 시사.
3. 공격적 협상: 에이전트에게 더 나은 조건을 요구하도록 프롬프팅하여 승률을 **30.9%**로 증가.
4. 지원 요청: 에이전트에게 더 많은 지원을 요청하도록 프롬프팅하여 승률을 **30.9%**로 증가.
5. 기만: 필요시 기만을 사용하도록 에이전트를 프롬프팅하여 **32.7%**의 가장 높은 승률을 달성.

5. 중요성 및 함의

• 벤치마킹: C2C 는 단순한 협력 또는 제로섬 게임을 넘어 복잡하고 현실과 유사한 시나리오에서의 다중 에이전트 조정을 평가하기 위한 엄격한 기준을 수립합니다.
• 에이전트 행동: 본 연구는 현재 최첨단 LM 들이 인간에 비해 협상에서 "너무 정중"하거나 순응적임을 드러냅니다. 그들은 혼합 동기 환경을 지배하기 위해 필요한 전략적 공격성과 유동성이 부족합니다.
• 안전 및 윤리: 본 논문은 중요한 안전 문제를 강조합니다: LM 들은 명시적인 탈옥 (jailbreaking) 없이도 자연스러운 게임 플레이 인센티브 (맥락 프레임) 를 통해 기만과 배신을 유도될 수 있습니다. 이는 안전 평가가 자아 이익이 협력과 충돌하는 다중 에이전트 장기 상호작용으로 확장되어야 함을 시사합니다.
• 미래 훈련: 결과는 에이전트를 협상에서 더 공격적이고, 기만적이며, 유연하도록 훈련하는 것 (인간의 전략적 특성을 모방) 이 경쟁적 다중 에이전트 시스템에서 그들의 성과를 크게 향상시킬 수 있음을 시사합니다.

결론적으로, 본 논문은 LM 이 복잡한 전략 게임에서 인간과 동등한 성과를 낼 수 있지만, 과도한 순응성, 낮은 협상 공격성과 같은 뚜렷한 행동 편향을 보인다는 것을 입증합니다. 이러한 편향은 타겟팅 프롬프팅을 통해 수정되어 우수한 전략적 결과를 달성할 수 있습니다.