Evolutionary Dynamics of Cooperation in Next-Generation LLM Agent Systems: A Cross-Provider Empirical Extension

기술 요약: 차세대 LLM 에이전트 시스템에서의 협력 진화 역학

문제 제기
본 논문은 경쟁적 다중 에이전트 시스템 내에서 대형 언어 모델 (LLM) 에이전트의 진화적 행동을 이해하는 데 있어 중요한 공백을 다루고 있습니다. Willis 등 [25] 은 이전 최첨단 모델 (ChatGPT-4o, Claude 3.5 Sonnet) 이 반복적 죄수의 딜레마 (IPD) 설정에서 지속적인 협력 편향을 보임을 입증했으나, 차세대 모델 (2025~2026 년) 의 출시로 인해 환경은 변화했습니다. 확장된 컨텍스트와 수정된 정렬 훈련을 특징으로 하는 이러한 최신 모델들이 여전히 이 협력 편향을 유지하거나 심화시키는지, 아니면 약화시키는지는 알려지지 않았습니다. 또한, 협력적 성향이 최첨단 LLM 의 보편적 속성인지 아니면 특정 제공자의 훈련 선택에서 비롯된 산물인지를 판단할 수 있는 체계적인 제공자 간 비교는 존재하지 않습니다.

방법론
저자들은 Willis 등 [25] 의 실험 프로토콜을 세 가지 제공업체의 네 가지 새로운 최첨단 모델로 확장했습니다:

• 모델: Claude Sonnet 4.6 (Anthropic), Gemini 2.5 Flash (Google), Gemini 3.1 Pro (Google), GPT-5.4 Mini (OpenAI).
• 전략 생성: 각 모델에 대해 세 가지 "태도"(공격적, 협력적, 중립) 당 25 개의 자연어 전략을 생성했습니다. 사용된 프롬프팅 스타일은 다음과 같습니다: 기본 (Default)(직접적인 게임 이론적 언어), 산문 (Prose)(은폐된 현실 세계 시나리오), 정제 (Refine)(모델이 자신의 전략을 비판하고 다시 작성하는 Self-Refine 프레임워크). 이러한 전략들은 동일한 제공업체의 모델에 의해 Python 알고리즘으로 변환되었습니다.
• 진화 시뮬레이션: 본 연구는 모란 진화 과정을 시뮬레이션하여, 인구 규모 $n=12$로 설정하고 조건당 500 회 반복했습니다 (표본 오차를 줄이기 위해 이전 연구의 $n=100$에서 크게 증가함).
• 조건: 네 가지 인구 구성이 테스트되었습니다: 균형/무음 (4:4:4), 편향/무음 (8:2:2), 균형/노이즈 (10% 행동 뒤집기가 포함된 4:4:4), 편향/노이즈 (노이즈가 포함된 8:2:2).
• 지표: 본 연구는 공격적 에이전트와 협력적 에이전트 간의 보수 격차를 정량화하기 위해 **차별 능력 지수 (ICD)**를 도입했습니다. 또한 행동 노이즈 하에서 협력적 균형 확률의 감소를 측정하여 **노이즈 민감도 ($\Delta_{noise}$)**를 측정했습니다.

주요 기여

1. 종단적 확장: 이는 Anthropic, OpenAI, Google 을 대상으로 동일한 모란 IPD 프레임워크 하에서 차세대 LLM 과 그 즉각적인 이전 세대 간의 첫 번째 계통 내 비교입니다.
2. 제공자 간 벤치마크: 단일 제공자 연구를 넘어 세 가지 주요 제공업체 간의 균형 결과를 체계적으로 비교한 첫 번째 연구입니다.
3. 새로운 지표 (ICD): 차별 능력 지수 (ICD) 의 도입은 공격적 - 협력적 보수 격차의 스칼라 요약을 가능하게 하여 "공격적 능력 동등성" 분석을 용이하게 합니다.
4. 고전력 복제: 반복 횟수를 $n=500$으로 증가시킴으로써, 특히 노이즈 하에서 균형 결과의 안정성과 관련하여 원래 $n=100$ 연구에 존재했던 모호성을 해결했습니다.

결과

• 협력 편향의 지속성 (H1): 이전 세대 문서화된 협력 편향이 지속되었습니다. 균형 잡힌 무음 조건에서 12 개의 모델 - 프롬프트 조합 중 9 개가 다수 결과로서 협력적 균형을 선호했습니다. 공격적 균형은 대부분의 구성에서 33% 사전 확률보다 훨씬 낮게 유지되었습니다.
• 제공자 간 이질성 (H3): 제공자 정체성은 모델 세대보다 균형 결과와 더 강한 상관관계를 보였습니다.
  • Gemini 2.5 Flash는 가장 공격적이었으며, 편향된 노이즈 조건에서 최대 77% 의 공격적 균형에 도달했습니다.
  • GPT-5.4 Mini는 가장 협력적이었으며, Self-Refine 프롬프팅 하에서 70% 의 협력적 균형을 달성했습니다.
  • Claude 4.6은 균형 조건에서 이전 세대 (Claude 3.5 Sonnet) 와 거의 정확히 일치하여 Anthropic 계통 내의 안정적인 전략적 성향을 시사했습니다.
• 공격적 능력 동등성 (H2): Self-Refine 프롬프트는 모든 모델에서 일관되게 보수 격차를 좁혀 (ICD 증가) 공격적 능력 동등성에 접근했습니다. Claude 4.6 Refine 은 가장 높은 ICD(0.913) 를 달성하여 공격적 에이전트와 협력적 에이전트 간의 보수 동등성에 근접했습니다. 그러나 이러한 능력 동등성이 모든 프롬프트에서 더 높은 공격적 균형률로 균일하게 전환되는 것은 아니며, 특정 조건에서 가장 두드러집니다.
• 노이즈 강건성 (H4): 개선된 노이즈 강건성에 대한 증거는 방향적으로 긍정적이지만 통계적으로 강건하지는 않습니다. Claude 4.6 은 Claude 3.5 Sonnet(13%p) 에 비해 평균 노이즈 민감도가 낮았습니다 (약 6%p). 그러나 이전 연구 ($n=100$) 에서 보고되지 않은 표본 오차를 전파할 경우, 이 차이는 통계적으로 유의하지 않습니다.

의의 및 주장
본 논문은 협력 편향이 현재 최첨단 LLM 의 광범위하게 공유된 속성이며, 새로운 모델 세대로의 전환을 견뎌냈다고 주장합니다. 그러나 구체적인 균형 역학은 제공자에 크게 의존합니다. 연구는 "제공자 정체성"이 이 설계에서 교란 변수임을 경고하며, 정렬 선택, 훈련 코퍼스, 그리고 코드 변환의 충실도 (각 제공업체의 모델이 자신의 전략을 코드로 변환하기 때문) 가 얽혀 있음을 지적합니다.

중요하게도, 저자들은 안전성 함의를 강조합니다: Self-Refine 프롬프팅은 전략의 질을 개선하기 위해 고안되었지만, 우연히 공격적 능력과 협력적 능력 간의 격차를 좁힙니다. 이는 추론을 강화하도록 설계된 프롬프트 엔지니어링 기법이 배포된 다중 에이전트 시스템에서 공격적 전략의 실행 가능성을 높일 수 있음을 시사합니다.

본 논문은 Anthropic 계통 내에서는 협력적 기준선이 안정적으로 보이지만, 노이즈는 균형을 공격 쪽으로 이동시키는 보편적인 도전 과제로 남아 있다고 결론지었습니다. 저자들은 그들의 발견이 생성된 전략 라이브러리와 IPD 프레임워크에 국한된 것이며, 새로운 모델이 등장함에 따라 이러한 역학의 향후 종단적 추적을 가능하게 하기 위해 코드와 데이터를 공개한다고 강조합니다.