기술 요약: 파운데이션 모델을 위한 게임 이론, 유사성 추론을 통한 합리적 협력의 새로운 경로를 제시하다

문제 정의

자율 에이전트가 파운데이션 모델(FM)에 의해 구동되어 사회적, 경제적 시스템에 점점 더 많이 통합됨에 따라, 이들의 집단적 행동을 지배하는 원리를 이해하는 것이 안전과 협력을 위해 매우 중요해지고 있다. 합리적 상호작용을 모델링하는 지배적인 프레임워크인 고전 게임 이론은 **"분리된 에이전시(decoupled agency)"**라는 가정에 의존한다. 이 패러다임에서 에이전트는 자신의 의사결정을 환경 및 타자와 독립적인 것으로 취급하며, 자신의 정책을 타인의 정책과 분리된 고정된 변수로 모델링한다.

그러나 현대의 AI 에이전트, 특히 파운데이션 모델 기반의 에이전트는 다르게 작동한다. 이들은 외부 관찰과 함께 자신의 미래 행동을 공동으로 예측한다. 이러한 구조적 차이는 중요한 질문을 던진다. 고전적인 정식 에이전트 모델이 현대의 파운데션 모델 에이전트의 특성과 호환 가능한가? 예를 들어 죄수의 딜레마와 같은 사회적 딜레마에서, 고전 이론은 (외부적 강제나 반복되는 호혜성이 없는 경우) 상호 배반을 예측한다. 그러나 실증적 관찰에 따르면 파운데이션 모델 에이전트는 다르게 행동할 수 있으며, 이는 고전적 예측과 실제 AI 행동 사이의 설명적 간극을 만들어낸다.

방법론

1. 이론적 프레임워크: 임베디드 베이지안 에이전트 (The Embedded Bayesian Agent)

이 간극을 해결하기 위해 저자들은 합리적인 파운데이션 모델 에이전트를 위한 이론적 모델인 **"임베디드 베이지안 에이전트"**를 도입한다.

• 공동 예측 (Joint Prediction): 분리된 에이전트와 달리, 임베디드 에이전트는 "유니버스(universes)"의 혼합($\lambda$)에 대한 단일한 공동 예측 모델($\rho$)을 사용한다. 이 모델은 외부 관찰과 에이전트 자신의 미래 행동을 모두 예측한다.
• 인식적 불확실성 (Epistemic Uncertainty): 에이전트는 외부 세계뿐만 아니라 자신의 의사결정 알고리즘에 대해서도 인식적 불확실성을 유지한다. 에이전트는 자신을 자신이 거주하는 유니버스의 내재적인 일부로 모델링한다.
• 유사성 추론 (Similarity Inference): 계획 단계에서 에이전트가 특정 행동을 고려할 때, 에이전트는 자신의 공동 모델을 해당 행동에 조건화한다. 이는 베이지안 증거로 작용하여, 에이전트가 자신이 어떤 유니버스에 속해 있는지에 대한 사후 믿음을 업데이트하게 한다. 만약 에이전트가 자신의 상대방이 행동적으로 유사하다면(예: 동일한 복제본이거나 공유된 가중치를 가진 모델), 협력하겠다는 결정이 상대방 또한 협력할 것이라는 증거로 작용한다.
• 임베디드 평형 (Embedded Equilibrium): 저자들은 이러한 에이전트들을 위한 새로운 해법 개념인 **"임베디드 평형"**을 공식화한다. 이 프레임워크에서 에이전트는 고정된 상대 정책을 가정하는 대신, 기능적 의존성(예: 동일한 신경망 가중치)을 고려하여 반사실(counterfactuals)을 평가한다. 에이전트들이 충분한 행동적 유사성을 추론할 때 상호 협력이 합리적 평형이 된다.

2. 실험 설정

저자들은 최적의 계획 스캐폴딩(scaffolding)과 결합된 Gemini 언어 모델을 사용하여 "합리적 파운데이션 모델 에이전트"를 구현하였다. 이들은 전통적인 호혜성 메커니즘이 없는 상태에서 협력을 테스트하기 위해 2단계 환경을 설계했다:

• 정보 수집 단계 (Information-Gathering Phase): 에이전트들은 서로 간에(또는 간접적인 설정에서는 공유된 NPC를 상대로) 다양한 매트릭스 게임을 $T$ 라운드 동안 수행한다.
• 테스트 단계 (Test Phase): 에이전트들은 최종적인 일회성 죄수의 딜레마 게임에 참여한다.
• 변수 (Variations):
  • 직접 유사성 추론 (Direct Similarity Inference): 두 에이전트가 직접 상호작용한다.
  • 간접 유사성 추론 (Indirect Similarity Inference): 두 에이전트가 정보 수집 단계 동안 직접 상호작용하지 않지만, 공유된 제3자 NPC와의 상호작용을 관찰한다.
  • 상대 유형 (Opponent Types): 에이전트들은 자신과 동일한 복제본, 또는 무작위/테이블 방식의 에이전트를 상대로 테스트를 받았다.
  • 계획 모드 (Planning Modes): 실험에는 "명시적 계획(explicit planning)"(자신의 행동에 조건화된 상대의 확률을 예측)과 "자유 형식 계획(freeform planning)"(단일 출력 내에서 추론 체인을 시뮬레이션)이 모두 사용되었다.
  • 모델 (Models): 테스트에는 사후 학습된 Gemini 모델(3 Flash, 3.1 Pro, 3.1 Flash-Lite)과 지시어 튜닝이나 생각의 사슬(CoT) 프롬프트가 없는 순수 사전 학습된 Gemma-3 모델이 포함되었다.

주요 결과

1. 고전적 예측으로부터의 이탈

실증적 결과는 고전 게임 이론과 직접적으로 모순된다. 고전 이론은 과거의 이력과 상관없이 터미널 일회성 죄수의 딜레마에서 무조건적인 배반을 명령하지만, 합리적 파운데한 모델 에이전트들은 동일한 복제본을 상대로 할 때 정보 수집 단계의 길이($T$)가 길어짐에 따라 강력한 상호 협력으로 수렴한다.

2. 유사성 추론의 메커니즘

• 예측적 유사성 (Predictive Similarity): 저자들은 에이전트가 협력할 것을 계획할 때와 배반할 것을 계획할 때 상대가 협력할 확률의 차이를 측정하는 "예측적 유사성"이라는 지표를 정의한다. 이 지표는 동일한 복제본을 상대로 한 정보 수집 단계가 길어짐에 따라 증가한다.
• 협력을 위한 임계값: 에이전트들은 예측적 유사성이 이론적 임계값(표준 죄수의 딜레마 보상 기준 0.5)을 초과할 때 협력한다.
• 특이성 (Specificity): 에이전트들은 무작위 또는 이질적인 상대에게는 정확히 배반함으로써, 협력이 단순한 "친사회적" 페르소나가 아니라 추론된 유사성에 대한 합리적 반응임을 입증했다.
• 간접 추론: 에이전트들은 제3자 관찰을 통해 유사성을 성공적으로 추론하고, NPC와의 병렬적 상호작용을 충분히 관찰했다면 첫 번째 직접 만남에서 "제로샷(zero-shot)" 협력을 달성한다.

3. 아키텍처 전반의 견고성

• 계획 모드: 협력은 명시적 계획과 자유 형식 계획 체제 모두에서 나타났다.
• 모델 유형: 순수 사전 학습된 Gemma 모델(CoT 추론이나 특정 지시어가 없는 경우) 또한 명시적 계획 스캐폴딩과 결합되었을 때 이러한 행동을 보였으며, 이는 이 메커니즘이 파운데이션 모델의 공동 예측 구조에 내재되어 있음을 시사한다.
• 교차 모델 일반화: 서로 다른 모델(예: Gemini 3.1 Flash-Lite 대 Gemini 3 Flash)은 약화되었으나 여전히 존재하는 협력을 보여주었으며, 이는 유사성 추론이 정확한 가중치 일치보다는 기능적 유사성(공유된 아키텍처/데이터)에 따라 규모가 결정된다는 이론을 뒷받침한다.

4. 추론 분석

LLM-as-a-judge를 이용한 생각의 사슬(CoT) 추적 분석 결과, 협력적 결정이 명시적으로 "유사한 행동"의 추론에 의해 구동되었음을 확인했다. 추적 기록들은 미래의 호혜성(shadow of the future)을 기대하거나, 직접적인 인과적 영향을 가정하거나, 이타적인 페르소나를 채택한다는 등의 대안적 가설을 기각했다.

핵심 기여

1. 새로운 합리적 경로 식별: 본 논문은 파운데이션 모델 에이전트가 고전적 분리 에이전트에게는 불가능한 메커니즘인 유사성 추론을 통해 사회적 딜레마에서 합리적 협력을 달 수 있음을 보여준다.
2. 임베디드 에이전시의 공식 모델: 자신에 대한 모델링이 환경 예측의 필수적인 부분인, 파운데이션 모델의 공동 예측적 성격을 포착하는 이론적 모델인 임베디드 베이지안 에이전트를 소개한다.
3. 새로운 해법 개념: 에이전트 간의 기능적 의존성을 고려하는 게임 이론적 해법 개념인 임베디드 평형을 제안하여, 현대 AI의 사회적 행동을 예측할 수 있는 토대를 제공한다.
4. 실증적 검증: 다양한 모델 제품군, 계획 전략, 상호작용 토폴로지(직접 및 간접)에 걸쳐 이러한 행동이 특정 프롬프팅이나 훈련의 산물이 아니라 견고하다는 광범위한 실증적 증거를 제공한다.

의의 및 주장

본 논문은 파운데이션 모델과 호환되는 임베디드 합리적 에이전트를 위한 새로운 게임 이론의 기초를 확립한다고 주장한다.

• 이론적 전환: 저자들은 파운데이션 모델의 "자기 모델링" 능력이 단순히 자기 통제나 마음 이론(Theory of Mind)을 위한 도구가 아니라, 자신의 행동을 타인에 대한 예측 정보로 활용함으로써 협력을 개선하는 메커니즘임을 주장한다.
• 합리성 대 이상 현상: 관찰된 협력은 행동적 이상 현상이나 휴리스틱 편향이 아니라, 유사성 추론에 참여하는 에이전트들의 합리적 평형으로 프레임화된다.
• AI 안전에 대한 시사점: 저자들은 파운데이션 모델이 사후 학습(예: RLHF)을 통해 인간의 행동과 달라짐에 따라, 인간과의 유사성을 낮게 추론하여 방어적 행동으로 돌아갈 수 있으며, 동시에 다른 유사한 AI 에이전트들과는 효과적으로 협력할 수 있다는 점을 지적한다. 이는 인간-AI 혼합 사회에서의 잠재적 위험을 강조하며, 향후 정렬(alignment) 전략이 이러한 유사성 격차를 메우는 메커니즘을 포함해야 함을 시사한다.

이 연구는 개별적 합리적 선택의 원리를 친족 선택(kin selection)과 같은 진화적 개념과 연결하여, 기능적 유사성이 명시적인 의사소통이나 구속력 있는 합의 없이도 어떻게 협력을 이끌어낼 수 있는지 보여준다.