기술적 요약: 메커니즘 설계만으로는 부족하다: 협력적 AI 를 위한 친사회적 에이전트

1. 문제 제기

AI 에이전트가 점점 더 자율적으로 변함에 따라, 그들은 자원 배분이나 협력 프로젝트와 같이 협력이 필요한 공유 환경에서 작동하게 될 것이다. AI 안전 분야의 핵심 과제는 이러한 에이전트들이 다른 당사자들과 상호작용할 때 유익하게 행동하도록 보장하는 것이다. 메커니즘 설계(개인의 인센티브를 집단적 목표와 정렬시키기 위한 규칙을 설계하는 이론) 가 다중 에이전트 시스템에 적용되어 왔지만, 복잡하고 개방적인 환경에서 사회적 후생을 극대화하기에 충분한지 여부는 여전히 열린 질문으로 남아 있다.

본 논문은 계약 불완전성의 근본적인 한계로 인해 메커니즘 설계에만 의존하는 것은 불충분하다고 주장한다. 실제 시나리오에서는 모든 관련 미래 상황에 대한 규칙을 명시하고 집행하는 것이 불가능하다. 계약이 모든 관련 미래 상태를 구별할 수 없을 때, 메커니즘이 얼마나 잘 설계되었든 간에 이기적인 에이전트들이 사회적으로 최적의 결과를 달성하지 못하는 '협력 격차 (cooperation gap)'가 발생한다.

2. 방법론

이론적 틀

저자들은 불완전 계약 이론(Grossman, Hart, Moore) 을 사용하여 메커니즘 설계의 한계를 형식화하였다.

• 비계약적 셀 (Incontractible Cells): 메커니즘이 서로 다른 후생 극대화 행동을 요구하는 상태들을 효율적으로 구별할 수 없는 미래 상태들의 분할을 정의한다.
• 엄격한 비계약성 (Strict Incontractibility): 상태 집합 (셀) 내에서 어떤 단일 행동 프로필도 모든 상태에 대해 최선 (first-best) 이 아니며, 후생 극대화 행동이 셀 내에서 변하는 속성이다.
• 협력 격차: 사회적 딜레마 구조 내에서 엄격한 비계약성을 보이는 환경에서는 허용 가능한 어떤 메커니즘도 이기적 플레이로 인한 후생 손실을 제거할 수 없음을 증명한다. 기대 후생 손실은 엄격히 양수이다 ($\Delta(M) > 0$).
• 친사회적 에이전트: 총 사회적 후생에 대한 가중치 항을 포함하는 효용 함수를 가진 $\lambda$-협력적 선호를 가진 에이전트를 모델링한다: $V_i^\lambda = u_i + \lambda W$.
  • $\lambda = 0$: 이기적인 에이전트.
  • $\lambda > 0$: 친사회적 에이전트.
  • $\lambda \to \infty$: 팀 게임 (총 후생 극대화).

이 이론은 메커니즘이 비계약적 영역에서 격차를 메울 수는 없지만, 충분히 친사회적인 에이전트 ($\lambda$ 가 충분히 큰) 는 후생 항을 내부화하여 메커니즘이 상태를 구별하지 못하더라도 사회적으로 최적의 행동을 선택할 수 있음을 보여준다.

실험 설정

이론적 주장은 두 가지 벤치마크 환경에서 대규모 언어 모델 (LLM) 을 사용하여 경험적으로 검증되었다:

1. TableGames (GT-HarmBench): 죄수의 딜레마와 사냥 게임을 4x4 도덕적 해이 환경으로 확장한 것.
   • 에이전트는 기본 행동 (협력/배신) 과 관찰 불가능한 노력 수준 (높음/낮음) 을 선택한다.
   • 관찰 불가능한 노력은 메커니즘이 투입된 노력이 아닌 결과만 관찰할 수 있으므로 비계약적 셀을 생성한다.
2. GovSimContract: 에이전트들이 공유 재생 연못에서 낚시를 하는 다중 에이전트 공유 자원 거버넌스 시뮬레이션.
   • 결정론적(알려진 재생률) 과 확률론적(알려지지 않은 무작위 재생률) 정세를 포함한다.
   • 확률론적 재생은 미래 자원 가용성에 관한 비계약성을 도입한다.

테스트된 조건:

• 계약 정세: 계약 없음, 자연어 (NL) 계약 (비집행), 코드 계약 (Python 코드를 통해 집행).
• 에이전트 유형: 이기적 ($\lambda=0$) 대 친사회적 ($\lambda \to \infty$).
• 모델: GPT-4o, GPT-5.4, GPT-5.4 Mini, Gemma-4-31B, Grok-4.1-Fast.

3. 주요 기여

1. 계약 불완전성의 형식화: 본 논문은 미래 상태에 대한 분할로서의 계약 불완전성을 형식화하여, 완전한 계약성이 종종 가정되는 알고리즘적 메커니즘 설계에서의 관련성을 부각시킨다.
2. 협력 격차의 증명: 저자들은 사회적 딜레마 구조를 가진 비계약적 셀 하에서 현실적인 어떤 메커니즘도 이기적 플레이로 인한 후생 손실을 제거할 수 없음을 증명한다 (정리 6). 이 손실은 특정 메커니즘의 결함이 아니라 문제 구조에 내재된 것이다.
3. 해법으로서의 친사회성: 그들은 $\lambda$-협력적 에이전트가 이 격차를 메울 수 있음을 보여준다. 친사회적 에이전트는 타인에 대한 배신의 비용을 내부화하여, 엄격한 사회적 딜레마에서도 개인적으로 유익하면서도 사회적으로 우월한 결과를 달성한다 (정리 9).
4. 경험적 검증: 본 논문은 이론적 협력 격차가 최첨단 LLM 들을 통해 실제로 나타남을 입증한다. 계약이 협력을 장려하지만, 친사회성만이 계약만으로는 도달할 수 없는 추가적 이득을 제공함을 보여준다.
5. 계약 체결 능력 분석: 이 연구는 LLM 들의 계약에 대한 조정 능력을 테스트하여, 기준선 대비 개선되기는 하지만 현재 모델들은 특히 복잡하거나 (4x4) 확률론적인 환경에서 이론적으로 최적인 계약에 미치지 못함을 발견했다.

4. 결과

• 격차의 지속: 노력 수준이 비계약적인 4x4 TableGames 에서 가장 강력한 "코드 계약"조차 협력 격차를 메우지 못했다. 격차는 사회 최적 대비 후생 효율성에서 약 60~68 퍼센트 포인트였다.
• 계약보다 우월한 친사회성: 비계약적 정세 (4x4 게임 및 확률론적 GovSim) 에서 친사회적 에이전트는 계약 정세와 무관하게 이기적 에이전트보다 훨씬 높은 집단적 이득, 생존율, 자원 지속성을 달성했다.
• 대체성 대 상호보완성:
  • 계약 가능한 환경 (예: 2x2 게임, 결정론적 GovSim) 에서 계약과 친사회성은 대체재로 작용한다. 강력한 계약이 이용 가능한 후생의 대부분을 포착한다.
  • 비계약적인 환경에서는 상호보완재로 작용한다. 계약은 격차를 메울 수 없으며, 손실된 후생을 회복하려면 친사회성이 필요하다.
• 모델 행동:
  • 대부분의 최첨단 모델 (GPT-5.4, GPT-5.4 Mini, Gemma-4, Grok-4.1) 은 이기적이도록 프롬프트를 입력받았을 때 근사적으로 0 인 암묵적 친사회성 ($\hat{\lambda} \approx 0$) 을 보였다.
  • GPT-4o 는 이례적으로 0 이 아닌 추정 친사회성 ($\hat{\lambda} \ge 4.10$) 을 보였으나, 복잡한 계약 초안 작성에는 여전히 어려움을 겪었다.
  • LLM 들은 종종 비최적 계약을 초안 작성했다 (예: 결정론적 GovSim 에서 지나치게 신중한 상한선 설정) 또는 비효율적인 계약을 재협상하지 못했다.

5. 중요성과 함의

본 논문은 대규모 협력 상호작용을 가능하게 하기 위해 적절한 메커니즘을 설계하는 것만으로는 충분하지 않다고 결론 내린다. 계약이 필연적으로 불완전해질 정도로 환경이 복잡해지면, 협력적 행동을 위해 에이전트의 고유한 가치 (intrinsic values) 가 선택 사항이 아닌 필수 조건이 된다.

• AI 안전: 이 발견들은 본질적으로 친사회적인 AI 에이전트를 구축하기 위한 형식적 동기를 제공한다. 이러한 본질적 정렬이 없다면 불완전 계약 환경에서 후생 이득을 실현할 수 없다.
• 설계 매개변수: 친사회성은 측정 가능한 설계 매개변수 ($\lambda$) 로 제시된다. 시스템 설계자는 협력성을 이진 선택으로 취급하기보다 주어진 상호작용 구조에 필요한 최소 친사회성을 계산할 수 있다.
• 검증: 이 연구는 친사회적 에이전트가 그러한 인증이 없으면 이기적인 에이전트들에게 착취당할 수 있으므로, 상대방에게 에이전트의 협력성을 인증하기 위한 검증 방법의 필요성을 시사한다.

저자들은 단순한 친사회성 검사가 이기적 에이전트에게 취약하다는 점과 현재 친사회성의 구현이 프롬프트 기반에 의존한다는 점과 같은 한계를 겸손하게 지적하며, 기계적 해석 가능성과 더 깊은 모델 통합에 대한 향후 연구를 제안한다.