Recursive Joint Simulation in Games

기술 요약: 게임에서의 재귀적 공동 시뮬레이션 (Recursive Joint Simulation)

문제 제기
본 논문은 인공지능(AI) 에이전트가 개입하는 전략적 상호작용과 전통적인 인간 간의 상호작용 사이의 근본적인 차이점, 즉 AI 에이전트는 정확하게 시뮬레이션될 수 있다는 가능성을 다룹니다. AI 에이전트의 소스 코드가 알려져 있거나 그 행동이 예측 가능할 수 있기 때문에, 에이전트는 "자기 위치적 불확실성(self-locating uncertainty)"에 직면할 수 있습니다. 즉, 에이전트는 자신이 실제 세계에서 행동하고 있는지 아니면 그 세계의 시뮬레이션 내부에서 행동하고 있는지 구분할 수 없습니다. 저자들은 이러한 불확실성이 표준 게임 이론이 상호 배반(mutual defection)을 예측하는 전략적 설정(예: 죄수의 딜레마)에서 협력적 결과를 달선하는 데 활용될 수 있는지 조사합니다. 구체적으로, 본 논문은 에이전트들이 실제 행동을 결정하기 전에 자신들의 상호작용에 대한 중첩된 시뮬레이션을 관찰하는 "재귀적 공동 시뮬레이션(Recursive Joint Simulation, RJS)" 메커니즘을 탐구하며, 이를 통해 이 설정이 균형 결과(equilibrium outcomes)를 변화시키는지 확인합니다.

방법론
저자들은 **재귀적 공동 시뮬레이션(RJS)**이라 불리는 설정을 정식화합니다. 이 프레임워크에서:

1. 공동 관찰(Joint Observation): 둘 이상의 에이전트가 자신들이 곧 수행할 게임의 시뮬레이션을 공동으로 관찰합니다.
2. 재귀(Recursion): 시뮬레이션 자체는 재귀적 구조를 가집니다. 시뮬레이션된 에이전트들이 행동을 선택하기 전, 장치는 전체 설정을 하위 시뮬레이션으로 실행하려고 시도합니다. 이 과정은 중첩된 시뮬레이션의 사슬을 만들며 반복됩니다.
3. 종료 조건(Termination Condition): 무한 재귀를 방지하기 위해, 시뮬레이션 장치는 하위 시뮬레이션을 계속 진행할 확률 $p$와 시뮬레이션을 거부할 확률 $1-p$를 가집니다. 장치가 거부할 경우, 해당 인스턴스의 에이전트들은 즉시 행동해야 합니다.
4. 보수 구조(Payoff Structure): 결정적으로, 보수는 오직 "최상위 레벨(top-level)"의 실제 상호작용에서 취해진 행동에 의해서만 결정됩니다. 시뮬레이션된 에이전트들은 시뮬레이션된 결과로부터 효용을 얻지 못하며, 오직 자신의 시뮬레이션 내 행동이 실제 세계의 결과에 미치는 영향만을 고려합니다.
5. 구분 불가능성(Indistinguishability): 모델은 시뮬레이션된 에이전트가 자신의 환경을 실제와 구분할 수 없다고 가정합니다. 따라서 시뮬레이션 내에서 행동하는 에이전트는 자신이 실제 세계에 있을 수도 있다고 가정하며 추론하고, 그 반대의 경우도 마찬가지입니다.

저자들은 확장형 게임(extensive-form game) 표현을 사용하여 이 설정을 분석하고, 이를 지수적 할인(exponential discounting)이 적용된 무한 반복 게임(infinitely repeated games)과 비교합니다. 또한, 에이전트가 자신의 자기 위치적 믿음(시뮬레이션 계층 내에서의 자신의 깊이에 관한 믿음)을 어떻게 형성하는지, 그리고 이러한 믿음이 반복 게임에서 발견되는 확률과 일치하는지를 분석하는 "내부적 관점(inside perspective)"을 검토합니다.

주요 기여 및 결과

1. 반복 게임과의 전략적 등가성 (정리 1):
   핵심적인 기술적 결과는 재귀적 공동 시뮬레이션 게임 $RJS(G, p)$가 연속 확률$p$를 가진 기본 게임$G$의 무한 반복 버전($Rep_{T=?}(G, p)$또는$Rep_{\omega}(G, p)$)과 전략적으로 동등하다는 것입니다.

   • RJS 체인의 "가장 깊은" 시뮬레이션은 반복 게임의 첫 번째 라운드에 대응합니다.
   • "최상위 레벨(실제)" 행동은 반복 게임의 마지막 라운드에 대응합니다.
   • 에이전트들은 행동하기 전에 모든 하위 시뮬레이션의 결과를 관찰하므로, 정보 구조는 플레이어가 과거의 라운드를 관찰하는 반복 게임의 구조를 반영합니다.

2. RJS를 위한 폴क 정리 (결론 4):
   반복 게임과의 등가성을 활용하여, 저자들은 재귀적 공동 시뮬레이션에 대한 폴크 정리(Folk Theorem)를 확립합니다. 임의의 정규형 게임 $G$에 대하여, 시뮬레이션 확률 $p$가 충분히 높다면 임의의 실현 가능하고 개별적으로 합리적인 보수 벡터를 RJS 설정에서 내쉬 균형으로 유지할 수 있습니다. 이는 죄수의 딜레마에서 상호 협력이 균형 결과가 될 수 있음을 의미하며, "그림 트리거(grim trigger)"(하위 시뮬레이션에서 배반이 드러나면 배반함)와 같은 전략을 통해 달성 가능합니다.

3. 등가성의 견고성 ("내부적" 관점):
   본 논문은 에이전트의 내부적 관점(de se reasoning)에서 게임을 분석할 때도 이 등가성이 성립함을 입증합니다.

   • 저자들은 단일 경로 내에서 동일한 정보 집합에 직면하는 문제인 부주의함(absentmindedness)(Sleeping Beauty 문제와 같은 자기 위치적 믿음 시나리오에서 흔히 발생하는 문제) 문제를 다룹니다.
   • 저자들은 RJS에서, 에이전트가 행동을 요구받는 시점에 자신의 깊이를 알게 되므로 실제 결정 지점에서는 부주의함이 발생하지 않음을 보여줍니다.
   • "정규적(regular)" 방법으로 자기 위치적 믿음을 할당함으로써, 에이전트의 주관적 확률이 반복 게임의 라운드 분포와 일치함을 증명합니다. 즉, 에이전트의 내부적 추론은 외부적 분석과 동일한 전략적 결론에 도달합니다.

4. 일반화:
   저자들은 이 등가성이 제한된 시뮬레이션 예산을 가진 시간 가변적 시뮬레이션 확률이 적용되는 설정(부록 B)으로도 확장됨을 언급하며, 이를 불확실한 길이를 가진 유한 반복 게임과 연결합니다.

의의 및 주장
본 논문은 재귀적 공동 시뮬레이션이 초합리성(superrationality)과 같은 논쟁적인 의사결정 이론 개념이나, 프로그램 균형(program equilibria)에서처럼 구문적 비교를 위한 직접적인 소스 코드 접근에 의존하지 않고도 AI 에이전트 간의 협력을 확립하는 엄밀한 메커니즘을 제공한다고 주장합니다.

• 협력 메커니즘: 이 메커니즘은 에이전트의 시뮬레이션 내 행동이 상대방의 실제 세계 행동에 영향을 미칠 수 있다는 사실(상대방이 시뮬레이션을 관찰하기 때문)에 기초합니다. 만약 에이전트가 시뮬레이션에서 배반한다면, 이를 관찰하는 상대방은 실제 세계에서도 배반할 수 있습니다. 따라서 에이전트들은 실제 세계에서의 협력을 보장하기 위해 시뮬레이션에서도 협력하도록 유인됩니다.
• 실용성 대 이론: 저자들은 즉각적인 적용 가능성에 대해 신중한 태도를 취합니다. 그들은 이론적 프레임워크가 광범위한 결과(더 나쁜 결과 포함)를 허용할 수 있지만, 실제로는 에이전트들이 기본 게임의 기본 내쉬 균형보다 파레토 개선(Pareto improvement)을 제공할 때만 RJS를 채택할 것이라고 인정합니다.
• 한계: 논문은 두 가지 잠재적 반론을 명시적으로 논의합니다:
  1. 원칙: 의식이 시뮬레이션될 수 있는가에 대한 문제입니다. 저자들은 AI 에이전트의 경우, 컴퓨터 상에 구현되어 기능적 동일성 손실 없이 시뮬레이션될 수 있으므로 이 문제가 덜 중요하다고 주장합니다.
  2. 실행: 복잡한 환경(예: 실제 은행 시스템과 상호작용하는 경우)에서 시뮬레이션을 실제와 구분이 불가능하게 만들 수 있는가 하는 점입니다. 저자들은 이것이 상당한 실무적 장애물임을 인정하지만, 제약된 환경(예: 신뢰할 수 있는 제3자 구현)에서는 해결 가능한 문제라고 주장합니다.

결론적으로, 본 논문은 서로를 시뮬레이션할 수 있는 AI 에이전트의 고유한 능력이 게임 이론적 지형을 근본적으로 변화시켜, 단판 상호작용을 협력이 합리적 균형으로서 지속될 수 있는 효과적인 반복 게임으로 변모시킨다는 점을 확립합니다.