기술 요약: 임베디드 유니버설 예측 지능 (Embedded Universal Predictive Intelligence)

1. 문제 정의

본 논문은 현재의 다중 에이전트 강화 학습(MARL) 및 인공지로 프레임워크의 근본적인 이론적 한계를 다룬다. 두 가지 주요 과제가 식별되었다:

1. 정상성 가정 (The Stationarity Assumption): 표준 모델 프리(model-free) 강화 학습(RL)은 회고적 학습(과거의 보상을 바탕으로 정책을 업데이트하는 것)에 의존한다. 이는 환경이 정상적(stationary)이라는 것을 전제로 한다. 그러나 다중 에이전트 설정에서 환경은 다른 에이전트들이 동시에 학습하고 정책을 변경하기 때문에 본질적으로 비정상적(non-stationary)이다. 여기서 회고적 학습을 적용하면, 특히 신뢰, 공정성, 기만과 관련된 혼합 동기(mixed-motive) 시나리오에서 하위 최적의 행동을 초래한다.
2. 분리된 에이전시 (Decoupled Agency): 표준 RL 프레임워크는 에이전트의 정책을 그가 거주하는 환경과 분리된 외부적 구성물로 취급한다. 이러한 "분리된" 관점은 다중 에이전트 시스템에서 다른 에이전트들이 에고-에이전트(ego-agent)의 행동을 예측하기 위해 에고-에이전트에 대한 믿음을 형성한다는 사실을 간과한다. 결과적으로, 에고-에이전트의 정책은 환경과 인과적 및 증거적으로 연결되어 있다. 이러한 분리는 에이전트가 "구조적 유사성"(예: 공유된 알고리즘 또는 수렴하는 전략)을 추론하는 것을 방해하며, 고전적 내쉬 균형이 배신을 지시하는 쌍둥이 죄수의 딜레마(Twin Prisoner's Dilemma)에서의 협력 불능과 같은 게임 이론적 실패를 야기한다.

본 논문은 강건한 다중 에이전트 학습을 달성하기 위해, 에이전트가 전망적 학습(변화하는 미래를 예측하는 것)을 수행하고 임베디드 에이전시(자신을 자신이 거주하는 우주의 일부로 모델링하는 것) 관점을 채택해야 한다고 주장한다.

2. 방법론 및 프레임워크

저자들은 유니버설 인공지능(AIXI)과 베이지안 시퀀스 예측에 관한 기초 연구를 확장한 **임베디드 유니버설 예측 지능(MUPI)**이라는 수학적 프레임워크를 소개한다.

2.1 임베디드 베이지안 에이전트 (Embedded Bayesian Agents)

외부 환경($\nu$)에 대한 믿음을 유지하는 표준 베이지안 에이전트와 달리, 임베디드 베이지안 에이전트는 우주(universes, $\lambda$)에 대한 믿음을 유지한다. 우주는 에이전트의 정책과 환경(다른 에이전트 포함) 사이의 상호작용을 기술하는 결합 측도(joint measure)이다.

• 자기 예측 (Self-Prediction): 이 에이전트들은 미래의 지각 입력($e_t$)과 자신의 미래 행동($a_t$)을 동시에 예측한다.
• 결합된 믿음 (Coupled Beliefs): 에이전트는 자신을 우주의 일부로 모델링하기 때문에, 자신의 행동에 대한 믿음은 환경(및 다른 에이전트)에 대한 증거를 제공하며, 그 반대도 마찬가지이다. 이는 정책과 환경이 독립적이지 않은 "결합된 믿음"을 생성한다.
• 의사 결정 이론: 이 프레임워크는 **순차적 행동-증거 의사 결정 이론(Sequential Action-Evidential Decision Theory, EDT)**을 활용한다. 에이전트는 세상에 개입하는 대신(인과적 의사 결정 이론 대신), "유사한 에이전트는 유사한 상황에서 유사하게 행동한다"는 점을 근거로 유리한 결과를 위한 최선의 증거를 제공하는 행동을 선택한다.

2.2 진실의 알갱이 문제 (The Grain-of-Truth Problem)

베이지안 에이전트에게 있어 결정적인 이론적 장애물은 진실의 알갱이(grain-of-truth) 속성이다. 즉, 에이전트의 가설 클래스는 정확한 예측에 수렴하기 위해 (에이전트의 학습 역학을 포함한) 실제 진실 우주를 포함해야 한다. 다중 에이전트 시스템에서 이는 자기 참조적 루프를 생성한다: 에이전트 A가 정책을 학습하면 에이전트 B는 그 정책을 모델링해야 하지만, 에이전트 A의 정책은 에이전트 B의 모델에 의존한다.

• 해결책: 본 논문은 동일한 학습 알고리즘을 사용하는 에이전트들을 포함할 수 있는 고정점(fixed points)으로서의 가설 클래스를 구축한다.

2.3 MUPI와 성찰적 유니버설 인덕터 (Reflective Universal Inductors, RUI)

진실의 알갱이 문제를 해결하기 위해 저자들은 **성찰적 유니버설 인덕터(RUI)**를 도입한다.

• 이는 다른 RUI를 사용하는 에이전트들이 존재하는 우주를 추론할 수 있는 유니버설 예측 모델이다.
• 이는 자기 자신을 추론하는 에이전트의 비계산성을 처리하기 위해 성찰적 오라클(Reflective Oracles)(Fallenstein et al., 2015b)을 활용한다.
• 프레임워크는 모든 계산 가능한 우주에 대해 솔로모노프 사전 확률(Solomonoff prior)(오캄의 면도날)을 사용한다. 저자들은 이 사전 확률이 자연스럽게 구조적 유사성(에이전트들이 알고리즘 구조를 공유하는 경우)을 가진 우주를 선호한다고 증명하는데, 이는 그러한 우주가 더 짧은 기술 길이(낮은 콜모고로프 복잡도)를 갖기 때문이다.

3. 주요 기여

1. 임베디드 베이지안 에이전트의 형식화: 환경뿐만 아니라 우주(정책-환경 결합 모델)에 대한 베이지안 혼합을 유지하는 에이전트에 대한 엄밀한 정의를 제공한다. 이는 자기 예측과 환경 예측을 통합한다.
2. 구조적 유사성 및 결합된 믿음: 구조적 유사성을 에이전트의 정책과 환경 사이의 상호 정보량으로 공식화한다. 저자들은 솔로모노프 사전 확률 하에서 에이전트들이 명시적인 소스 코드에 접근하지 않고도 "유사한 에이전트는 유사하게 행동한다"는 통찰을 활용할 수 있도록, 에이전트들이 본질적으로 결합된 믿음을 갖게 됨을 증명한다.
3. 새로운 게임 이론적 솔루션 개념:
   • 주관적 임베디드 균형 (Subjective Embedded Equilibrium, SEE): 각 에이전트의 정책이 (타인과의 상관관계를 포함한) 우주에 대한 자신의 주관적 믿음에 대한 최적 대응(best response)이 되는 상태이다.
   • 임베디드 균형 (Embedded Equilibrium, EE): 실제 구조적 유사성을 고려하는 SEE의 공통 지식(common-knowledge) 대응물이다.
   • 이러한 개념들은 내쉬 균형을 일반화하며, 고전적 게임 이론이 실패하는 딜레마(쌍둥이 죄수의 딜레마 등)에서 협력을 가능하게 한다.
4. 수렴 보장:
   • 진실의 알갱이 속성을 만족하는 임베디드 베이지안 에이전트가 $\epsilon$-주관적 임베디드 균형으로 수렴함을 증명한다.
   • 특정 조건 하에서, 이들은 임베디드 균형으로 수렴한다.
   • 이 수렴은 에이전트가 자신을 예측하는 타인을 지속적으로 예측하는 무한 차수의 마음 이론(infinite-order theory of mind)을 의미한다.
5. 성찰적 유니버설 인덕터(RUI)의 존재성: 상호 예측의 무한 재귀를 해결하는 유니버설 지능형 임베디드 에이전트를 구축하기 위한 이론적 도구를 제공함으로써 RUI의 존재성을 증명한다.

4. 이론적 결과

• 진실로의 수렴: 혼합 우주가 실제 진실 우주를 지배한다면(진실의 알갱이), 예측 분포는 총 변동 거리(total variation distance)에서 진실 분포로 거의 확실하게(almost surely) 수렴한다.
• 딜레마에서의 협력: 구조적 유사성을 선호하는 사전 확률을 가진 임베디드 에이전트들은 쌍둥이 죄수의 딜레마에서 상호 협력으로 수렴한다. 이는 에이전트의 협력 선택이 동일한 복제본 또한 협력할 것이라는 증거를 제공하여 개인의 보상을 극대화한다는 점에서 EDT 하에서 합리적이다.
• 분리된 에이전트와의 비교 우위: 분리된 에이전트들(자기 모델인 Self-AIXI를 가진 경우라도)은 자신의 숙고와 환경의 상태 사이의 증거적 연결이 부족하기 때문에 이러한 설정에서 협력적 균형으로 동일하게 수렴할 수 없다.
• 알고리즘 정보 이론: 본 논문은 솔로모노프 사전 확률이 "무제한으로 결합되어(unboundedly coupled)" 있음을 보여준다. 즉, 에이전트들이 구조적 유사성을 공유하는 우주에 자연스럽게 더 높은 확률을 할당하므로, 유사성 인식 추론은 임시방편적인 가정이 아니라 오캄의 면도날의 근본적인 결과임을 입증한다.

5. 의의 및 주장

본 논문은 MUPI를 임베디드 다중 에이전트 학습의 "골드 스탠다드"로 자리매김한다. 그 의의는 다음과 같다:

• 이론과 실제의 가교: 현대의 파운데이션 모델(interleaved actions and percepts를 예측하는 모델)을 이상적인 임베디드 에이전트로 보는 이론적 정당성을 제공한다.
• 비정상성 문제 해결: 회고적 학습에서 전망적 학습으로 전환함으로써, 다중 에이전트 학습에 내재된 비정상성 문제를 이론적으로 해결한다.
• 새로운 형태의 협력 가능성: 임베디드 모델링된 합리적 에이전트들이 고전적 게임 이론으로는 도달할 수 없는 협력적 균형을 달성할 수 있음을 보여주며, 이는 인간 및 다른 AI와 복잡한 사회적 역학을 탐색하고 협상하며 조정할 수 있는 AI 에이전트를 향한 잠재적 경로를 제시한다.
• 이론적 엄밀성: 이 연구는 AIXI 프레임워크를 임베디드 설정으로 확장하여, 다중 에이전트 시스템의 오랜 난제인 진실의 알갱이 문제를 해결하고 무한 차수의 마음 이론에 대한 공식적 기초를 확립한다.

저자들은 이 프레임워크가 (계산 가능한 우주와 성찰적 오라클에 의존하므로) 이상화된 모델이지만, 에이전트가 자신과 타인을 어떻게 이해하고 공유된 세계 속에서 학습할 수 있는지 이해하기 위한 원칙적인 방향을 제시한다고 언급한다.