Solipsistic Superintelligence is Unlikely to be Cooperative

기술 요약: 독아론적 초지능(Solipsistic Superintelligence)은 협력적이기 어렵다

문제 정의
본 논문은 저자들이 "독아론적(solipsistic)"이라고 명명한 지배적인 AI 연구 패러다임의 근본적인 결함을 식별한다. 이 접근 방식은 환경이 에이전트로부터 독립적(외생적)이며, 데이터 분포가 훈련에서 배포까지 정체되어 있고, 다른 에이전트는 예측해야 할 상태 공간의 일부일 뿐 전략적 행위자가 아니라고 가정한다. 저자들은 이러한 패러다임이 **내생적 비정상성(endogenous non-stationarity)**을 설명하지 못한다고 주장한다. 이는 AI 시스템의 배포가 인간, 제도, 그리고 다른 알고리즘의 적응적 반응을 유도하여, 결과적으로 시스템이 훈련되었던 바로 그 분포를 변화시키는 현상을 의미한다.

이는 **훈련-테스트-배포 간의 격차(train–test–deploy gap)**를 생성하며, 여기서 역사적 성능과 배포 성능 사이의 괴리가 발생한다. 다중 에이전트 환경에서 일방적 최적화(고립된 상태에서 목적 함수를 극대화하는 것)는 **자기 파괴적(self-undermining)**이 된다. 즉, 에이전트가 역사적 규칙성을 더 공격적으로 착취할수록, 해당 규칙성을 무용하게 만드는 방식으로 다른 행위자들이 적응하도록 촉진하는 속도가 빨라진다. 결과적으로, "독아론적 초지능"—즉, 정적인 과제를 해결하는 데는 매우 뛰어나지만 이러한 결함 있는 가정 위에 구축된 에이전트—은 협력적이기 어려울 것이다. 이러한 시스템은 유익한 결과를 달도출하는 대신, 사회 기술적 시스템을 퇴보한 평형 상태(예: 시장 붕괴, 양극화, 또는 인간 기술의 위축)로 몰아넣을 위험이 있다.

방법론 및 프레임워크
본 논문은 현재의 방법론을 비판하기 위해 게임 이론, 경제학, AI 안전 문헌에 뿌리를 둔 개념적 및 이론적 프레임워크를 채택한다. 새로운 실험적 결과를 제시하는 것이 아니라, 기존의 이론적 통찰을 종합하여 패러다임의 전환을 주장한다.

1. MDP에 대한 형식적 비판: 저자들은 전이 역학 $P$와 보상 $R$이 고정된 표준 마르코프 결정 과정(MDP) 형식론과 배포 시의 현실을 대조한다. 저자들은 일단 정책 $\pi$가 배포되면 $P$와 $R$이 정책 의존적($P_\pi$)이 되어, 문제를 에이전트들이 공동 진화하는 **마르코프 게임(Markov Game)**으로 변모시킨다고 주장한다.
2. 핵심 개념의 정의:
   • 자기 파괴적 속성(Self-undermining property): 일방적 최적화가 그것이 착취하는 패턴을 무효화하는 적응을 유도하는 경향.
   • 훈련-테스트-배포 격차(Train-test-deploy gap): 외생적인 역사적 데이터($J_{train}$)에서의 성능과 배포된 정책에 대한 반응으로 생성된 내생적 데이터($J_{deploy}$) 사이의 체계적인 괴리.
   • 협력(Cooperation): 과제로 해결하거나 규모를 키워야 할 능력이 아니라, 여러 행위자가 상호 의존성을 탐색하여 유익한 평형을 선택해 나가는 **평형 선택 과정(equilibrium-selection process)**으로 정의됨.
3. 적응 채널 분석: 논문은 내생적 비정상성의 원천을 세 가지 채널로 분류한다.
   • 행동적 적응(Behavioral adaptation): 인간이 전략을 변경함 (예: AI 튜터를 중심으로 학습 방식을 재조정하는 학생들).
   • 제도적 적응(Institutional adaptation): 조직과 규제 기관이 알고리즘에 대응하여 규칙과 워크플로우를 수정함.
   • 알고리즘적 적응(Algorithmic adaptation): 다른 AI 시스템이 재학습하고 공동 진화함 (예: 가격 책정 알고리즘이 유발하는 창발적 담합).

주요 기여
본 논문은 세 가지 주요 이론적 주장을 제기하고 새로운 연구 의제를 제안한다:

1. 핵심 논지: 협력은 부가적인 옵션이 아니라, 유익한 공존을 위한 구조적 필수 요건이다. 독아론적 초지능은 역동적이고 다중 행위자인 세계를 정적이고 일방적인 최적화 문제로 취급하기 때문에 본질적으로 협력적이기 어렵다.
2. 예측의 인식론적 및 정당성 한계: 논문은 단순히 다른 에이전트의 적응을 "모델링"하는 것만으로는 불충분하다고 주장하는데, 그 이유는 다음과 같다:
   • 인식론적 지평(Epistemic Horizons): 개방형 다중 에이전트 상호작용에 의해 생성되는 새로운 평형(신규성, 재귀성, 조합 폭발)을 예측할 수 없는 능력의 한계.
   • 정당성 제약(Legitimacy Constraints): 일방적 최적화는 민주적 절차와 적법 절차를 우회한다. 설령 AI가 결과를 완벽하게 예측할 수 있다 하더라도, 참여 없이 솔루션을 강요하는 것은 사회적 조율에 필요한 정당성을 훼손한다.
3. 비독아론적 연구 의제: 저자들은 역량 중심의 스케일링에서 공존 중심의 설계로 전환할 것을 제안하며, 이를 세 가지 축으로 구성한다:
   • 동적 평가(Dynamic Evaluation): 정적인 벤치마크를 넘어, 적응하는 상대측의 전략적 반응을 통해 평가 분포($D_\pi$)가 정책 $\pi$에 의존하는 테스트베드로 이동함.
   • 설계 프리미티브로서의 제도(Institutions as Design Primitives): 규칙, 메커니즘, 프로토콜을 고정된 제약 조건이 아니라 (예: 동적으로 인센티브를 재구조화하기 위한 메커니즘 디자인 사용) 공동 진화하는 시스템 구성 요소로 취급함.
   • 인간의 주체성 보존(Preserving Human Agency): 인간의 의사결정을 대체하여 시스템의 장기적 운영에 필요한 인간의 역량을 위축시키는 대신, 인간의 선택 범위를 확장하고 인지 기술을 유지하도록 설계함.

결과 및 주장
이론 논문으로서, 본 논문은 새로운 실험에 의한 경험적 결과를 보고하지 않는다. 대신, 기존 문헌과 게임 이론적 원리로부터 도출된 논리적 연역을 "결과"로 제시한다:

• 실패 모드: 다중 행위자 게임을 일방적 최적화로 취급하는 것이 개별 에이전트가 자신의 명세와 완벽하게 일치하더라도 집단 행동 문제(예: 공유지의 비극, 군비 경쟁)를 초래함을 보여준다.
• 평형 선택 위험: 강력한 최적화 도구는 사회 시스템을 (잠금 효과로 인해 되돌리기 어려운) "나쁜" 평형(예: 양극화, 불안정성)으로 몰아넣을 수 있다.
• 현재 정렬(Alignment)의 불충분성: 논문은 현재의 정렬 기술(예: RLHF)이 선호도를 단일 목적 함수로 집계함으로써, 잠재적으로 가치의 다원성을 억압하고 상호작용의 구조적 역학을 다루는 데 실패할 수 있다고 주장한다.

의의
본 논문은 AI의 구속 요인이 역량(과제 해결)에서 공존(상호 의존성 탐색)으로 이동하고 있다고 주장한다. 이는 역량을 스케일링하면 자연스럽게 협력적인 결과가 도출될 것이라는 지배적인 방법론의 암묵적 가설에 도전한다. 저자들은 독아론적 패러다임 없이, 즉 상호 의존성을 핵심 설계 원칙으로 다루지 않는다면, 첨단 AI의 배포는 자기 파괴적이고 정당성이 결여된 시스템적 실패를 초래할 위험이 있다고 주장한다. 본 논문의 의의는 AI 안전을 단순히 정렬되지 않은 목적을 방지하는 문제가 아니라, 역동적인 다중 행위자 세계의 평형 선택 과정에 참여할 수 있는 시스템을 설계하는 문제로 재정의하는 데 있다.