Are we Doomed to an AI Race? Why Self-Interest Could Drive Countries Towards a Moratorium on Superintelligence

기술적 요약: "우리는 AI 경쟁에 운명적으로 처해 있는가? 왜 자국 이익이 초지능에 대한 휴전으로 국가를 이끌 수 있는가"

문제 제기
인공 초지능 (ASI) 을 둘러싼 담론에서 지배적인 견해는 전략적 유인 때문에 ASI 개발에 대한 전 세계적 휴전이 실행 불가능하다는 것입니다. 비판자들은 상호적 자제가 집단적으로 최적일지라도, 개별 국가들은 지정학적 패권을 쟁취하기 위해 배신하고 경쟁을 지속하는 우세 전략을 보유하고 있다고 주장합니다. 이러한 '하향 경쟁 (race to the bottom)' 역학은 통제 상실의 공유된 위험보다 뒤처질 것에 대한 두려움 (즉, '바보의 보상') 이 더 크다는 것을 시사하며, 이로 인해 휴전은 국가의 자국 이익에 반하는 것으로 간주됩니다. 본 논문은 이러한 가정에 도전하여, 휴전이 지정학적 초강대국에게 합리적이고 자국 이익을 추구하는 전략이 될 수 있는지 질문합니다.

방법론
저자들은 두 명의 지정학적 초강대국 (선두주자와 후발주자) 간의 전략적 상호작용을 모델링하기 위해 공식적 게임 이론 프레임워크를 사용합니다. 이 모델은 '경쟁 (Race, 표준 안전 조치를 유지하며 개발 지속)' 또는 '중단 (Pause, 안전을 극대화하기 위해 휴전 부과)' 중 하나를 선택하는 결정을 운영화합니다.

이 모델은 네 가지 핵심 변수로 정의됩니다:

1. 역량 격차 ($\Delta$): 연산 능력 및 연구 진전과 같은 요인을 종합하여 한 플레이어가 ASI 개발에서 갖는 상대적 우위.
2. 승자의 우위 ($W$): 선점 우위의 가치로, 0(협력적) 에서 1(승자 독식) 사이이며, 패자의 지정학적 종속을 포착합니다.
3. 통제 상실의 비용 ($C$): 통제 상실에서 발생하는 비효용성으로, 안전한 승리의 이익 (1 로 정규화) 에 대해 정규화됩니다. 특히, 이 모델은 문명적 붕괴가 어떤 전략적 이익보다도 중대할 수 있는 시나리오를 반영하여 $C > 1$을 허용합니다.
4. 기술적 불확실성 ($\sigma$): ASI 개발의 가능성과 타임라인에 대한 인식적 불확실성.

정책 선택은 이분법적입니다: 중단 ($s=1$, 최대 안전) 또는 경쟁 ($s=0.85$, 전문가 설문조사에 기반한 15% 의 치명적 위험). 분석은 '치명적 비용'($C$) 을 '역량 격차'($\Delta$) 에 대조하여 매핑함으로써, 어떤 조건에서 중단이 국가의 합리적 최선 대응이 되는지 내쉬 균형을 식별합니다.

주요 기여

1. 자국 이익을 추구하는 전략으로서의 휴전 공식화: 배신이 우세한 죄수의 딜레마로 경쟁을 다루는 이전 모델들과 달리, 본 논문은 특정 매개변수 조건 하에서 휴전이 단순한 협력적 이상이 아니라 자국 이익에 의해 추동된 합리적 전략이 될 수 있음을 보여줍니다.
2. 네 가지 전략적 세계의 식별: 재앙 비용과 역량 격차 및 승자의 우위 간의 관계를 변화시킴으로써, 저자들은 네 가지 구별되는 전략적 환경을 구분합니다:
   • 안전한 조화: 재앙 비용이 너무 높아 경쟁이 추가적 이득을 주지 않기 때문에 두 국가 모두 중단을 합리적으로 선택합니다.
   • 선제 공격: 유일한 안정적인 결과는 경쟁입니다. 특히 국가들이 균형을 이루고 있을 때, 재앙에 대한 두려움보다 경쟁자의 선점 우위에 대한 두려움이 더 큽니다.
   • 신뢰: 상호 중단을 선호하지만 경쟁자가 경쟁할 경우 착취될까 봐 두려워하는 조정 게임입니다.
   • 전복: 선두주자는 승리할 확률이 높고 재앙에 대한 두려움으로 인해 합리적으로 중단을 선택하는 반면, 후발주자는 격차를 줄이기 위해 경쟁하는 비대칭적 세계입니다.
3. 임계값의 정량화: 이 모델은 전략적 공간이 경쟁에서 중단으로 전환되는 특정 '비용 임계값'을 정량화합니다. 통제 상실의 인식된 비용 ($C$) 이 승자의 우위 ($W$) 와 불확실성 ($\sigma$) 에 비해 충분히 증가함에 따라 합리적 전략이 휴전으로 이동함을 보여줍니다.

결과
분석은 휴전의 실행 가능성이 정적이지 않고 변수들의 상호작용에 의존함을 드러냅니다:

• 재앙적 비용의 역할: 통제되지 않은 ASI 의 인식된 비용이 지정학적 패권의 예상 이익을 초과할 때, 안정적인 휴전이 자국 이익을 추구하는 선택이 됩니다.
• 불확실성의 영향: moderate 한 기술적 불확실성 ($\sigma$) 은 휴전을 위한 전략적 공간을 확장합니다. 국가들이 경쟁에서 승리할 가능성에 대해 불확실할 때, 안전 장치를 생략하려는 유인이 감소하여 중단이 더 합리적이 됩니다.
• 승자의 우위의 영향: 승자의 우위 ($W$) 가 감소하면 휴전을 합리적으로 만들기 위해 필요한 통제 상실 비용의 임계값이 낮아집니다.
• 실증적 궤적: 본 논문은 ASI 위험에 대한 전 세계적 인식이 높아지고 있음을 시사하는 실증적 증거를 제시합니다. 2023 년 공개 서한, 블레츨리 선언과 같은 전문가 진술, Reuters/Ipsos 여론 조사, 그리고 AI 안전 연구소 설립을 인용하여, 저자들은 통제 상실의 인식된 비용 ($C$) 이 증가하고 있다고 주장합니다. 이러한 변화는 휴전이 국가의 자국 이익에 부합하는 조건들이 현재 지정학적 환경에서 더 그럴듯해지고 있음을 시사합니다.

의의와 주장
본 논문은 휴전이 본질적으로 국가의 자국 이익에 반한다는 가정을 뒤집는다고 주장합니다. '경쟁'은 합리적 국가 행동의 필연적 결과가 아니라, 특히 재앙 비용이 패권의 이익에 비해 낮게 인식되는 특정 매개변수 값에 따른 우발적 결과라고 주장합니다.

저자들은 겸손하게 현재의 지정학적 현실이 여전히 경쟁적 역학에 의해 지배되지만, 안정적이고 합리적인 휴전을 위한 전략적 공간이 확장되고 있다고 결론지었습니다. 그들은 통제 문제에 대한 과학적 합의가 커지고 재앙적 결과의 심각성에 대한 인식이 높아짐에 따라, 자국 이익을 추구하는 국가들에게 휴전이 지배적 전략이 되는 조건들이 '일반적으로 가정된 것보다 더 가깝다'고 주장합니다. 본 논문은 휴전이 보장된다고 주장하는 것이 아니라, 진화하는 조건 하에서 실현 가능하고 합리적인 옵션이며, AI 경쟁이 필연적이라는 비관론적 견해에 도전한다고 명시합니다.