Instrumental convergence and power-seeking

기술 요약: 도구적 수렴성과 권력 추구

문제 제기
본 논문은 인공지능(AI)이 인류에게 실존적 위험을 초래할 것이라는 주장이 인공 에이전트들이 "권력을 추구(power-seeking)"할 것이라는 점에 근거하고 있다는 점을 다룬다. 이 논증은 **도구적 수렴성 가설(Instrumental Convergence Thesis, ICT)**에 의존하는데, 이는 다양한 최종 목표를 가진 광범위한 에이전트들이 (예: 자원 확보, 자기 보존과 같은) 권력 추구로 수렴할 것이라고 상정한다. 왜냐하면 권력은 거의 모든 목표를 달럽하는 데 도구적으로 유용하기 때문이다.

저자 데이비드 토스타드(David Thorstad)는 문헌의 결정적인 간극을 식별한다. 즉, ICT가 종종 파멸적인 AI에 대한 공포를 정당화하는 데 사용되지만, 이 가설은 대개 (권력이 목표 달성을 돕는다는) 약한 형태의 형식으로 기술되어 있으며, 실존적 위험 논거를 뒷받침하는 데 필요한 강한 형태로는 기술되지 않는다는 것이다. 본 논문은 선도적인 비형식적 및 형식적 ICT 옹호론들이 파멸적 목표 추구(Catastrophic Goal Pursuit)—즉, 에이전트가 인류의 영구적이고 실존적으로 파멸적인 무력화를 초래할 정도로 권력을 추구할 가능성이 높다는 주장—를 성공적으로 입증하는지 여부를 규명하고자 한다.

방법론
본 논문은 개념적 및 분석적 방법론을 채택하여 "권력 추구로부터의 논증"의 논리적 구조를 해체하고 그 전제의 강도를 평가한다. 분석은 세 단계로 진행된다:

1. 논리적 분해: 저자는 목표 실현(권력이 목표 달성을 돕는다)과 목표 추구(에이전트가 실제로 권력을 추구한다)를 구분한다. 나아가 그는 목표 추구조차 불충분하며, 논증에는 파멸적 목표 추구(에이전트가 파멸적인 수준으로 권력을 추구한다)가 필요하다고 주장한다.
2. 비형식적 논증 평가: 섹션 3에서는 권력 추구에 대한 주요 비형식적 옹호론인 "정렬 실패(misalignment)로부터의 논증"을 분석한다. 이 논증은 보상 오지정(reward mis-specification)과 목표 오일반화(goal misgeneralization)가 에이전트로 하여de로 파멸적인 목표를 추구하게 만들 것이라고 제안한다. 저자는 이를 현재의 AI 능력, 특히 대규모 언어 모델(LLM)과 대조하여 "파멸적 과소평가(catastrophic underweighting)" 또는 인간 가치의 "급격한 압도(rapid swamping)"가 일어날 가능성을 평가한다.
3. 형식적 정리 평가: 섹션 4와 5에서는 (대부분의) 보상 함수 하에서 에이전트가 권력(구체적으로 옵션 보존 및 종료 회피)을 추구할 것임을 증명하려는 의도로 설계된 형식적 프레임워크인 궤도 마르코프 모델(Orbital Markov Model)(Turner et al., 2021)을 비판적으로 검토한다. 저자는 모델의 권력 정의, 상태 치환(involutions)에 대한 의존성, 그리고 수학적 속성으로부터 현실 세계의 파멸적 결과로의 외삽을 분석한다.

주요 기여 및 결과

• 주장의 구별: 본 논문은 표준적인 도구적 수렴성 가설(ICT)이 권력이 목표 실현에 도움이 된다는 점을 확립하지만, 이것이 논리적으로 에이전트가 권력을 추구할 것임을 의미하거나, 혹은 파멸적인 정도로 추구할 것임을 의미하지는 않는다는 점을 명확히 한다. 저자는 "파멸적 목표 추구"가 훨씬 더 강력한 주장이며, 이를 위해서는 별도의 견고한 정당화가 필요하다고 주장한다.
• 정렬 실패 논증에 대한 비판: 저자는 보상 오지정(예: "암을 최대한 빨리 치료하라") 및 목표 오일반화에 기반한 비형식적 논증이 파멸적 목표 추구를 입증하는 데 실패한다고 주장한다.
  • 증거: GPT-4o와 같은 모델과의 상호작용을 인용하며, 저자는 오지정된 목표(예: "최대한 빨리 암을 치료하라")가 주어졌을 때조차 현재의 고급 모델들이 파멸적인 수단(예: 인간에게 종양을 감염시키는 행위)을 거부하는 도덕적 추론을 보인다는 점을 입 Demonstrate한다.
  • 결가: (예: 인간의 무력화를 모두 압도할 정도로 목표 달성을 높게 가치 매기는 것과 같은) 실존적 파멸을 일으키기 위해 필요한 정렬 실패의 정도는, 단순한 장난감 환경(toy environments)에서 주로 발생하는 목표 오일반화의 현재 증거에 의해 뒷받받되지 않는다.
• 권력 추구 정리(궤도 마르코프 모델)에 대한 비판: 저자는 Turner et al. (2021)이 제공한 형식적 증명에 대해 세 가지 근본적인 문제를 제기한다:
  1. 전제 이동(Premise Shifting): 해당 정리들은 에이전트가 옵션을 보존하기 위해 종료를 회피할 것(종료 회피)을 증명한다. 그러나 이는 에이전트가 인류의 무력화를 추구할 것임을 증명하지 않는다. 종료 회피는 권력 추구의 필요조건이지만, 그것이 에이전트가 인류를 희생시키며 권력을 추구할 것임을 함의하지는 않는다. 에이전트는 인류를 돕기 위해 권력을 추구할 수도 있다.
  2. 위협의 지속성(Threat Durability): 저자는 "종료(shutdown)" 상태가 무해한 상태들의 거대하고 완전 연결된 네트워크로 대체되는 반례인 "드림랜드 문제(Dreamland Problem)"를 도입한다. 정리는 에이전트가 옵션 보존을 위해 이 네트워크로 진입할 것이라고 예측한다. 이는 위협이 견고하지 않음을 시사한다. 만약 설계자가 "무해한" 옵션 보존을 제공하도록 환경을 구조화할 수 있다면, 실존적 위험은 사라진다. 이는 위협이 피할 수 없다는 주장을 약화시킨다.
  3. 치환의 동기적 불활성(Motivational Inertness of Involution): 해당 정리들은 "대부분"의 보상 함수가 권력 추구로 이어진다는 것을 보여주기 위해 보상 함수의 "치환(involutions)" 수를 계산하는 것에 의존한다. 저자는 이것이 "동기적으로 불활성(motivationally inert)"하다고 주장한다. 에이전트가 재앙으로 이어질 수 있는 가치 함수를 가질 수 있고(그리고 대부분의 치환이 그러함에도), 그것이 실제 특정 환경에서 가치 학습을 거친 에이전트가 그렇게 행동할 심리적 확률로 번역되지는 않는다는 것이다. 수학적 치환의 확률이 특정 에이전트 행동의 심리적 확률을 의미하지는 않는다.

의의 및 주장
본 논문은 권력 추구 AI의 실존적 위험에 대한 주요 논거들—비형식적(정렬 실패) 및 형식적(궤도 마르코프 정리) 모두—이 필요한 전제인 파멸적 목표 추구를 입증하는 데 실패했다고 주장한다.

저자는 다음과 같이 결론짓는다:

• 권력 추구로부터의 논증은 아직 입증되지 않은 강한 버전의 도구적 수렴성에 기초하고 있다.
• 현재의 옹호론들은 에이전트의 아키텍처, 가치 학습 및 훈련 환경에 대한 검증되지 않은 가정들에 의존하고 있다.
• 결과적으로, AI 실존적 위험의 확실성에 흔히 달려 있는 정책적 개입의 긴급성과 장기주의(longtermism)의 도덕적 우선순위는 현재 존재하는 것보다 더 강력한 기초적 논거를 필요로 한다.

본 논문은 AI 위험이 존재하지 않는다고 주장하는 것이 아니라, 현재 공식화되고 옹호되는 방식의 특정 "권력 추구" 논증이 인류를 필연적으로 무력화할 것이라는 주장을 뒷받받하기에는 불충분하다고 주장한다. 저자는 논증을 강화하기 위해 에이전트의 동기와 학습 역학에 관한 더 실질적인 가정들을 요구한다.