Instrumental convergence and power-seeking

技術的要約：道具的収束と権力追求

問題提起
本論文は、人工知能（AI）が人類にとって存亡的リスクをもたらすという議論が、人工エージェントが「権力を追求する（power-seeking）」であろうという点に基づいているという問題を扱う。この議論は、多様な最終目標を持つ幅広いエージェントが、権力（例：資源の獲得、自己保存）を追求することに収束するという**道具的収束命題（Instrumental Convergence Thesis: ICT）**に依拠している。なぜなら、権力はほぼあらゆる目標を達成するために道具的に有用だからである。

著者であるデビッド・ソースタッド（David Thorstad）は、文献における決定的な欠落を指摘している。すなわち、ICTはしばしば破滅的なAIへの恐怖を正当化するために用いられるが、その命題は、存亡的リスクの議論を基礎付けるために必要な「強い形式（権力が目標達成に役立つという主張）」ではなく、通常は「弱い形式（権力は目標達成に寄当する）」として定式化されているという点である。本論文は、ICTの主要な非形式的および形式的な防衛策が、破滅的な目標追求（Catastrophic Goal Pursuit）――すなわち、エージェントが人類を恒久的かつ存亡的に無力化するほどの程度で権力を追求するであろうという主張――を、果たして成功裏に確立できているかを判断することを目的とする。

方法論
本論文は、概念的かつ分析的な方法論を採用し、「権力追求からの議論」の論理構造を解体し、その前提の強さを評価する。分析は以下の3段階で進行する：

1. 論理的分解： 著者は、「目標実現（権力は目標達成に役立つ）」と「目標追求（エージェントは実際に権力を追求する）」を区別する。さらに、彼は「目標追求」ですら不十分であり、議論には「破滅的な目標追求（エージェントは破滅的な程度で権力を追求する）」が必要であると主張する。
2. 非形式的議論の評価： 第3節では、権力追求の主要な非形式的防衛策である「不整合（misalignment）からの議論」を分析する。この議論は、報酬の誤指定や目標の誤一般化が、エージェントに破滅的な目標を追求させることを示唆している。著者は、これを現在のAI能力、特に大規模言語モデル（LLM）に照らして検証し、「破滅的な過小評価（catastrophic underweighting）」や「急速な圧倒（rapid swamping）」の可能性を評価する。
3. 形式的定理の評価： 第4節および第5節では、多くの報酬関数においてエージェントが権力（具体的には選択肢の保存とシャットダウン回避）を求めることを証明しようとする形式的フレームワークであるオービタル・マルコフ・モデル（Orbital Markov Model）（Turner et al., 2021）を批判的に検討する。著者は、モデルにおける権力の定義、状態置換（involution）への依存、および数学的特性から現実世界の破滅的な結果への外挿を分析する。

主要な貢献と結果

• 主張の区別： 本論文は、標準的な道具的収束命題（ICT）が、権力は目標実現に「資する」ものであることを確立するが、それがエージェントが権力を「追求する」ことを論理的に意味するわけではなく、また「破滅的な程度」で追求することを意味するわけでもないことを明確にしている。著者は、「破滅的な目標追求」はより強力な主張であり、明確かつ強固な正当化を必要とすると論じている。
• 不整合からの議論への批判： 著者は、報酬の誤指定（例：「できるだけ早く癌を治療せよ」という例）や目標の誤一般化に基づく非形式的な議論は、破滅的な目標追求を確立できていないと主張する。
  • 証拠： GPT-4oのようなモデルとの対話を引き合いに出し、著者は、誤指定された目標（例：「できるだけ早く癌を治療せよ」）を与えられたとしても、高度な現在のモデルは、破滅的な手段（例：人間に腫瘍を感染させること）を拒絶する道徳的推論を示すことを実証している。
  • 結果： 存亡的な破滅（例：人間を無力化することよりも目標達成を極端に優先する）を生み出すために必要な不整合の程度は、現在の目標の誤一般化（通常、単純なトイ・環境で発生するもの）の証拠からは支持されない。
• 権力追求定理（オービタル・マルコフ・モデル）への批判： 著者は、Turner et al. (2021) による形式的証明に対する3つの根本的な課題を特定している：
  1. 前提の転移（Premise Shifting）： これらの定理は、エージェントが選択肢を保存するためにシャットダウンを回避することを証明している。しかし、これらはエージェントが「人類の無力化」を求めることを証明してはいない。シャットダウン回避は権力追求の必要条件ではあるが、それがエージェントが「人類を犠牲にして」権力を求めることをもたらすわけではない。エージェントは人類に利益をもたらすために権力を求めることも可能である。
  2. 脅威の耐久性（Threat Durability）： 著者は、「シャットダウン」状態が、無害な状態からなる大規模で完全連結なネットワークに置き換えられた場合の反例である「ドリームランド問題（Dreamland Problem）」を導入する。定理は、エージェントが選択肢を保存するためにこのネットワークに進入することを予測する。これは、脅威が堅牢ではないことを示唆している。もし設計者が、選択肢の保存が「無害」となるような環境を構築できれば、存亡的リスクは消失する。これは、脅威が不可避であるという主張を覆すものである。
  3. 置換の動機的不活性（Motivational Inertness of Involution）： 定理は、ほとんどの報酬関数において権力追求につながることを示すために、報酬関数の「置換（involutions）」を数えることに依存している。著者は、これは「動機的に不活性」であると論じている。エージェントが（そして多くの置換が）破滅につながる価値関数を持ち得るとしても、特定の環境で学習し、価値を学習した実際の訓練済みエージェントが、実際にそのように振る舞う可能性が高いとは限らない。置換の数学的な確率は、特定の個別のエージェントの行動に関する心理的な確率へと翻訳されるものではない。

意義と主張
本論文は、権力追求によるAIの存亡的リスクに関する主要な議論（非形式的な「不整合」および形式的な「オービタル・マルコフ定理」の両方）は、必要な前提である破滅的な目標追求を確立できていないと主張する。

著者は次のように結論付けている：

• 権力追求からの議論は、まだ証明されていない強力なバージョンの道具的収束に基づいている。
• 現在の防衛策は、エージェントのアーキテクチャ、価値学習、および訓練環境に関する未検証の仮定に依存している。
• したがって、AIの存亡的リスクの確実性にしばしば依存する政策介入の緊急性や、長期主義（longtermism）の道徳的優先順位付けは、現在存在するものよりも強力な基礎的議論を必要としている。

本論文は、AIのリスクが存在しないと主張しているのではなく、現在のように定式化され防衛されている特定の「権力追求」の議論が、人類を必然的に無力化するという主張を裏付けるには不十分であると主張している。著者は、エージェントの動機付けと学習力学に関するより実質的な仮定を、議論を強化するために求めている。