Are we Doomed to an AI Race? Why Self-Interest Could Drive Countries Towards a Moratorium on Superintelligence

技術サマリー：「私たちは AI 競争に運命づけられているのか？なぜ自己利益が超知能に対するモラトリアム（開発一時停止）を国家へ駆り立てる可能性があるのか」

問題提起
人工超知能（ASI）をめぐる議論において支配的な見解は、戦略的インセンティブのため、その開発に対する世界的なモラトリアムは実行不可能であるというものである。批判論者は、相互の自制が集合的に最適であっても、個々の国家は地政学的覇権を巡る競争を継続し、裏切る（defect）ための支配戦略を有すると主張する。この「底辺への競争（race to the bottom）」というダイナミクスは、取り残されることへの恐怖（「お人好しの報酬」）が、制御不能による壊滅的損失の共有リスクを上回ると示唆し、モラトリアムを国家の自己利益に反するものとしている。本論文はこの仮定に異を唱え、地政学的超大国にとってモラトリアムが合理的かつ自己利益に基づく戦略となり得るかどうかを問う。

方法論
著者らは、2 つの地政学的超大国（「先行者（Frontrunner）」と「遅行者（Laggard）」）間の戦略的相互作用をモデル化するために、形式的なゲーム理論的枠組みを採用する。このモデルは、「レース（標準的な安全対策を講じつつ開発を継続する）」か「一時停止（安全性を最大化するためにモラトリアムを課す）」かのいずれかの意思決定を操作化する。

モデルは以下の 4 つの主要変数によって定義される：

1. 能力格差（$\Delta$）： 計算能力や研究の進展などの要因を統合し、あるプレイヤーが ASI 開発において保持する相対的優位性。
2. 勝者の優位性（$W$）： 先手優位性の価値。0（協調的）から 1（勝者総取り）の範囲で、敗者の地政学的従属を捉える。
3. 制御不能な ASI のコスト（$C$）： 制御喪失から生じる不効用。安全な勝利の便益（1 に正規化）に対して正規化される。重要なのは、モデルが $C > 1$ を許容することであり、これは文明の崩壊があらゆる戦略的利得を上回るシナリオを反映している。
4. 技術的不確実性（$\sigma$）： ASI 開発の可能性とタイムラインに関する認識論的不確実性。

政策選択は二元的である：一時停止（$s=1$、最大限の安全性）またはレース（$s=0.85$、専門家調査に基づく 15% の壊滅的リスクを表す）。分析は、「壊滅的コスト（$C$）」を「能力格差（$\Delta$）」に対してマッピングすることでナッシュ均衡を特定し、どの条件下で一時停止が国家にとって合理的な最善反応となるかを決定する。

主要な貢献

1. 自己利益に基づく戦略としてのモラトリアムの形式化： 裏切りが支配的である囚人のジレンマとして競争を扱う従来のモデルとは異なり、本論文は特定のパラメータ条件の下では、モラトリアムが単なる協調的理想ではなく、自己利益に駆動された合理的な戦略となり得ることを実証する。
2. 4 つの戦略的世界の特定： 能力格差と勝者の優位性に対する破滅のコストを変化させることで、著者らは 4 つの異なる戦略的環境を明確にする：
   • 安全な調和： 破滅のコストがあまりに高いため、競争による追加的利得が存在せず、両国家とも一時停止することが合理的となる。
   • 先制攻撃： 唯一の安定した帰結は競争である。特に国家間の力が拮抗している場合、破滅への恐怖よりも、ライバルの先手優位性への恐怖が勝る。
   • 信頼： 相互の一時停止を好むが、ライバルが競争した場合に搾取されることを恐れる調整ゲーム。
   • 転覆： 先行者が（高い勝率と破滅への恐怖により）合理的に一時停止を選択し、遅行者が格差を埋めるために競争する非対称な世界。
3. 閾値の定量化： モデルは、戦略的領域が競争から一時停止へ移行する具体的な「コスト閾値」を定量化する。制御喪失の認識されるコスト（$C$）が、勝者の優位性（$W$）と不確実性（$\sigma$）に対して十分に増大すると、合理的な戦略がモラトリアムへと移行することを示す。

結果
分析は、モラトリアムの実行可能性が静的なものではなく、変数間の相互作用に依存することを明らかにする：

• 壊滅的コストの役割： 制御不能な ASI の認識されるコストが地政学的覇権の期待便益を上回る場合、安定したモラトリアムが自己利益に基づく選択となる。
• 不確実性の影響： 中程度の技術的不確実性（$\sigma$）は、モラトリアムの戦略的領域を拡大する。国家が競争での勝利の可能性について不確実である場合、安全対策を怠るインセンティブは減少し、一時停止がより合理的となる。
• 勝者の優位性の影響： 勝者の優位性（$W$）の減少は、モラトリアムを合理的にするために必要な制御喪失のコストの閾値を低下させる。
• 実証的軌跡： 論文は、ASI リスクに対する世界的な認識が高まっていることを示唆する実証的証拠を提示する。2023 年の公開書簡やブレッチリー宣言などの専門家声明、レuters/イプソスの世論調査、AI 安全研究所の設立などを引用し、著者らは制御喪失の認識されるコスト（$C$）が増大していると主張する。この変化は、モラトリアムが国家の自己利益に合致するために必要な条件が、現在の地政学的状況においてより現実的になりつつあることを示唆する。

意義と主張
本論文は、モラトリアムが本質的に国家の自己利益に反するという仮定を覆すと主張する。同論文は、「競争」が合理的な国家行動の必然的結果ではなく、特に破滅のコストが覇権の便益に比べて低く認識されるという特定のパラメータ値に依存する偶発的な結果であると論じる。

著者らは控えめに結論づけており、現在の地政学的現実はまだ競争的ダイナミクスに支配されているが、安定した合理的なモラトリアムのための戦略的領域は拡大していると述べる。彼らは、制御問題に関する科学的合意が深まり、壊滅的結果の認識される深刻さが増すにつれて、モラトリアムが自己利益に基づく国家にとって支配的戦略となる条件は「一般的に想定されているよりも近い」と仮説を立てる。本論文はモラトリアムが保証されると主張するものではなく、むしろ変化する条件下において実行可能かつ合理的な選択肢であり、AI 競争は避けられないという悲観論的見解に挑戦するものである。