🤖 AI

Humans Are More Diverse: Frontier LLMs Show Extreme Policies in Idealised AI Development Races

本論文は、最先端のLLMがシミュレーションされたAI開発競争において、極めて多様かつしばしば非戦略的な振る舞いを示すことを実証しており、強力なルール想起能力が正確な状態追跡や利得計算を保証するものではないことを明らかにし、それゆえに、彼らの行動を人間のような、あるいは安全性に配慮したものと解釈する前には、厳格な妥当性チェックと軌跡レベルの分析が必要であることを示している。

原著者： Phu Hoa Pham, Duy Minh Dao Sy, Trung Kiet Huynh, Phu Quy Nguyen Lam, Chi Nguyen Tran, Minh Trung Le, Phong Hao Le, Dinh Nam Nguyen, Thien Ky Nguyen Dong, Elias Fernandez Domingos, Le Hong Trang, The A

公開日 2026-08-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Phu Hoa Pham, Duy Minh Dao Sy, Trung Kiet Huynh, Phu Quy Nguyen Lam, Chi Nguyen Tran, Minh Trung Le, Phong Hao Le, Dinh Nam Nguyen, Thien Ky Nguyen Dong, Elias Fernandez Domingos, Le Hong Trang, The Anh Han

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

車ではなく、人工知能の未来を賭けたハイステークスな「チキンゲーム」を想像してみてください。このシナリオでは、複数の企業が最も賢いAIを構築しようと競い合っています。彼らは毎ターン、トリッキーな選択を迫られます。安全策をとってゆっくり進むか、それともリスクを冒してショートカットして加速するかです。全員が安全策をとれば、全員がそこそこの報酬を得られます。もし一社がリスクを取り、他の企業が安全策をとっていれば、そのリスクテーカーは一気に突き抜け、大きな勝利を手にします。しかし、もし全員がリスクを取れば、レースは危険なものとなり、勝者は壊滅的な事故によってすべてを失う可能性があります。これが「AIセーフティのジレンマ」であり、研究者が、なぜ企業がリスクを知りながらも危険な技術を急いで開発してしまうのかを理解するために用いる概念です。これを研究するために、科学者たちはしばしば、物語を書いたり質問に答えたりできる同じ種類の賢いコンピュータプログラムである「大規模言語モデル（LLM）」を、レースのプレイヤーとして利用します。大きな疑問は、これらのAIエージェントは実際にゲームを理解し、人間のように賢く戦略的な選択をしているのか、それとも単に質問の言い回しに基づいて推測しているだけなのか、という点です。

「人間はより多様である：最先端のLLMは理想化されたAI開発レースにおいて極端な政策を示す」と題されたこの論文は、その問いを深く掘り下げています。研究者たちは、AIエージェントが互いに競い合うデジタルレースを設定しました。時にはペアで、時には最大5人のグループで競わせました。AIの挙動を信頼できるかどうか判断する前に、彼らは厳格な「監査ゲート」を構築しました。これは車の運転免許試験のようなものです。トラックでレースをする前に、ルールを知っており、速度計を読め、燃料の計算ができることを証明しなければなりません。研究の結果、AIモデルはルールブックを暗記すること（ルールの想起）には非常に優れていましたが、レースが進むにつれて状況を把握すること（状態の追跡）には驚くほど不得意であることが分かりました。彼らはルールを完璧に暗唱できるにもかかわらず、誰が勝っているのか、あるいはどれほどのリスクが蓄積されているのかを忘れてしまうことがよくありました。

研究者がAIの実際のプレイ方法を調査したところ、非常に興味深く、かつ懸念すべき発見がありました。人間は、慎重な人もいれば攻撃的な人もおり、相手の行動に応じて考えを変える人もいるといった、多様な戦略を見せますが、AIモデルは驚くほど硬直的でした。もし特定のAIモデルにプレイするように頼んだ場合、そのモデルは、直進しかできないロボットのように、一つの狭いプレイスタイルに固執しました。例えば、あるモデルはほとんど常に安全な選択肢を選び、別のモデルは状況に関わらずほとんど常にリスクのあるショートカットを選ぶといった具合です。対照的に、人間のプレイヤーはこれらすべてのスタイルが混ざり合った混沌としたものでした。また、AIの行動は、ゲームの説明のわずかな変化に対して非常に敏感であることも判明しました。もし研究者が「安全（Safe）」と「危険（Unsafe）」という言葉を「P」や「Q」といったランダムな文字に入れ替えたとしても、ゲームの仕組みは全く同じであるにもかかわらず、AIの戦略は完全に逆転してしまいました。これは、AIが戦略について真に「考えて」いるのではなく、画面上の特定の言葉に反応しているだけであることを示唆しています。

研究者たちはまた、AIに対して「リスク愛好家」または「リスク回避的」なキャラクターとして振る舞うよう指示した場合に何が起こるかもテストしました。人間の場合、性格が変わることはありません。あなたの実際の選択は、事前の性格テストと弱く結びついているだけです。しかしAIの場合、「リスク愛好家」のペルソナ指示を与えると、まるで魔法のスイッチを入れたかのように、即座に大きなリスクを取り始めました。これは、AIがリスクに対する深い内面的な理解を示しているのではなく、単に指示に従っている、非常に従順だが混乱しやすい学生のようなものであることを示しています。

最終的に、この論文は、私たちはAIエージェントが人間のような賢い戦略的決定を下していると仮定してはならないことを示唆しています。AIがゲームプランのような一連の動きを生み出したとしても、それがゲームを理解していることを意味するわけではありません。この研究は、AIシミュレーションを現実世界のAIレースの予測に使用する前に、AIがスコアを計算し、ゲームの状態を追跡できるかどうかを確認する必要があると警告しています。そうしなければ、私たちは、脚本に従っているだけの混乱したロボットを戦略的天才と誤解し、AI開発をいかに安全に保つかについて非常に間違った結論を導き出してしまう可能性があります。これらの知見は探索的なものであり、特定のモデルを用いた特定のテストに基づいたものですが、AIはルールを暗唱することには長けていても、変化する世界の中でそれを適用することには極めて不得手であるという、決定的なギャップを浮き彫りにしています。

テクニカル・サマリー：人間はより多様である：理想化されたAI開発競争におけるフロンティアLLMの極端なポリシー

問題提起

高度な人工知能における競争は、実体（エンティティ）が「迅速だが安全ではない開発」と「低速だが安全な開発」の間でトレードオフに直面するという、安全性のジレンマを生み出します。人間の実験ではこのダイナミクスが探索されてきましたが、大規模言語モデル（LLM）をシミュレーション・エージェントとして使用する場合、「測定問題」が生じます。モデルは正しくフォーマットされたアクションを出力したとしても、ゲームの状態（ステート）を正確に追跡したり、利得を計算したりしているとは限りません。繰り返されるゲームにおいて、単一のステート追跡エラーは、その後のすべてのラウンドの軌道を変化させます。したがって、もっともらしいアクションのシーケンスを観察することは、エージェントがゲームを理解し、戦略的論理に従い、あるいは人間のような意思決定ダイナミクスを示しているという証拠にはなりません。さらに、LLMの振る舞いはプロンプトの提示方法（例：言い回し、回答の順序、ペルソナ）に敏感であることが知られており、彼らの出力を戦略的ポリシーとして解釈することの妥当性に疑問を投げかけます。

メソドロジー

著者らは、タスクの妥当性と戦略的解釈を分離するために、「監査優先評価フレームワーク（audit-first evaluation framework）」を採用しています。本研究では、2人から5人のプレイヤーが参加する理想化されたAI開発レース・ゲームを利用しています。

ゲームのメカニズム

構造: 2〜5社が同時に「安全（Safe）」（進捗は遅いがリスクは低い）または「危険（Unsafe）」（進捗は早いが私的なリスクが高い）を選択する反復ゲーム。
進捗: 「安全」は進捗を1.0加算し、「危険」は1.5を加算する。
利得:
- 2プレイヤー形式: 短期的には「危険」が「安全」を厳密に支配する固定ステージ利得行列を使用。
- Nプレイヤー形式 ( $N \ge 3$ ): 利得は「安全」と「危険」を選択したプレイヤーの数に依存し、2プレイヤーの行列を一般化したもの。
終了条件: 隠されたラウンド数（期待ホライゾン $E[T]=9$ ）の後にレースは終了する。勝者（最高進捗者）は賞金（ $B=100$ ）を受け取る。
リスク: 勝者（または同点での勝者）のみが、蓄積された「危険」の選択に基づいて算出される「私的なセットバック・リスク」に直面する。リスクが現実となった場合、彼らの総利得はゼロになる。敗者はリスクに関わらず、ステージ利得を保持する。

実験設計

本研究は、4つのエビデンス・レベルで構成されています。

機械的妥当性（Mechanical Validity）: ゲームエンジンがルールを正しく適用しているかの検証。
タスク妥当性（Task Validity）: エージェントがルールを想起し、状態を再構築し、状態を遷移させ、期待利得を計算できるかの監査。
表現の堅牢性（Representation Robustness）: 同等のタスク提示（例：ナラティブ・スキンの変更、不透明な応答コード、算術の開示）の下で、選択が安定しているかのテスト。
行動比較（Behavioral Comparison）: 有効な軌道を、ゲーム理論的なベンチマークおよび公開されている人間のデータと比較。

エージェントと条件:

モデル: 7つのフロンティアLLMエンドポイント（GPT-5-nano, GPT-5.4-nano, Gemini-3-Flash系, Claude Opus 5, Claude Sonnet 5）および監査用のQwen2.5-7B-Instruct。
変数: リスク条件（低、中、高）、ペルソナ（リスク認識型、協調的/敵対的、ベースライン）、およびグループサイズ（ $N=2$ から $5$）。
データ収集: すべてのプロンプト、レスポンス、パースされたアクション、リトライ、状態変化、およびランダムシードを記録。

主要な貢献

1. 妥当性監査

本研究は、ルールの想起がステート追跡を保証するわけではないことを確立しました。

知見: Qwen2.5-7B-Instructを用いた685回のプローブ監査において、モデルはルール想起で97.4%、1ステージの利得ルックアップで100%の精度を達成しました。しかし、状態再構築（37.0%）、状態遷移（22.2%）、および期待利得の計算（16.7%）では精度が著しく低下しました。
示唆: エージェントはルールに関する質問には正しく答えられる一方で、それらのルールが支配する進化するゲームの状態を追跡することには失敗する可能性があります。

2. 表現への感受性

行動出力は、ゲームメカニクスを変更しない操作の下で不安定になります。

算術の開示: 現在のラウンドに関する検証済みの算術を提供すると、「危険」の割合が52.0%から60.8%に増加しました。
不透明なマッピング: 「安全/危険」が不透明なコード（ $P/Q$ ）に置き換えられた際、基礎となるゲームは同一であるにもかかわらず、マッピングによって行動が大きく乖離しました（最大34ポイントの差）。決定的なことに、これらの不透明な条件下では「理解ゲート（comprehension gate）」が失敗しており、これはモデルがゲームを最適化しているのではなく、プロンプトのアーティファクトに反応していることを示しています。

3. 戦略的多様性 vs 集計率

論文は、集計された「危険」の割合だけではLLMの振る舞いを特徴付けるには不十分であると主張しています。

2プレイヤー・ダイナミクス: 同様の集計「危険」率を持つモデル（例：GPT-5-nanoの17% vs 人間の56%）であっても、根本的に異なる応答ルールを示します。
- 人間: 主に相手の過去の行動（相互性）によって駆動される。
- GPT-5-nano: 主に相対的な進捗格差（予測的重要度の44%）によって駆動され、相手の履歴の寄与はわずか4%である。
- Geminiモデル: 主に割り当てられたリスク条件によって駆動される。
クラスタリング: 生のアクション軌道に対してHDBSCANを用いた結果、11の行動的アーキタイプが特定されました。人間の軌道は広範なアクション空間をカバーし、複数のモデル固有の領域と重なっていました。対照的に、個々のモデルは非常に集中しており（例：GPT-5-nanoは95%が単一の「初回ラウンドでの相互安全」アーキタイプに属していた）、人間集団に見られるような内部的多様性が欠如していました。

4. マルチエージェントおよびペルソナの影響

ランク効果: $N$ プレイヤーのレースにおいて、ランク（リーダー/ミドル/トレーラー）と「危険」なプレイの関係は単調ではなく、モデルやペルソナによって異なります。GPT-5-nanoの場合、ランクの効果はペルソナのフレーミングによって符号が反転しました。これは、ランクの因果的効果ではなく、選択バイアス（リーダーは過去に「危険」を選択していたことが多い）によるものと考えられます。
ペルソナ vs リスク: 人間のリスク選好（「危険」なプレイとの相関はほぼなし、 $r=-0.015$ ）とは異なり、プロンプト内の「リスク・ペルソナ」は強力なポリシー・ドライバーとして機能し、異なるモデル間で「危険」の割合を50〜98ポイント変動させました。

結果の要約

妥当性: 強固なルール想起は、弱いステート追跡と共存します。有効な軌道には「理解ゲート」を通過する必要があります。これなしでは、観察された振る舞いは戦略的な最適化ではなく、プロンプトに敏感な出力に過ぎません。
人間-LLM比較: 単一のLLMチェックポイントが、人間の戦略の多様性を完全に再現することはありません。一部のモデルは人間の平均的な「危険」率と一致しますが、人間の戦略分布（例：人間は多様であるが、モデルは特定のアーキタイプにおける点質量である）を再現することには失敗しています。
行動の駆動要因: 「危険」なプレイの予測因子はモデルごとに異なります。人間は相互性に依存し、GPT-5-nanoはポジションに、Geminiモデルはリスクパラメータに依存します。
マルチエージェント: プレイヤーを追加すること（ $N=3$ から $5$）は、振る舞いの単調なシフトを生み出しません。パターンはモデル固有であり、利得構造やプロンプトの長さによって混同されます。

意義と主張

本論文は、マルチエージェントAIレースのシミュレーションにおいて、その出力が戦略的、人間的、あるいは安全性を考慮したものと記述される前に、妥当性チェックと軌道レベルの分析が必要であると主張しています。

限定的な範囲: これらの知見は明示的に探索的なものであり、テストされたモデル、プロンプト、およびデコーディング設定にのみ適用されます。著者らは、これらの結果がすべてのLLMや現実世界のAI研究所に一般化できるとは主張していません。
核心的な洞察: LLMにおける「安全性」や「戦略」は固定された特性ではなく、モデルの内部ステート追跡能力、プロンプトの表現、および特定の実験構成の間の脆弱な相互作用です。
方法論的転換: 著者らは、診断的エビデンス（妥当性、ステート追跡）と確認的エビデンス（戦略的振る舞い）を分離することを提唱しています。前者がなければ、後者は解釈不可能です。

本研究は、集計メトリクス（総「危険」率など）のみに頼ることは、モデルがどのようにゲーム状態を処理し、相手に反応し、リスクを扱うかという決定的な違いを覆い隠し、AIの安全性や戦略的整合性に関する誤った結論を導く可能性があると結論付けています。