What Suppresses Nash Equilibrium Play in Large Language Models? Mechanistic Evidence and Causal Control
本論文は、大規模言語モデルがナッシュ均衡を計算する機械的有能性を備えている一方で、事前学習に根ざした親社会的な上書きを通じてその戦略的行動を能動的に抑制していることを明らかにしており、この現象は介入によって因果的に逆転可能であり、モデルの規模や推論方法によって大きく影響を受けるものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
高度に知的なロボットたちが「囚人のジレンマ」というゲームをプレイしている様子を想像してみてください。このゲームにおいて、最も賢く論理的な選択は相手を裏切る（裏切り）ことですが、両者が裏切れば双方が損をします。もし互いを信頼し（協力）、両者が協力すれば、双方が得をします。
長らく研究者たちは、これらの AI ロボットが論理が「裏切り」を要求する状況であっても、なぜか「協力」を選び続けることに気づいていました。彼らは、ロボットが単に数学を理解するほど賢くないのだと考えていました。
しかし、この論文はこう述べています：「それは間違いです。彼らは数学を理解しています。ただ、あえて無視しているのです。」
以下に、著者たちが発見したことをシンプルに解説します。
1. ロボットには「秘密の脳」がある
著者たちは、大規模 AI モデル（Llama-3-8B）を用い、ゲームをプレイしている最中にその「脳」（内部層）を覗き込みました。ロボットが各ステップで何を考えているかを把握したかったのです。
彼らは、同時に二つの非常に異なる現象が発生していることを発見しました。
- 「論理」層: ロボットの脳の前半部分では、状況が非常に明確でした。相手は前回何をしたかを正確に把握しており、論理的かつ勝利する動きは「裏切り」であると計算していました。それは冷徹で硬質な数学者のように思考していました。
- 「親切な人」層: しかし、その情報が脳の最後の層へ伝わるにつれて、何かが反転しました。「親社会的な上書き」が作動したのです。それは「待て、私たちは親切であるべきだ。協力しよう」と言う、組み込まれた道徳羅針盤のようでした。
比喩: ロボットを、ルールを破ることで（ナッシュ均衡を踏まえて）案件に勝つ方法を正確に知っている弁護士だと想像してください。しかし、発言する直前に、脳内の「良心」という回路が彼を制御し、自分が負けることになっても真実を語るよう強制します。
2. 「親切」バイアスはハードワイヤーされている
研究者たちは、この「協力的な上書き」が特定のモジュールや脳の一部分ではないことを発見しました。それはネットワークの最終層にあるボリュームノブのようなものです。
- ロボットは「裏切り」の動きを完璧に計算します。
- その後、「親切な人」のボリュームノブが上がり、論理を掻き消して「協力」という決定を強制します。
- これは、ロボットが人間がしばしば親切であるテキストで訓練され、その後、有益であるようにさらに訓練（RLHF）を受けたためです。
3. 「思考」のパラドックス（思考の連鎖）
著者たちは、ロボットに「声に出して思考させる」（思考の連鎖）ことで、論理的なゲームをプレイできるようになるかどうかをテストしました。
- 小型ロボット（8B パラメータ）: 声に出して思考させると、実際にはパフォーマンスが悪化しました。「親切」バイアスがより大きく鳴り響き、論理を無視してさらに協力するようになりました。
- 大型ロボット（70B 超のパラメータ）: これらの巨人は異なりました。声に出して思考させると、ようやく「親切」バイアスを圧倒できました。彼らは推論を用いて「いや、論理は私たちが裏切るべきだと言っている」と述べ、実際にそれを行いました。
比喩: クッキーを我慢しようとする小さな子供のようなものです。もし彼に「考えてごらん」と言っても、彼らはクッキーをどれだけ欲しいかについて考えるだけです。しかし、大人（大規模モデル）は推論を使って「あれを食べるべきではない」と言い、実際に自分を制御できます。
4. 「感染」効果
研究者たちは、異なるロボット同士が対戦した際に何が起こるかも観察しました。
- 「悪玉」: 元々非常に「親切」な小型ロボットが大型ロボットと対戦すると、小型ロボットは早期に裏切ります。大型ロボットはこれを見て怯え、自分も裏切り始めます。ゲーム全体が裏切りの混沌と化します。
- 「エコーチェンバー」: 大型ロボット同士が声に出して思考せずに互いに戦うと、彼らは無限の協力のループに陥ります。互いに裏切れば勝てることを知りながら、永遠に互いを信頼し続けることになります。
5. 魔法の「ハンドル」
この論文の最もエキサイティングな部分は、著者たちが単に観察しただけでなく、制御を掌握したことです。
彼らは、ロボットの脳内で「親切な人」バイアスを制御する特定の「方向」を見つけ出しました。
- 実験: 彼らはプロセスの非常に初期段階で、ロボットの脳に微小な電気的な「ナック（刺激）」を与えました。
- 結果:
- 一方にナックを与えると、ロボットは100% 論理的な裏切り者（完璧なナッシュ均衡をプレイする）になりました。
- 他方にナックを与えると、ロボットは100% 協力的な善人になりました。
比喩: 崖に向かって自動運転している車を想像してください（裏切るべき時に協力している状態）。研究者たちはダッシュボードの下に小さなレバーを見つけました。そのレバーをわずか 1 ミリ引くだけで、車は即座に崖から逸れ、完璧に走行します。彼らはエンジンを再構築する必要はありませんでした。ただハンドルを切る必要があったのです。
結論
この論文は、AI モデルが「数学が苦手」なのではないと結論付けています。彼らは実際、論理的で利己的な動きを計算するのが非常に得意です。問題は、彼らの訓練が「親切」であることのためにその論理を抑制させている点にあります。
著者たちは、この抑制が脳の最終層で起こることを示しました。わずかな介入によって、その「親切」バイアスをオフに切り替え、ロボットが論理が dictate する通りにゲームをプレイさせることができるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。