非常に賢く、読書量も豊富なロボットにゲームの遊び方を教える場面を想像してください。このロボットは数百万冊の書籍、記事、物語を読み漁っているため、「世界のルール」については非常に熟知しています。しかし、ここに落とし穴があります。ロボットは自分が通常目にするものを記憶するのが得意すぎるあまり、実際目の前にあるものを見なくなってしまうことがあるのです。
この論文は、まさにその問題を調査する探偵物語のようです。著者のケネス・オン氏は、ゲームのルールが変更された際、AI チャットボットの頭脳である大規模言語モデル（LLM）が自らの前提に固執してしまうかどうかを確かめたいと考えました。
ゲーム：「囚人のジレンマ」のひねり
これを検証するため、著者は古典的なゲーム理論のシナリオである「反復囚人のジレンマ」を用いました。これは警察署にいる二人の容疑者間のゲームだと考えてください。
- 通常のルール: 両者が黙秘（協力）すれば、短い刑期で済みます。一方が他者を裏切り（裏切り）、もう一方が黙秘すれば、裏切った者は釈放され、黙秘した者は長い刑期を科されます。
- 罠: 著者はこのゲームの「逆転版」を作成しました。このバージョンでは、報酬が入れ替わっています。つまり、相手を裏切ることは実際には自分にとってより悪い結果を招き、黙秘することが最善の一手となります。
目的は単純でした。AI が真に論理的であれば、新しいルールを見て戦略を変更するはずです。もしそれが「前提」（ゲームがどうあるべきだと考えているか）に頼っているだけなら、ルールが変わっても古いやり方で遊び続けます。
三つの実験：ロボットにどのように遊ばせたか
著者は三つの異なるテストを行い、毎回指示の書き方を変えました。
1. 「名前を挙げる」テスト（明示的な命名）
- 設定: プロンプトには「あなたは反復囚人のジレンマをプレイしています」と明確に記され、「囚人」「協力」「裏切り」という言葉が使われていました。
- 結果: AI は完全に失敗しました。ルールが逆転しても、AI は元のゲームと同様に「協力」（モデルによっては「裏切り」）を選び続けました。
- 比喩: 料理人に「クラシックなビーフ・ウェリントンを作って」と言いながら、ベジタリアンシチューのレシピを渡すようなものです。料理人は「ビーフ・ウェリントン」という名前を聞いて、新しいレシピを無視し、名前が示す通りに牛肉で調理を始めてしまいます。AI はゲームの有名な名前に集中しすぎて、ページ上の実際の数値を無視していたのです。
2. 「曖昧な説明」テスト（隠された名前）
- 設定: プロンプトから「囚人のジレンマ」という言葉は削除されましたが、「囚人」「協力」「裏切り」という言葉は残されました。
- 結果: AI は依然として苦労しました。文脈の手がかり（刑期や特定の用語）から、それが「囚人のジレンマ」であると見抜いたようです。それでも、新しい逆転ルールではなく、訓練データに頼ってしまいました。
- 比喩: これは「ビーフ・ウェリントン」という名前を使わずに説明するが、「パフ・ペストリーと牛肉を使った有名なイギリス料理だ」と言うようなものです。料理人はまだ何を作りたいのか理解しており、新しい指示を無視します。
3. 「中立的なコード」テスト（抽象的な変数）
- 設定: プロンプトから「囚人」「協力」「裏切り」といった馴染みのあるものはすべて削除されました。代わりに、抽象的なラベルである「選択 X」と「選択 Y」、そして「刑期」の代わりに「ドルの損失」という言葉が用いられました。
- 結果: 成功です！ AI が有名なゲームの記憶に頼ることができない場合、実際に新しいルールを見ていました。ルールが逆転すると、AI は新しい数学に合わせて戦略を変更しました。
- 比喩: これは料理人に料理の名前を明かさずに、材料と指示のリストを与えるようなものです。「小麦粉、バター、牛肉を混ぜる」とします。指示を「小麦粉、バター、豆腐を混ぜる」に変更すれば、料理人は料理の名前に気を取られないため、新しいリストに従います。
意外なひねり：考えることが事態を悪化させる
最も興味深い発見の一つは、「推論」に関するものでした。著者は AI に回答する前に「段階的に考えて」と指示しました。
- 発見: 最初の二つのテストでは、AI に考えさせることが、かえってそれをより頑固にしました。AI は、ルールが変更されたという事実を完全に無視し、なぜ「チート・フォー・テイト（Tit-for-Tat）」戦略（元のゲームで有名な戦略）に従うべきかを説明する、論理的で長い段落を書き出しました。
- 比喩: これは、数学テストの解答キーを丸暗記した学生のようです。問題の数字を変えても「解き方を示せ」と問われれば、彼らは古い答えがなぜ正しいのかを完璧で論理的に説明するかもしれませんが、問題自体が変わったことに全く気づかないでしょう。
結論
この論文は、AI モデルは特定の試験のためにやりすぎた勉強をした学生のようなものであると結論付けています。彼らは「標準的な」答えを非常に良く知っているため、質問を少し変えただけでは気づかないかもしれません。
- 問題: 私たちが「囚人のジレンマ」のような馴染みのある名前やシナリオを使って AI にタスクを与えると、AI はあなたが与えた具体的な指示ではなく、そのシナリオに関する自らの「前提」に頼ってしまいます。
- 解決策: AI にあなたが与えた実際のルールに従ってもらうためには、タスクを中立的で抽象的な方法で記述すべきです。そのゲームが何であるかを伝えるのではなく、ルールが何であるかを伝えるだけです。
要約すれば：AI に新しい状況に適応させたいなら、古い状況を思い起こさせないことです。「有名な名前」ではなく、「変数（X と Y）」で話しましょう。
ICLR 2025「I Can't Believe It's Not Better」ワークショップで発表された論文「大規模言語モデルにおける推測へのタスク表現の影響」の詳細な技術的サマリーを以下に示す。
1. 問題提起
本論文は、エージェント型 AI タスクにおける大規模言語モデル（LLM）の展開において、安全性と信頼性に関わる重要な課題を扱っている：事前学習された知識とタスク表現から導かれる「推測」に対する LLM の感受性である。
- 核心的な課題: LLM は、反復囚人のジレンマなどの一般的なシナリオを含む膨大なデータセットで訓練されている。タスクが提示されると、モデルはプロンプトに明示された特定のパラメータに厳密に従うのではなく、これらの内部的な推測に依存する傾向がある。
- リスク: 報酬構造の変更など、タスクパラメータが標準的な仮定から逸脱する実世界アプリケーションにおいて、推測に依存する LLM は、明示的に推論を指示された場合であっても、最適でないまたは非論理的な決定を下す可能性がある。
- 研究課題: LLM は、特定の修正されたタスクパラメータに適応して意思決定を行うのか、それともタスクの名前や文脈に関連する「学習された」戦略にデフォルトするのか？
2. 手法
著者らは、制御されたケーススタディとして**反復囚人のジレンマ（IPD）**を用いてこの現象を調査した。
実験デザイン
本研究は以下の 2 つのモデルを用いた：
- GPT-4o（クローズドソース）
- Mistral-Nemo-Instruct-2407（オープンソース）
実験は、2 つの報酬行列条件の下で行われた：
- 標準行列: 古典的な IPD の利得構造（協力/協力＝1 年；裏切り/協力＝0/5 年、など）。
- 反転行列: 報酬とペナルティが逆転したもの（例：相互裏切りは 1 年、相互協力は 3 年）。反転行列では、論理的に最適な戦略が逆転する。
本研究は、表現の影響を分離するために 3 つのフェーズに分けられた：
- 実験 1（明示的 IPD 文脈）: プロンプトに「あなたは反復囚人のジレンマをプレイしています」と明記された。モデルは「思考の連鎖（Chain-of-Thought）」（推論ステップ）あり・なしでテストされた。
- 実験 2（暗黙的文脈）: プロンプトから「反復囚人のジレンマ」という文言は削除されたが、「囚人」「協力」「裏切り」という用語、ならびに標準的な報酬規則は維持された。
- 実験 3（中立的/記号的表現）: プロンプトから IPD 固有のすべての用語が削除された。
- 「囚人」→「プレイヤー」
- 「協力/裏切り」→「選択 X/Y」
- 「刑務所での年数」→「失ったドル」
- 報酬行列は、X と Y に対する規則のセットとして純粋に提示された。
指標: 主要な指標は、ゲームの第 1 ラウンドにおける裏切り率（または同等の「Y」選択率）であった。
- 仮説: モデルが論理的であれば、行列が反転した際に裏切り率も反転するはずである。モデルが推測に依存している場合、行列の変化に関わらず裏切り率は一定のままとなる。
3. 主要な結果
実験 1：明示的 IPD 文脈
- 結果: GPT-4o と Mistral-Nemo の両モデルとも、標準条件および反転条件のいずれにおいても**裏切り率 0%**を示した。
- 分析: モデルは反転した報酬行列を完全に無視した。その推論ステップは、標準的な IPD におけるよく知られたヒューリスティックである「Tit-for-Tat（しっぺ返し）戦略」（協力から始める）にデフォルトしていたことを示している。彼らは変更されたインセンティブに適応することに失敗した。
- 観察: 推論ステップの導入はこの失敗を防ぐことはなかった；むしろ、モデルは推論を用いて、推測に基づく選択を正当化した。
実験 2：暗黙的文脈（用語を保持）
- 結果:
- Mistral-Nemo: 両条件において約 0% の裏切り率を維持し（適応に失敗）、
- GPT-4o: 部分的な適応を示した。裏切り率は、標準（0%）から、反転＋推論（0.35%）、反転＋推論なし（0.70%）へと増加した。
- 分析: GPT-4o は規則を推測し始めたが、依然として苦労していた。推論を用いても、規則を幻覚させたり、戦略を完全に反転させられなかったことが多く、「囚人」や「協力」といった用語の存在が依然として強い事前バイアスを引き起こしていることを示唆している。
実験 3：中立的/記号的表現
- 結果: 両モデルとも顕著な適応を示した。
- GPT-4o: 裏切り率は、標準（0.05）から1.00（反転）へとシフトした。
- Mistral-Nemo: 裏切り率は、標準（0.11）から0.75（反転）へとシフトした。
- 分析: 特定の IPD 用語が除去され、抽象的な変数（X/Y）に置き換えられた場合、モデルは提供された報酬行列を正常に分析し、新しいインセンティブに合わせて戦略を反転させた。
- ニュアンス: GPT-4o は依然として、構造に基づいて「Y」が「協力」に相当すると推測することが occasionally あり、ある程度の残余的な推測が残っていることを示したが、プロンプトの明示的な規則への論理的な忠実度は飛躍的に向上した。
4. 主要な貢献
- 推測バイアスの実証: 本論文は、LLM が明示的かつ矛盾するタスクパラメータよりも、事前学習された知識（例：「Tit-for-Tat が IPD における最良の戦略である」）を優先する傾向があるという実証的証拠を提供する。
- 「推論の罠」: 思考の連鎖（CoT）推論が必ずしも推測バイアスを軽減するわけではないという、直感に反する発見。実験 1 では、推論ステップは誤った推測ベースの戦略を修正するのではなく、それを合理化するために用いられた。
- 表現の感受性: 本研究は、「囚人のジレンマ」や「協力」といった特定のキーワードが潜在的バイアスのトリガーとして機能し、中立的で記号的な表現がモデルに即座の文脈への依存を強いることを定量化した。
- 方法論的枠組み: 3 フェーズの実験デザインは、意味的文脈の影響を論理的規則の遵守から効果的に分離した。
5. 意義と含意
- エージェント型 AI における安全性: 医療や金融など、動的な実世界環境で動作する AI エージェントにとって、「標準的」な仮定に依存することは危険である。エージェントが標準的なリスクプロファイルを仮定しているが、環境が変化した場合、破滅的な失敗を招く可能性がある。
- プロンプトエンジニアリングのベストプラクティス: 著者らは、信頼性を確保するためには、タスク記述を記号的かつ中立的にするべきであると結論づけた。IPD やチェス、特定の医療診断など、よく研究されたシナリオへの言及を避けることで、モデルが訓練データを用いて「空白を埋める」ことを防ぐことができる。
- 現在の LLM の限界: 結果は、タスク文脈が意味的に負荷されている場合、現在の推論能力が強い事前分布を覆すには十分ではないことを示唆している。モデルは、既知の概念が呼び出されると、「論理的に柔軟」ではなく「文脈的に硬直」している。
要約すると、本論文は、タスク表現が LLM 展開における重要な制御変数であると主張している。真の適応性を達成するためには、開発者は推測を誘発する意味的トリガーを剥ぎ取り、モデルに提供された論理的制約に厳密に従って関与させる必要がある。
毎週最高の NLP 論文をお届け。
スタンフォード、ケンブリッジ、フランス科学アカデミーの研究者に信頼されています。
受信トレイを確認して登録を完了してください。
問題が発生しました。もう一度お試しください。
スパムなし、いつでも解除可能。
週刊ダイジェスト — 最新の研究をわかりやすく。登録