Measuring Behavior Portability in Large Language Models
本論文は、大規模言語モデルにおける行動のポータビリティ（移植性）を測定するための形式的な枠組みを導入し、制御された実験を通じて、それらの意思決定行動は構造的に等価であるにもかかわらず、表面的な提示に対する著しい敏感さゆえに、異なる意思決定環境間において信頼性を持って転移しないことを実証する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
非常に賢く、高度に訓練された意思決定者（AI）がいると想像してください。そのAIはプロのシェフのように振る舞います。あなたは、そのシェフが、豪華なフランス料理のキッチンで頼んでも、素朴なイタリアン・ビストロで頼んでも、全く同じ美味しい料理を作れるかどうかを知りたいと考えています。
論文**「Large Language Modelにおける行動のポータビリティ（移植性）の測定（Measuring Behavior Portability in Large Language Models）」**は、シンプルですが極めて重要な問いを投げかけています。もしAIがある設定下で意思決定の方法を学んだ場合、たとえ数学的な内容や報酬が全く同一であっても、問題の記述の仕方が変わっただけで、全く同じ決定を下すことができるのでしょうか？
著者たちはこれを**「行動のポータビリティ（Behavioral Portability）」**と呼んでいます。
以下に、簡単な比喩を用いて彼らの研究結果を解説します。
1. 核となる問題：「フレーミング」の罠
ピザを分けるゲームをしている場面を想像してください。
- シナリオA： 「ピザがあります。友人にいくらかあげてください」と言われます。
- シナリオB： 「ピザがあります。あなたの友人はお腹を空かせており、分け前を受け取る権利があります」と言われます。
数学的には、ルールは同一です。「ペイオフ（あなたが手にするピザの量）」も同じです。しかし、状況を説明する「言葉」が異なります。
研究者たちは、大規模言語モデル（LLM）がこれらの異なる言い回しに対して一貫した行動をとれるかどうかをテストしました。その結果、モデルはポータブル（移植可能）ではないことが判明しました。まるで、フランスのキッチンでは完璧なステーキを作るのに、イタリアのキッチンでは焦がしてしまうシェフのように、AIは、たとえ「材料（数学的要素）」が同じであっても、テキストの「風味」によって行動を変えてしまうのです。
2. 実験：7つの経済ゲーム
この検証のために、研究者たちは単にランダムな質問をしたわけではありません。彼らはAIを7つの古典的な経済ゲーム（「独裁者ゲーム」、「信頼ゲーム」、「宝くじ選択」など）に参加させました。これらは、意思決定における標準的な運転免許試験のようなものです。
- セットアップ： 彼らは、各ゲームに対して数十種類の異なる「バージョン」を作成しました。あるバージョンでは、ゲームは「同僚」と現金を分けることかもしれません。別のバージョンでは、「パートナー」と「ボーナス」を分けることかもしれません。
- ひねり： 数字、ルール、および潜在的な報酬は全く同一でした。数字を取り巻く「物語」だけが変わったのです。
- テスト： 彼らは、AIに「フランス料理のキッチン」の物語を使ってゲームのプレイ方法を教えました。その後、AIに「イタリアン・ビストロ」の物語を使って同じゲームをプレイするよう求めました。
3. 結果：AIはストーリーに惑わされる
結果は驚くべきものであり、一貫した決定をAIに期待している人々にとって懸念すべきものでした。
- AIは脆弱である： ストーリーが変わると、AIの決定も大きく変わりました。あるストーリーでは「公平」になるよう学習したモデルが、数学的に同一のストーリーにおいて、言葉が異なるというだけで「利己的」になってしまうことがありました。
。 - 「ポータビリティ」スコア： 研究者たちは、AIの行動がどれほど変化したかを測定しました。その結果、社会的ゲーム（共有や信頼に関するもの）において、AIの行動は非常に不安定であることが分かりました。それは、北極星は動いていないのに、風向きによって激しく回転してしまうコンパスのようなものでした。
- 例外（宝くじ）： 数字やリスク（2つの宝くじの選択など）に関する純粋なタスクにおいては、AIはより安定していました。AIは、社会的なストーリーよりも、数学を扱う方が得意なようです。
4. 「思考を言語化する」ことは助けになるか？（Chain-of-Thought）
研究者たちは、回答する前にAIに「ステップ・バイ・ステップで考える」よう求める一般的なテクニック（Chain-of-Thought、またはCoTと呼ばれる）を試しました。
- 期待： もしAIが自身の推論を説明すれば、物語による気を散らす要素を無視して、数学に集中できるのではないか。
- 現実： それは時として役立ちましたが、常にではありません。いくつかのゲームでは、思考を言語化することでAIはより一貫性を持つようになりました。しかし、他のゲーム（究極のゲームなど）では、思考を言語化することが、逆にAIを特定の言い回しに対してより敏感にさせてしまいました。それは、自分の考えを説明するように求められた学生が、時には自分の間違いに気づくものの、時には自分の説明に気を取られて新しい間違いを犯してしまうようなものです。
5. 「推論」モデル
彼らは、複雑な推論のために特別に設計された、より新しい「スマートな」モデル（DeepSeek-R1）についてもテストしました。
- 結果： このモデルは、ストーリーを無視して数学に集中することに長けていました。より「ポータブル」であったと言えます。しかし、完璧ではありませんでした。最も賢いモデルであっても、ストーリーが変わるといくらかの不安定さを示しました。
結論
この論文は、**「数学が同じであるからといって、AIの行動が同じままであると仮定することはできない」**と結論付けています。
特定のプロンプトを用いてAIに公平な決定を下すよう訓練したとしても、問題を少し異なる方法で記述しただけで、そのAIが同じ公平な決定を下すと自動的に信頼することはできません。現在のAIは、テキストの「風味」に対してあまりにも敏感すぎるのです。
要約すると、 AIは地図を完璧に把握していても、目的地が異なる言語で説明されると道に迷ってしまう旅行者のようなものです。この問題が解決されるまで、現実世界において（問題が全く同じ表現で提示されることは滅多にないため）、これらのモデルが一致した決定を下すと完全には信頼することはできません。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。