🤖 AI

Mind the (DH) Gap! A Contrast in Risky Choices Between Reasoning and Conversational LLMs

この論文は、20 の大規模言語モデルと人間を対象とした実験を通じて、数学的推論のトレーニングを受けた「推論モデル」が合理的で安定した意思決定を示す一方、会話モデルは人間のように文脈や説明の影響を受けやすく非合理的な選択をする傾向があることを明らかにし、両者の間に大きなギャップが存在することを示しています。

原著者： Luise Ge, Yongyan Zhang, Yevgeniy Vorobeychik

公開日 2026-04-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Luise Ge, Yongyan Zhang, Yevgeniy Vorobeychik

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「AI（大規模言語モデル）がお金やリスクに関わる決断をするとき、人間と同じように『感情』や『勘』で動くのか、それとも冷徹な『計算機』として動くのか」**を調査した面白い研究です。

タイトルにある「(DH) Gap」とは、「説明（Description）」と「経験（History）」の間のギャップのこと。つまり、**「数字で説明されたリスク」と「過去の結果のリストを見て経験したリスク」**で、AI の判断がどう変わるかを比べたのです。

以下に、難しい専門用語を避け、身近な例え話を使って解説します。

🎭 物語：2 種類の AI と 1 つの迷路

研究者たちは、20 種類の最新の AI に、**「確実な損失か、ギャンブルか」**という簡単な選択をさせました。
例えば：

A: 確実に 100 円失う
B: 30% の確率で 1000 円失い、70% の確率で 0 円（何もない）

このとき、AI はどう答えるか？さらに、「なぜそう選んだのか？」と理由を聞かれたらどう変わるか？を調べました。

🔍 発見 1：AI は「2 つのグループ」に分かれた！

実験の結果、AI は驚くほど明確に 2 つのグループに別れました。まるで、同じ学校に通っていても、性格が全く違う 2 つのクラスメイトのようです。

🧠 理屈屋の AI（Reasoning Models / RM）
- 性格: 冷静沈着、計算が得意。
- 特徴: 「期待値（確率×金額）」を無意識に計算して、最も損が少ない方を選びます。
- 人間との違い: 人間のように「損したくない！」という感情で揺らぐことがありません。どちらの選択肢を先に提示されても、同じ答えを出します。
- 例え: 「完璧な会計士」。感情を排して、数字の羅列から最適解を導き出します。
💬 おしゃべりな AI（Conversational Models / CM）
- 性格: 人間っぽく、感情移入しやすい。
- 特徴: 提示の順番や、「損」という言葉の使い方で判断が変わります。人間と同じように「損をしたくない」という心理に左右されやすいです。
- 人間との違い: 人間に似ていますが、それでも人間とは少し違う「AI 特有の癖」があります。
- 例え: 「直感で動く友達」。状況や言葉のニュアンスで「あっちの方が良さそう」と直感します。

🔍 発見 2：「説明」と「経験」のギャップ（DH Gap）

ここがこの論文の一番面白い部分です。

シチュエーション A（説明）: 「70% の確率で 100 円、30% で 0 円」と数字で説明される。
シチュエーション B（経験）: 「過去 20 回試して、15 回 100 円、5 回 0 円だった」という結果のリストを見せられる。

人間は、この 2 つの状況で全く違う判断をすることが知られています（これを「説明－経験のギャップ」と呼びます）。

数字で見ると「確率は低いけど、損しない方が安全だ」と思う。
経験（リスト）で見ると「たまたま 15 回も当たったから、次も当たるかも！」と楽観的になる。

AI の反応は？

理屈屋 AI（RM）: 「説明」でも「経験」でも、ほとんど変わらない冷静な判断をします。
おしゃべり AI（CM）: 「経験（リスト）」を見せられると、人間のように大きく判断が変わってしまいます。リストを見て「次も当たるかも！」と楽観的になり、リスクの高い方を選んでしまうのです。

🔍 発見 3：「理由を聞かれると」どうなる？

「なぜその選択肢を選んだの？」と AI に理由を聞くとどうなるか？

おしゃべり AI（CM）: 短い理由を求めると、より合理的（理屈屋 AI に近い）な判断をするようになります。しかし、長々とした数学的な理由を求めると、逆に混乱して非合理的になることもあります。
理屈屋 AI（RM）: 理由を聞かれても、ほとんど変わらない安定した判断をします。

🔍 発見 4：なぜこうなるの？（トレーニングの違い）

なぜ「理屈屋」と「おしゃべり」に分かれるのか？
研究者が調べたところ、決定的な違いは**「数学のトレーニング」**でした。

数学や論理的な推論を徹底的に訓練されたモデルは「理屈屋（RM）」になりました。
会話や日常のタスクを重視して訓練されたモデルは「おしゃべり（CM）」になりました。

💡 この研究が教えてくれること（まとめ）

AI は「万能」ではない: AI と言っても、モデルによって「性格」が全く違います。経済的な決断を AI に任せるなら、「理屈屋（RM）」の方が人間らしくない、冷静な判断をしてくれる可能性があります。
人間は「経験」に弱い: 人間は、過去の結果のリスト（経験）を見ると、数字（説明）を見ているときよりも感情的になりやすいことが確認されました。AI の「おしゃべり」グループは、この人間の弱点を少しだけ引き継いでいます。
AI の「説明」は要注意: AI に理由を聞くと、一見賢く見えるかもしれませんが、場合によっては判断を歪めてしまうこともあります。

一言で言うと：
「AI に投資やリスク管理を任せるなら、『おしゃべりな友達』ではなく、『冷静な会計士』を選んでください。 そして、AI が『経験』に基づいて判断しているときは、人間と同じように『勘違い』をしているかもしれないので注意してください」というメッセージです。

この研究は、AI を単なる「便利な道具」ではなく、**「人間とは違う、しかし人間に似た癖を持つ新しい種類の意思決定者」**として理解する第一歩となりました。

論文「Mind the (DH) Gap! A Contrast in Risky Choices Between Reasoning and Conversational LLMs」の技術的サマリー

この論文は、大規模言語モデル（LLM）が不確実性下でどのように意思決定を行うかを調査し、特に「推論モデル（Reasoning Models: RMs）」と「会話モデル（Conversational Models: CMs）」の間に存在する行動パターンの決定的な差異を明らかにした研究です。また、人間の意思決定における「記述－経験ギャップ（Description-Experience Gap）」に相当する「記述－履歴ギャップ（Description-History Gap: DH Gap）」が LLM にも存在し、モデルのタイプによってその影響度が大きく異なることを示しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義と背景

LLM は意思決定支援システムやエージェントワークフローにおいて急速に普及しており、経済的な意思決定者としての役割を果たしつつあります。しかし、不確実性下での LLM の意思決定メカニズムは未解明な部分が多く、以下の点で議論が分かれていました。

LLM は合理的（期待効用最大化）か、それとも人間のようなバイアスを持つのか？
既存の研究は特定のモデルや理論に偏っており、選択肢の提示方法（明示的記述 vs 経験的履歴）や説明の要請が意思決定に与える影響を包括的に比較した研究が不足していた。

本研究は、LLM がリスクのある選択を行う際、**「選択肢の提示方法（明示的 vs 履歴）」と「説明の要請」**という 2 つの次元において、どのように振る舞うかを体系的に調査することを目的としました。

2. 研究方法

2.1 対象モデルと実験設計

対象モデル: 最先端のクローズドモデル（GPT-4.1/5.1, Gemini-2.5, DeepSeek-R1/Chat, Claude-4.5 など）とオープンウェイトモデル（Qwen, Olmo などの各種サイズ・トレーニング段階）を含む計 20 種類の LLM を対象としました。
比較対象:
1. 人間: 米国在住の 360 名の被験者（Prolific を通じて収集）。
2. 経済人（Economicus）: 期待利得を最大化する完全合理的なエージェント（リスク中立）。
タスク: 3 つの基礎的なリスク選択ペア（異なる確率・報酬構造）を用いた 2 択タスク。

2.2 変数と条件

プロスペクトの提示方法（Description vs History）:
- 明示的（Explicit）: 確率と報酬のペアを直接記述（例：「70% の確率で 100 ドル、30% で 0 ドル」）。
- 履歴（Implicit/History）: 過去の選択結果のシミュレーション履歴として提示（例：20 回の試行で 15 回 100 ドル、5 回 0 ドル）。これは人間の「記述－経験ギャップ（DE Gap）」を LLM 版（DH Gap）として適用したものです。
説明の要請（Explanation）:
- 説明なし
- 1 文の簡潔な説明
- 数学的・推論的な説明
その他の条件: 選択肢の順序、利得/損失のフレーミング（Gain/Loss Framing）。

2.3 分析手法

行動の定量化: 各モデルの選択頻度を推定し、人間および経済人との相関を計算。
解釈可能なモデルの適合: 行動データを 4 パラメータの「双ベータ・プロスペクト理論モデル（Dual-Beta Prospect Theory）」に適合させ、以下のパラメータを推定しました。
- $\sigma$ : リスク選好
- $\gamma$ : 確率重み付け
- $\beta_{gain}, \beta_{loss}$ : 利得・損失領域における決定性（一貫性）
クラスタリング分析: モデル間の行動パターンの類似性に基づき、モデルをグループ化。

3. 主要な貢献と発見

3.1 行動パターンの 2 つのクラスター（RM と CM）

LLM は明確に 2 つのクラスターに分類されました。

推論モデル（Reasoning Models: RMs）: 数学的推論能力を強化されたモデル（例：GPT-5.1, DeepSeek-R1, Qwen-Math）。
- 特徴: 経済人（Economicus）に近い合理的な振る舞い。
- 安定性: 選択肢の順序、フレーミング、説明の有無に対して不変（インバリアント）。
- DH ギャップ: 明示的提示から履歴提示への変更による行動変化は小さい。
会話モデル（Conversational Models: CMs）: 一般的な対話や指示追従に特化したモデル（例：GPT-4.1, Claude-Haiku, 標準的な Qwen）。
- 特徴: 経済人とは異なり、人間に近い（ただし完全一致ではない）バイアスを示す。
- 敏感さ: 順序、フレーミング、説明の要請に強く反応する。
- DH ギャップ: 履歴提示になると、人間に近い行動へ劇的にシフトし、経済人からの乖離が大きい。

3.2 記述－履歴ギャップ（DH Gap）の存在と差異

全てのモデルに DH ギャップが存在しましたが、その規模はモデルタイプによって異なります。
CMsは履歴提示（経験ベース）になると、人間のように非合理的な選択（期待値最大化からの逸脱）を強く示すようになります。
RMsは履歴提示でも比較的合理的な判断を維持し、DH ギャップは限定的です。
人間は、明示的提示では非合理的ですが、履歴提示になると逆に経済人（合理的）に近づく傾向が見られました（これは LLM、特に CMs の行動変化と逆の方向性を持つ場合もあり、興味深い対比です）。

3.3 説明（Explanation）の影響

CMs: 説明を求めると、特に「数学的説明」を求められた場合、合理性が低下する傾向があります（単なる冗長化に留まり、推論能力が向上しないため）。
RMs: 説明の要請に対して安定しており、むしろ簡潔な説明を求められた場合に経済人との相関が高まるモデルも見られました。
意外な発見: 多くのモデルにおいて、「短い説明」を求められた場合が、説明なしや長い数学的説明よりも経済人との整合性が高まる傾向がありました。

3.4 訓練プロセスの影響

数学的推論の微調整（Fine-tuning）: オープンモデル（Qwen, Olmo）の分析から、モデルを「数学的推論」のために微調整することが、CM から RM への変容をもたらす決定的な要因であることが示されました。
モデルサイズ: 一般的に、より大きなモデルは人間にも経済人にも近い（パレート支配的な）振る舞いを示す傾向がありましたが、トレーニングの種類（推論特化か否か）の方がサイズよりも重要な因子でした。
他のトレーニング段階（DPO, RLVF）: 指示追従（SFT）後の DPO や RL 学習による影響は限定的であり、初期の SFT 段階（推論能力の導入）が RM と CM の分岐点である可能性が高いと結論付けられました。

4. 結果の定量的な要約

相関分析: RMs 同士の相関は 0.8 以上（多くは 0.9 以上）で、経済人との相関も 0.86〜1.0 と高いです。一方、CMs と人間、CMs と経済人の相関は低く（0.5 以下）、CMs と RMs の間でも相関は低いです。
決定性（Decisiveness）: RMs は非常に高い決定性（エントロピーの低さ）を示し、CMs や人間よりも一貫性があります。
一貫性（Consistency）: RMs は順序やフレーミングに対して不変ですが、CMs はこれらに強く影響を受けます。

5. 意義と結論

学術的意義

LLM 行動の体系的分類: 既存の研究が「LLM は人間か、合理的か」という二項対立に陥りがちだったのに対し、「推論モデル」と「会話モデル」という 2 つの明確な行動クラスターを特定し、LLM の経済行動の多様性を初めて体系的に記述しました。
DH ギャップの発見: 人間の意思決定研究で知られる「記述－経験ギャップ」が LLM にも存在し、モデルのアーキテクチャやトレーニングによってその現れ方が異なることを実証しました。
トレーニングの影響解明: 単なるモデルサイズやデータ量だけでなく、「数学的推論」に特化したトレーニングが、LLM の意思決定の合理性を決定づける主要因であることを示しました。

実用的意義

意思決定支援システムへの適用: LLM を意思決定支援に用いる場合、モデルのタイプ（RM か CM か）と、情報を提示する方法（記述か履歴か）を慎重に選択する必要があることを示唆しています。
説明可能性（XAI）: 説明を求めると必ずしも意思決定の質が向上するわけではなく、モデルタイプによって逆効果になる可能性があるため、システム設計におけるプロンプト設計の重要性を浮き彫りにしました。

結論

LLM の経済行動は、モデルのファミリー（推論特化か対話特化か）と、意思決定インターフェース（情報の提示方法や出力形式）の両方によって形成されます。特に、数学的推論能力の獲得は、LLM を「人間のようなバイアスを持つ存在」から「期待利得を最大化する合理的エージェント」へと変貌させる鍵となります。今後の AI システム設計においては、タスクの性質に応じて適切なモデルタイプを選択し、情報の提示方法を最適化することが不可欠です。