論文「Humans and LLMs Diverge on Probabilistic Inferences」の技術的サマリー

この論文は、人間と大規模言語モデル（LLM）が、確率的推論（probabilistic inference）においてどのように判断を行うかを比較検証した研究です。特に、論理的に厳密に導かれるものではなく、前提から「あり得るが保証はされていない」ような推論において、人間の判断分布と LLM の出力分布にどのような乖離があるかを分析しています。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題設定 (Problem)

人間の日常的な推論の多くは、不完全な情報に基づいて確率的な結論を導くプロセスを含みます（例：「高速道路で事故があった」→「交通渋滞が悪化する」）。これは論理的必然性（entailment）ではなく、背景知識に基づいた「可能性」の判断です。

近年の推論特化型 LLM（Reasoning LLMs）は、数学や論理的タスクで高い性能を示していますが、以下のような開かれた非決定論的（open-ended, non-deterministic）な推論タスクにおける振る舞いは十分に研究されていません。

• 確定的な正解がない: 正解が一つではなく、確率分布として捉えるべき問題。
• 人間の判断のばらつき: 人間は同じ問題に対しても、文脈や個人差により「あり得る度合い」を連続的に（graded）に判断し、分布にばらつきが生じる。

本研究の核心は、LLM がこの「人間の判断分布（特に中程度の確率や、判断のばらつき）」を模倣できるかどうかを検証することにあります。

2. 手法とデータセット (Methodology & Dataset)

PROBCOPA データセットの構築

既存の NLI（自然言語推論）データセットは「含意・矛盾・中立」の分類タスクとして設計されており、確率的な判断の連続性を捉えるには不十分であるため、独自のデータセット PROBCOPA を構築しました。

• 出典: COPA（Choice of Plausible Alternatives）データセットの 1,000 項目から、因果関係の「結果（effect）」を問う 105 項目を抽出。
• 変換: 各 COPA 項目を、前提（P）と仮説（H）のペアとして 2 つの NLI 形式データに分割（例：P: 干ばつが起きた → H1: 作物が枯れた / H2: 水が汚染された）。
• 規模: 合計 210 件の確率的推論タスク。
• アノテーション: 25〜30 人の英語話者（UK, US, Canada）に、前提に対する仮説の確率を 0〜100 のスライドスケールで評価させた。各項目あたり中央値 28 件のアノテーションを収集。

実験プロトコル

• 人間: 0-100 の数値スケールで確率を評価。スケールの使い方のガイドラインを提供し、注意チェックを実施。
• LLM: 8 種類の最先端推論 LLM（Gemini-3, GPT-5, Claude Sonnet-4.5, Qwen3, Kimi-K2, GLM-4.6, DeepSeek-R1, Grok-4.1 Fast）を対象。
  • 各項目に対して 30 回サンプリング（温度パラメータはデフォルト）。
  • モデルには人間と同様のスケールガイドを提供し、0-100 の数値を出力させるよう指示（verbalized numerical estimates）。
• 評価指標:
  • 微分エントロピー (Differential Entropy): 回答のばらつき（分散）を定量化。
  • ワッセルシュタイン距離 (Wasserstein Distance): 人間とモデルの確率分布間の類似度を測定。

3. 主要な貢献 (Key Contributions)

1. PROBCOPA データセットの公開: 210 件の手作業による確率的推論タスクと、各項目に対する 25〜30 人の人間アノテーションを含む新規データセット。
2. 人間と LLM の判断分布の乖離の特定: 確率的推論において、LLM が人間の判断分布（特に中程度の確率や回答のばらつき）を模倣できないことを実証。
3. 推論チェーンの分析: LLM が確率的推論を行う際に用いる共通の推論パターン（代替シナリオの明示的検討）を特定し、それが人間の認知プロセスとどの程度一致するかを考察。

4. 結果 (Results)

人間のアノテーション特性

• 連続的な判断: 人間の回答は「非常に高い」「非常に低い」の 2 極だけでなく、中間的な確率（中程度の可能性）も頻繁に示され、連続的な分布を形成。
• 単峰性 (Unimodality): 個々の項目に対する人間の回答分布は、ほぼ単峰性（一つのピークを持つ）であり、解釈の質的な違い（バイモーダル分布）は見られなかった。
• 不確実性とばらつき: 人間が「中程度」の確率と判断する項目ほど、アノテータ間の合意度が低く（エントロピーが高い）、回答時間も長くなる傾向があった。

LLM の振る舞いと人間との比較

• 中程度の確率の回避: 8 種類のモデルすべてにおいて、0-100 のスケールの中央付近（中程度の確率）の回答が極端に少なく、分布は二峰性（極端な「あり得る」「あり得ない」に偏る）を示した。
• 判断のばらつき不足: 人間は同じ項目に対して 25〜30 人の間でばらつき（エントロピー）を示すが、LLM は 30 回のサンプリングでもほぼ一貫した回答（決定論的）を返す。温度パラメータを上げても、人間レベルのばらつきは得られず、むしろ無意味なトークン生成に陥る傾向があった。
• 分布の不一致: ワッセルシュタイン距離の分析により、LLM と人間の分布は、極端な確率（非常に高い/低い）ではある程度一致するが、中程度の確率や人間間で意見が割れる項目では大きく乖離することが示された。
• 推論チェーンの分析:
  • 人間が不確実性を示す項目（エントロピーが高い）ほど、LLM の推論チェーン（思考プロセス）の長さが長くなる相関（Spearman's ρ = 0.50）が見られた。
  • しかし、LLM の推論チェーンは「代替シナリオを明示的に検討する」という共通パターンを示しており、これは人間の認知プロセス（回答時間との相関は弱い）とは異なるメカニズムである可能性が示唆された。

5. 意義と結論 (Significance & Conclusion)

• LLM の過信 (Overconfidence) の再確認: 推論 LLM であっても、不確実性が高いタスクにおいて過信しており、人間のような「曖昧さ」や「判断の揺らぎ」を表現できないことが明らかになった。
• 評価基準の転換の必要性: 従来の論理的・数学的タスクだけでなく、非決定論的で開かれた推論タスクにおいても、人間との分布の一致（distributional alignment）を評価基準に含める必要がある。
• 人間推論の理解: 本研究で得られた人間の連続的かつ単峰的な判断分布は、NLI データセットで見られるような二峰性の不一致とは異なり、適切なデータ設計であれば人間の推論は質的な対立ではなく、確率的なグラデーションとして捉えられることを示唆している。

結論として、 現在の最先端の推論 LLM は、論理的推論においては強力であるものの、人間の持つ「確率的で曖昧な推論」の分布特性（特に中程度の確率の表現や、回答のばらつき）を再現できておらず、人間中心のアプリケーションにおける評価と改善が急務である。