Do LLMs Share Human-Like Biases? Causal Reasoning Under Prior Knowledge, Irrelevant Context, and Varying Compute Budgets

この論文は、大規模言語モデル（LLM）が人間の因果推論におけるバイアス（特に共変量バイアス）を再現せず、より規則的な推論を示す一方で、思考連鎖（CoT）によって不関連な文脈への頑健性が向上することを明らかにし、LLM と人間の推論戦略の違いが安全な展開に向けた重要な示唆を与えることを述べています。

要約

この論文は、**「AI（大規模言語モデル）は、人間と同じように『偏見』や『勘違い』をするのか？」**という面白い問いに答える研究です。

特に、**「原因と結果の関係」を推測する場面において、AI と人間がどう違うのかを、まるで「探偵ゲーム」**のような実験を通して解明しました。

以下に、専門用語を排して、わかりやすい例え話で解説します。

---

🕵️‍♂️ 実験の舞台：「原因の探偵ゲーム」

研究者たちは、AI と人間に**「コライダー（共通の結果）」**と呼ばれる特殊なパズルを解かせました。

• 設定： 2 つの異なる原因（A と B）が、1 つの結果（C）を引き起こす構造です。
  • 例：「雨（A）」と「 sprinkler（散水機）」がどちらも「芝生が濡れる（C）」の原因。
• ゲームのルール： 「芝生が濡れている（C）ことがわかった。でも、原因は A か B どちらか、あるいは両方か？」を推測してもらう。
• 人間の特徴： 人間は、「A が原因なら、B は原因じゃないはずだ（説明の消去）」という直感的な推論を、実はあまりうまくやれないことが知られています。また、「A が原因かどうか」を判断する際、B の存在に不必要に影響されたり（マルコフ違反）、**「他にも見えない原因（例：ホースの破裂など）があるかもしれない」**と、言われていないことを勝手に推測して判断を揺らげたりします。

🔍 発見された 3 つの大きな違い

このゲームで、20 種類以上の最新の AI と人間を比べたところ、驚くべき違いが見つかりました。

1. AI は「完璧なルール遵守者」、人間は「柔軟な想像力派」

• 人間： 「芝生が濡れている」と言われたら、「もしかしたら、見えないホースが破裂したのかもしれない」と、言われていない「隠れた原因」を想像して判断を調整します。
• AI： 「与えられたルール（A と B のみ）に従って、厳密に計算します。」
  • AI は「見えない原因」をほとんど考慮せず、提示された情報だけで完璧に論理を組み立てます。
  • 例え： 人間は「物語の余白」を想像して読みますが、AI は「書かれた文字通り」にしか読みません。

2. AI は「人間の偏見」を真似しない

• 人間： 上記の「説明の消去（A なら B じゃない）」を弱く行ったり、原因同士が独立しているはずなのに、互いに影響し合っていると勘違いしたりする**「人間の特有のミス」**をよく犯します。
• AI： 逆に、「A なら B じゃない」という論理を、人間よりも強く、正確に実行します。
  • 人間が「勘違いしやすい」部分を、AI は「論理的に正しく」処理します。
  • 結論： AI は、人間が持つ「直感的な偏見」をコピーしているのではなく、**「教科書通りの論理」**で動いているのです。

3. 雑音に強い？弱い？（ロバスト性）

• 実験： 質問の中に**「無関係な文章（雑音）」を混ぜたり、「抽象的な言葉」**に置き換えたりして、AI の判断が揺らぐか調べました。
• 結果：
  • 古いモデルや小さいモデルは、雑音が入るとパニックになり、判断がバラバラになりました。
  • しかし、「思考のステップを踏ませる（Chain-of-Thought）」という指示を出すと、多くの AI が「集中力を取り戻し」、人間よりも安定した判断をするようになりました。
  • 最新・最強のモデル（Gemini-2.5-pro など）は、どんな雑音が混じっても、**「鉄壁の防衛」**のように一貫した判断を下しました。

---

💡 この研究が教えてくれること（要約）

1. AI は「人間っぽさ」がない：
   AI は人間のように「曖昧さ」や「隠れた要因」を考慮して柔軟に判断するのではなく、**「与えられたルールに忠実」に動きます。これは、人間が「偏見」を持ちやすい場面では、AI が「公平な裁判官」**として活躍できる可能性を示しています。

2. でも、AI は「不確実性」に弱い：
   現実世界では「ルールが不完全」なことがよくあります。AI はルールが明確なときは最強ですが、「見えない要因」や「不確実さ」が本質的な状況では、その「ルール遵守」が逆に弱点になり、破綻する恐れがあります。

3. 「考えさせる」指示が効果的：
   AI に「ステップバイステップで考えて」と指示すると、雑音に惑わされず、より人間に近い（あるいはそれ以上の）安定した判断ができるようになります。

🎯 結論：AI と人間の「最強のタッグ」

この研究は、**「AI は人間の偏見を真似するから危険」というよりは、「AI は人間とは全く違う『論理的な思考』を持っている」**と示しています。

• 人間： 柔軟で、文脈や隠れた要因を察知するが、偏見や疲れでミスをする。
• AI： 規則正しく、偏見が少ないが、不確実な状況では硬直する。

これらを組み合わせることで（人間が文脈を補い、AI が論理をチェックする）、医療や法律のような重要な場面で、より安全で賢い意思決定ができるようになるでしょう。

一言で言えば：

「AI は、人間のように『勘』で動くことはしないが、その代わりに『論理の達人』として、人間が陥りやすい『偏見の罠』から私たちを守ってくれるかもしれない。」

技術概要

論文要約：LLM は人間のようなバイアスを共有するか？事前知識、無関係な文脈、および計算リソースの制約下での因果推論

1. 研究の背景と問題設定

大規模言語モデル（LLM）は、医療や法廷など因果推論が重要な分野で利用される機会が増えています。しかし、LLM の判断が規範的な因果計算に基づいているのか、人間のようなヒューリスティック（近道）に基づいているのか、あるいは単なる脆いパターンマッチングに過ぎないのかは不明確です。

特に、LLM は人間が生成したテキストで訓練されているため、人間が持つ因果推論における特有のバイアス（例：Collider 構造における「説明の排除（Explaining Away）」の弱さや、マルコフ条件の違反）を再現するかが懸念されています。また、現実世界では事前確率や因果の強さが明示されていないことが多く、LLM がそのような不確実な状況下でどのように推論を行うか、そして無関係な情報（ノイズ）や抽象的な文脈に対してどの程度頑健（ロバスト）であるかが、安全な導入のために重要な課題です。

2. 手法 (Methodology)

2.1 ベンチマークタスクと人間ベースライン

• タスク構造: 人間の因果認知研究（Rehder & Waldmann, 2017）に基づく 11 の因果推論タスクを使用しました。これらは「共変量（Collider）」構造 $C1 \rightarrow E \leftarrow C2$ で定義されます。
• 条件: 変数は二値であり、原因 $C1, C2$ は独立とされます。参加者は、他の変数の観測値に基づき、対象事象 $E$ の発生確率（0-100）を推定します。
• 特徴: 事前確率や条件付き確率 $P(E|C1, C2)$ が明示されていないため、正解となる「規範的な確率」は存在しません。このため、タスクは「推論戦略の一貫性」や「説明の排除の度合い」などの質的なパターンを評価するために設計されています。
• 人間データ: 48 名のニューヨーク大学学部生（NYU）のデータ（RW17）をベースラインとして使用しました。

2.2 実験条件

20 以上の LLM を評価し、以下の 3 つの要因を組み合わせ、計 8 条件（$2 \times 2 \times 2$）でテストしました。

1. 事前知識 (Prior Knowledge):
   • 元の RW17 の意味のある物語（社会学、気象、経済）。
   • 抽象化 (Abstract): 変数名を無意味なランダム文字列に置き換え、現実世界の知識への依存を排除。
2. 情報負荷 (Information Load):
   • 元のプロンプト。
   • 過負荷 (Overloaded): タスクと無関係なテキスト（ノイズ）を挿入し、信号対雑音比を低下させる。
3. プロンプト戦略 (Prompting):
   • 直接プロンプト (Direct): 数値の確率回答のみを要求。
   • 思考の連鎖 (Chain-of-Thought, CoT): 数値回答の前に「段階的に考えてください」と指示。

2.3 評価指標とモデル

• 因果ベイジアンネットワーク (CBN) による圧縮: 各エージェントの判断を、漏れのあるノイズ OR 関数（Noisy-OR）をパラメータとする小さな解釈可能な CBN モデルでフィッティングし、モデルの適合度（MAE, $R^2$）を評価しました。
• バイアス指標:
  • 説明の排除 (Explaining Away, EA): 効果 $E$ が観測された際、一つの原因が観測されると、もう一つの原因への信念がどの程度減少するか。
  • マルコフ違反 (Markov Violation, MV): 効果 $E$ についての情報がなくとも、一つの原因がもう一つの原因の信念に影響を与えるか（独立性の違反）。
  • 背景調整された因果強度 (BACS): 明示された因果ルールへの忠実度と、言及されていない背景要因への依存度を定量化する指標。

3. 主要な結果 (Key Results)

3.1 人間との整合性と判断の妥当性

• LLM も人間も、原因が増えるほど効果の確率が高くなるという直感的なパターンに従い、タスクに対して妥当な判断を下していました。
• 直接プロンプトでは人間との整合性が低いモデルも、CoT プロンプトを使用することで、人間の判断との相関（Spearman $\rho$）が向上し、最大 0.85 まで上昇しました。

3.2 解釈可能なモデルによる説明可能性

• LLM の因果判断は、小さな解釈可能な CBN モデルによってよく記述・予測できました。
• CoT プロンプトは、特にノイズのある条件下（抽象化・過負荷）において、CBN モデルとの適合度（MAE の低下、LOOCV $R^2$ の向上）を改善し、タスク間での一般化能力を高めることが示されました。

3.3 ルール遵守と背景要因への依存 (BACS)

• LLM は人間よりも厳格なルール遵守者: 多くの LLM は、明示された因果ルールを忠実に適用し、言及されていない背景要因（漏れ）を考慮する傾向が人間よりも弱かったです（BACS 値が高い）。
• 人間は、明示された原因だけでは不十分だと考え、言及されていない要因を考慮して確率を調整する傾向（オープンワールド解釈）が見られました。
• CoT は一部のモデルでルール遵守をさらに強化しましたが、効果はモデルによって異なります。

3.4 人間特有のバイアスの有無

• 説明の排除 (EA): 人間は EA が弱い（または欠如している）傾向がありますが、多くの LLM は人間よりも強い EA を示しました。これは LLM が規範的な因果推論に近い挙動を示していることを意味します。
• マルコフ違反 (MV): 人間は原因間の独立性を無視する（マルコフ違反）傾向がありますが、多くの LLM はマルコフ条件を遵守しており、人間のような連想的なバイアスを再現していません。
• 結論として、LLM は人間が持つ典型的な Collider バイアス（弱い EA と MV）を再現しない傾向にあります。

3.5 頑健性 (Robustness)

• 頑健性はモデルに強く依存します。新しい大規模モデル（例：Gemini-2.5-pro）は、8 つの実験条件すべてにおいて推論パターンがほぼ不変（ロバスト）でした。
• 一方、小規模モデルや古いモデルは、抽象化やノイズ注入に対して敏感でした。
• CoT は頑健性を向上させる: 多くのモデルにおいて、CoT プロンプトはノイズや抽象化による推論の崩壊を防ぎ、より安定した行動をもたらしました。

4. 貢献と意義

主要な貢献

1. 大規模なベンチマーク: 20 以上の LLM と人間ベースラインを、11 の因果推論タスクで比較評価しました。
2. バイアスの非再現性の発見: 人間生成データで訓練された LLM が、人間特有の因果推論バイアス（弱い EA、マルコフ違反）を再現しないことを実証しました。
3. 解釈可能性の確立: LLM の複雑な推論行動が、小さな因果ベイジアンネットワークによって圧縮・説明可能であることを示しました。
4. ロバスト性の分析: 抽象化、ノイズ、CoT プロンプトが LLM の推論に与える影響を体系的に分析し、CoT が多くのモデルで頑健性を高めることを示しました。

意義と示唆

• 補完的な役割: LLM は人間が持つバイアス（例：過信や連想誤謬）を持たないため、バイアスが望ましくない高リスクな意思決定支援において、人間の判断を補完する可能性があります。
• 現実世界への適用リスク: 一方で、LLM の「ルール遵守型」の推論は、不確実性が本質的で事前知識が不足する現実世界のシナリオでは、背景要因を過小評価することで脆くなる可能性があります。
• 安全性への示唆: LLM の推論戦略を正確に特徴づけることが、安全かつ効果的な展開のために不可欠です。特に、CoT が推論の安定性を高める一方で、モデルのサイズやアーキテクチャによってその効果や挙動が異なることが明らかになりました。

この研究は、ベイジアンモデルとニューラルネットワークモデルが知能の理解において相補的であることを示し、LLM の推論メカニズムを解明するための重要な枠組みを提供しています。