🤖 AI

Why LLMs Fail at Causal Discovery and How Interventional Agents Escape

本論文は、カーネル障害定理により、教師あり学習および選好に基づく学習手法が因果発見において根本的に失敗することを証明し、外部ベイズループ内で凍結された言語モデルを介入オラクルとして用いて既存のベンチマークを上回る、証明可能な収束性を有する代替手法としてエージェンティック因果ベイズ最適化（A-CBO）を提案する。

原著者： Amartya Roy, Sonali Parbhoo

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Amartya Roy, Sonali Parbhoo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、平易な言葉と日常的な比喩を用いた、この論文の解説です。

大きな問題：なぜ AI は「因果」の謎に陥り込むのか

機械がどのように動いているかを、その動作を眺めるだけで推測しようとしている状況を想像してください。赤いライトが点滅するとベルが鳴るのを見ています。また、青いライトが点滅するとベルが鳴るのも見ています。

さて、内部の配線について推測する必要があります：

シナリオ A：赤いライトがスイッチをトリガーし、ベルを鳴らす。
シナリオ B：青いライトがスイッチをトリガーし、ベルを鳴らす。

もし機械をただ観察するだけ（観察データ）であれば、両方のシナリオは完全に同じように見えます。ライトが点滅するたびにベルが鳴ります。これが論文で「ニアミス問題」と呼ばれるものです。完全に異なる内部構造（因果グラフ）が、全く同じ外部の振る舞いを生み出すことができるのです。

論文の主要な発見：
著者らは、ChatGPT などのツールの頭脳である大規模言語モデル（LLM）に、ここで根本的な数学的な盲点があることを証明しています。何百万もの例で訓練（ファインチューニング）しても、あるいは非常に深く考えさせるよう促しても（プロンプティング）、彼らはこれらの「ニアミス」シナリオの違いを確実に見分けることはできません。

比喩：「ボヤけた写真」の限界
LLM を、複雑な機械を撮影する写真家だと考えてください。

問題点：機械が大きくなり複雑になる（変数が増える）と、「ニアミス」のシナリオは写真の中で 99.9% 同一に見えます。どの配線がどれかを示す微小な違いはあまりにも小さく、ボヤケの中に消えてしまいます。
数学的側面：論文は、LLM がその微小な違いを見るためには、内部メモリを無限に「引き伸ばす」必要があることを証明しています。それは不可能なので、AI は単に推測するだけです。謎が難しくなるにつれて、AI の性能は急落し、しばしばランダムな推測のレベルまで低下します。

解決策：「エージェント」と「オラクル」

AI には一度に謎全体を解くことができないため、著者らは**A-CBO（Agentic Causal Bayesian Optimization：エージェント型ベイズ最適化）**と呼ばれる新しいシステムを構築しました。

AI に「これら 2 つの複雑な機械のうち、どれが本物か？」と尋ねる（それは失敗する）代わりに、ゲームのルールを変えます。AI を専門的な補助者として、そして数学的な探偵を意思決定者として使用します。

以下が、その仕組みをステップバイステップで説明したものです：

1. 凍結されたオラクル（AI）

AI は「凍結」されており、再訓練されたり新しいルールを学ばされたりすることはありません。それは真実を語るオラクルのように振る舞います。

質問：AI に謎全体を解くよう求めるのではなく、システムは単純な二択の質問をします：「もしこの特定の赤いボタンを押したら、ベルは鳴るか？」
なぜ機能するか：AI が 2 つの複雑な機械の違いを区別できないとしても、単純な因果関係の質問に答えるのは得意です。ボタンを押して結果を見ることは、AI にとって予測しやすいことです。

2. ベイズループ（探偵）

ここが重労働を行う部分です。これは AI の外部で実行される数学的なループです。

戦略：探偵は、考えられるすべての機械設計のリストから始めます。
行動：最も多くの誤った答えを排除する質問を選びます。AI に尋ねます：「ボタン A を押したら、ベルは鳴るか？」
更新：
- AI が「はい」と答えれば、探偵はボタン A がベルを鳴らさないはずのすべての機械設計をリストから消します。
- AI が「いいえ」と答えれば、ベルを鳴らすはずの設計を消します。
結果：単純な質問をするたびに、可能性のリストは縮小します。探偵は AI が完璧である必要はありません。AI がランダムより少しだけ優れていれば十分です。

なぜこれがゲームチェンジャーなのか

この論文は、この手法が他のすべてが失敗する場所で機能することを示しています。

訓練不要：AI は何百万もの新しい例で再訓練される必要はありません。既存の知識を使って単純な質問に答えるだけです。
拡張性：謎が難しくなる（変数が増え、機械が複雑になる）につれて、古い手法（ファインチューニング）は破綻します。しかし、A-CBO システムはさらに良くなっていきます。最も高度にファインチューニングされたモデルさえも手こずる、24 個の変数を持つ謎を解くことができます。
「怠惰」の利点：システムは AI を「怠惰な状態」（次の単語を予測するだけ）に保ちつつ、意思決定を AI の数学的限界が適用されない場所へ移動させます。

一文でまとめる

この論文は、AI 単独では複雑で似通った因果関係を見分けることが数学的に不可能であることを証明していますが、AI を単純な「はい/いいえ」の質問役に変え、実際の探偵作業を数学的ループに任せることで、AI を再訓練することなくこれらの謎を完璧に解くことができることを示しています。

技術的サマリー：LLM が因果発見に失敗する理由と、介入エージェントがそれを回避する方法

問題定義
因果発見（統計的データからの因果グラフ構造の回復）は科学的推論の基盤であるが、大規模言語モデル（LLM）にとっては未解決の課題となっている。LLM は自然言語タスクにおいて優れているが、最近のベンチマーク（例：Corr2Cause）は、LLM が類似した観測データを生成する因果グラフを信頼性を持って区別できないことを示している。具体的には、モデルは「ニアミス」仮説、すなわち異なるマルコフ同値クラスに属するが、ほぼ同一の条件付き独立性命題を生成する有向非巡回グラフ（DAG）の処理に苦しむ。プロンプト戦略、教師あり微調整（SFT）、直接選好最適化（DPO）、コンテキスト内学習（ICL）を含む既存のアプローチは、グラフの複雑さが増すにつれて経験的に性能が劣化するが、この失敗の理論的理由は未確立であった。

手法と理論的枠組み
著者らは、LLM の因果発見における失敗をカーネル障害定理として定式化した。

カーネル障害定理（定理 1）： 本論文は、SFT、DPO、ICL のすべてが、有界ノルムを持つ再生核ヒルベルト空間（RKHS）内で動作する予測器（「怠惰」または NTK 領域）を生成することを証明している。「ニアミス」の因果仮説のペア（例： $V_1 \to V_2 \to V_3$ という連鎖対 $V_1 \leftarrow V_2 \to V_3$ というフォーク）において、観測データトークンはほぼ同一であり、カーネル類似度は 1 に近づく（ $\delta \to 0$ ）。
- この定理は、スコアマージン $\gamma$ でこれらの仮説を分離するために、予測器の重みベクトルのノルム（ $B$ ）が $B \geq \gamma / (\kappa\sqrt{2\delta})$ として増大しなければならないことを示している。
- グラフの複雑さ（ $d$ ）が増加すると、 $\delta$ は $O(1/d^2)$ としてスケーリングする。その結果、必要なノルム $B$ は無限大に発散する。SFT や DPO などの学習手法は有界ノルム（怠惰な学習）の制約下で動作するため、複雑さが増すにつれてニアミス仮説を幾何学的に区別することが不可能になる。
エージェント型因果ベイズ最適化（A-CBO）： この障害を回避するため、著者らは離散的な意思決定プロセスを LLM の RKHS の外へ移動させる枠組みを提案する。
- 介入オラクル： 凍結された LLM は、二値の介入クエリ（例：" $do(V_i=v)$ 下で $V_j$ は変化するか？"）に回答するオラクルとしてのみ機能する。補題 2 は、観測データがニアミスであっても、介入応答は $\delta$ に依存しない定数マージン $\rho$ によってカーネル分離されることを証明している。
- 外部ベイズループ： 外部エージェントは、確率単体 $\Delta^{n-1}$ 内の候補グラフ上の確率分布を維持する。情報理論的スコア（情報利得）を用いて最も識別性の高い介入を選択し、LLM にクエリを送信し、ベイズの定理を通じて信念分布を更新する。
- 収束性： 意思決定ロジックが RKHS ではなく単体上で動作するため、収束速度はニアミスパラメータ $\delta$ に依存しない。定理 2 は、真のグラフが介入によって識別可能であれば、A-CBO が $O(\log n)$ 回のラウンドで正しいグラフに収束することを証明している。

主要な貢献

失敗の理論的証明： LLM がニアミスの因果仮説を分離できないことは、モデルの規模やデータ量の限界ではなく、怠惰な領域におけるカーネル型予測器（SFT、DPO、ICL）に固有の根本的な幾何学的障害であることを確立した。
A-CBO 枠組み： LLM の役割（局所的な二値クエリの回答）と因果的決定（グローバルな仮説選択）を分離するエージェント型因果ベイズ最適化の導入により、カーネル障害を回避する。
拡張ベンチマーク： 7 から 24 変数までスケーリングし、18,000 のテストサンプルを持つ新しいベンチマークExtended Corr2Causeの作成。ニアミスギャップが $O(1/d^2)$ まで縮小する規模で因果識別をストレステストするために設計された。

実験結果

Corr2Cause（オリジナル）： A-CBO は、いかなる勾配更新もなしで、微調整されたベースライン（例：LLaMA-7B FT）の性能と同等かそれ以上を達成する。例えば、ハイレベルの A-CBO モデル（GLM-5.1）は F1 スコア 93.2 を達成し、微調整された LLaMA-7B（92.0）を上回った。
Extended Corr2Cause（d=7–24）：
- スケーラビリティ： 微調整モデル（SFT および DPO）はグラフサイズが増加するにつれて壊滅的に劣化し、 $d=21-24$ において SFT は 35.1% とほぼランダムな精度まで低下する。対照的に、A-CBO はすべてのグラフサイズで堅牢な性能（ハイレベルモデルで 83.2% の精度）を維持する。
- 優位性の増大： A-CBO と微調整ベースラインの性能差は、グラフの複雑さが増すにつれて単調に拡大する。最も困難なグラフ（ $d=21-24$ ）において、A-CBO は SFT より 44.7 ポイント上回る。
- アブレーション： 性能向上の原動力はエージェントループそのものである。A-CBO をゼロショットモデルに適用すると、巨大な改善が見られる（例：Qwen3-30B で +59.3 ポイント）。これは、改善がモデルの生来の能力ではなく、アーキテクチャの転換に起因することを裏付けている。

意義と主張
本論文は、介入クエリが単なるヒューリスティックではなく、RKHS 障害からの証明された必要かつ十分な回避策であると主張している。LLM を非決定的なオラクルの役割に制限し、仮説の識別を外部ベイズループに委譲することで、A-CBO はモデルに新しい表現を学習させたり、怠惰な学習領域から脱出させたりすることなく、大規模な因果発見を信頼性高く実現する。この研究は、科学や政策における LLM エージェントのための原理的な基盤を提供し、真の因果的知能には、現在の学習パラダイムの幾何学的限界を尊重する介入的推論構造へと、相関的な監督を超えて移行することが必要であると論じている。