💬 NLP

Evidence-Type Competition: When Can Interventional Data Teach Language Models Causal Direction?

本論文は、観測的証拠と介入的証拠が矛盾する合成環境において、言語モデルの因果方向を推論する能力は、学習データの混合比によって決定されるのではなく、推論コンテキスト内に存在する証拠の類型によって動的にオンまたはオフに切り替わり、観測的な手がかりがモデルの潜在的な因果推論能力を能動的に抑制することを実証している。

原著者： Xining Xun

公開日 2026-08-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xining Xun

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

探偵、手がかり、そして大きな声

あなたは、超スマートなロボットに「原因と結果」を理解させる方法を教えようとしていると想像してください。あなたは、ボタンを押せばライトが点灯するということを、単に「ボタンとライトがいつも一緒に現れる」という現象としてではなく、因果関係として理解させたいと考えています。人工知能の世界には、「因果の梯子（Ladder of Causation）」と呼ばれる有名な概念があります。それは、物事が「なぜ」起こるのかを真に理解するためには、単に世界が過ぎ去るのを眺めている（観察）だけでは不十分であり、実際に介入して物事を変えてみる（介入）必要があることを示唆しています。長い間、研究者たちは、AIにこのスキルを教える最善の方法は、「介入データ」――誰かが実際にボタンを押し、ライトが点灯する様子を見た物語――を豊富に与えることだと考えてきました。

大きな問いは単純でした。もし、ロボットのトレーニングにこれらの「行動」の物語をもっと混ぜ合わせれば、ロボットは因果関係を見つけ出すのが上手くなるのだろうか？ということです。この論文は、答えが数学的に既知である、非常に制御された架空の世界を用いて、この問いを掘り下げています。研究者は、「シンプソンのパラドックス」と呼ばれるトリッキーなシナリオを設定しました。これは、ただ観察していると二つの事象が逆方向に動いているように見えるのに、真の原因を見ると実際には共に動いているという統計的なパズルです。それは、傘を持っている人が持っていない人よりも濡れているのを見て、「傘が雨を降らせている」と結論づけてしまうようなものです。実際には、雨が傘と濡れの両方を引き起こしているのですが。この論文は、介入によるトレーニングを増やすことが、AIに誤解を招く「観察」の手がかりを無視させ、真の原因を見つけ出す助けになるかどうかをテストしています。

実験：ロボットに混合食を与える

著者は、50種類の異なる「世界」からなるデジタル・プレイグラウンドを構築しました。それぞれの世界において、彼らは隠されたトリックを作り出しました。自然な観察結果は負の関係（傘の例のようなもの）を示していましたが、真の因果効果は正の関係でした。そして、彼らはこれらの世界を用いて言語モデルをトレーニングし、その際、「介入」データ（モデルが強制的な変化を目撃した場面）と「観察」データ（モデルがただ眺めていた場面）を異なる割合で混ぜ合わせました。

研究者は、彼らが「仮説1」と呼ぶ一般的な信念からスタートしました。「トレーニングの混合比率において介入データの量を増やせば、モデルは真の原因を見つけるのが上手くなる」。彼らは、介入データの割合を0%から100%へと徐々に増やしていくことで、これをテストしました。

ここで驚くべき展開が待っていました。この仮説は間違っていました。

トレーニング中に100%の介入データをモデルに与えたとしても、モデルが答えを出さなければならない瞬間に「観察的な手がかり」が提示されると、モデルは原因の方向を間違えてしまったのです。モデルは介入データから効果の「大きさ」（ライトが明るくなることは知っている）を学習しましたが、方向（正か負か）については、コンテキスト内で目にした観察的な手がかりをコピーしてしまいました。それは、数学の公式を完璧に暗記した生徒が、テスト中に公式を無視して、前の問題のパターンに基づいて勘で答えてしまうようなものでした。

真の犯人：コンテキストの切り替え

では、トレーニングの混合比率が重要ではなかったとしたら、何が重要だったのでしょうか？論文は、決定的な要因は、モデルが回答する瞬間にコンテキスト内に存在するエビデンスの種類であったことを発見しました。

研究者は、異なるタイプの手がかりがモデルにどのような影響を与えるかを調べるために、「4ウェイ比較」を行いました。

純粋な観察： コンテキストに観察記録のみがあった場合、モデルは29回中50回、方向を間違えました。
混合エビデンス： コンテキストに観察と介入の混合があった場合、19回中50回間違えました。
純粋な介入（プローブ）： コンテキストに介入の記録（プローブ）のみがあった場合、41回中50回、正解しました。

最もエキサイティングな発見は、テスト中に実行された「手品」から得られました。研究者は、混合データでトレーニングされ、コンテキスト内の観察的ヒントのせいで失敗していたモデルを取り上げました。そして、モデルが回答する直前に、コンテキストから観察的な手がかりを消去しました。すると、瞬時に、モデルの真の原因を見つけ出す能力が「オン」になりました。その精度はマイナスのスコアからプラスのスコアへと跳ね上がり、介入データのみを見たモデルのパフォーマンスと一致しました。

これは、モデルは最初から因果推論を学習していたことを証明しています。ただ、観察的なエビデンスが存在することによって、その能力が「オフ」にされていただけなのです。能力はモデルの脳（重み）の中に存在していましたが、コンテキストが正しい答えをミュートしてしまうリモコンとして機能していたのです。

スイッチの仕組み：段階的なダイヤル

論文はまた、このスイッチがどのように機能するかについても探求しました。それは単純なオン/オフボタンではなく、音量ダイヤルのようなものです。

1つの観察記録： モデルをほとんど抑制しませんでした。
2つの記録： シグナルを希釈し、モデルを混乱させました。
4つの記録： モデルの注意を完全に奪い、誤った観察的方向に従わせました。

さらに興味深いことに、観察の内容も重要でした。もし観察記録が現在の世界と一致しないランダムな数値であった場合、抑制は弱まりました。しかし、記録が整合性を持っており、現在の世界の特定の相関関係と一致している場合、抑制は最も強くなりました。これは、モデルがコンテキスト内の「物語」を能動的に聞き取り、最も一貫性のあるナラティブが学習されたルールを上書きすることを許容していることを示唆しています。

スケーリングと「ポジティブ・バイアス」

研究者はまた、モデルが大きくなるにつれてこの問題が改善されるのか、悪化するのかも確認しました。彼らは、初期の2500万パラメータよりもはるかに大きい、約10億パラメータを持つモデルをテストしました。問題は継続しました。混合コンテキストのモデルは依然として約32%の確率で原因の方向を逆転させたのに対し、純粋な介入モデルの逆転はわずか6%でした。

最後に、彼らは別のデータセット（CLadder）を用いて、モデルが「原因は常に正である」という一般的なルールを学習したのかどうかを確認しました。彼らは、モデルが「ポジティブ・バイアス」を学習していたことを発見しました。これは、使用したすべてのトレーニング例が正の効果を持っていたためです。彼らが正と負の両方の例を用いて再トレーニングすることでこれを修正しようと試みたところ、モデルはトレーニング内の世界の「符号」を読み取ることは上手くなりましたが、混乱した外部データに直面すると、依然として正の答えをデフォルトとして選択しました。これは、モデルが確信が持てないときに起動する「セーフティネット」を持っており、そのセーフティネットは除去するのが難しいことを示唆しています。

結論

この論文は、AIを教えることについて極めて重要な教訓を与えてくれます。適切なデータを与えるだけでは不十分なのです。 モデルはスキルを学習するかもしれませんが、もしモデルが動作する環境（コンテキスト）が誤解を招くヒントで満たされていれば、モデルは学んだことを無視して、そのヒントに従ってしまいます。モデルの真の推論能力をオンにするスイッチは、トレーニングデータの中にあるのではなく、テストの瞬間に与えられるコンテキストの中にあります。最善の結果を得るためには、単にトレーニングデータだけに頼るのではなく、コンテキストを設計して、正しい種類のエビデンスを強調するようにする必要があります。

技術要約：言語モデルにおけるエビデンス型の競合

問題提起

本論文は、事前学習における介入データの割合を増やすことが、言語モデル（LM）の因果推論能力を自動的に向上させるという、支配的な仮説（H1と表記）に異議を唱えるものである。介入データは、因果の方向性を学習するための「ゴールドスタンダード」として理論的に支持されているが（Pearl, 2009）、本研究では、LLMが観測による相関関係と矛盾する場合に、このデータを効果的に利用できるかどうかを調査している。

著者は、シンプソンのパラドックスのシナリオ、具体的には、変数 $X$ と $Y$ の間の観測上の相関が負（ $Cor_{obs}(X, Y) < 0$ ）であるが、真の因果効果は正（ $eff(X \to Y) > 0$ ）である「シンプソン・トラップ・ワールド」に焦点を当てている。核心となる問いは、観測データと介入データの混合物で学習されたLMが、正しい因果の方向を推論できるのか、それとも推論コンテキスト内に存在する観測上の相関へとデフォルトで回帰してしまうのか、という点である。

手法

本研究では、因果推論を自然言語による交絡から分離するため、完全に制御された合成環境を採用している。

合成ワールド生成器: 著者は、隠れた交絡因子（ $Z$ ）を持つパラメトリックな構造的因果モデル（SCM）を生成する。評価対象となるファミリーは、 $Cor_{obs}(X, Y)$ と $eff(X \to Y)$ が逆の符号を持つ50個のワールドで構成される。
学習プロトコル: 25.7MパラメータのGPTスタイルのデコーダーを、観測（OBS）データと介入（INT/PROBE）データの混合物で学習させる。介入の割合 $\alpha$ $α$ を0.0から1.0まで変化させる。
- OBS: 観測サンプル $(v_1, \dots, v_n) \sim P(V)$ 。
- PROBE: クエリノード $X$ に対する介入記録（ $do(X=v) \to$ レスポンス）。
評価指標:
- ヒット基準 (Hit Criterion): $do(X) $グリッド上の回帰スロープが非ゼロ（$ |slope| > 0.05$）であり、かつ正しい符号を持つ場合を「ヒット」とする。
- 真の比率 (Ratio True): モデルが予測したスロープと、オラクル（正解）のスロープの比。
- ノイズフロアの制御: 完璧な補間器であっても、シングルショットのプローブ評価におけるサンプリングノイズにより、符号エラー（26%）を犯すことを著者は定量化している。これに対処するため、エビデンス平均化（ $n_{rep}=8$ ）を実装して、このフロアを9%まで低減させ、観察された反転が統計的なアーティファクトではなくメカニズム的なものであることを保証している。
推論時介入: 能力の欠如とコンテキストによる抑制を区別するために、エビデンスの消去やエビデンス型の「用量」操作といった、学習コストなしのゼロコスト介入を推論時に行う。

主な貢献

H1の反証（大きさ–方向の二重性）: 本研究は、事前学習における介入データの割合（ $\alpha$ ）を増やすことが、因果の方向の正確性を向上させないことを示している。代わりに、**大きさ–方向の二重性（magnitude–direction duality）*が現れる。すなわち、モデルは介入データから因果効果の大きさ*を学習するが（ $\alpha$ とともに単調に増加する）、*符号（方向）*については観測コンテキストからコピーしてしまう。
エビデンス型因子: 因果推論のパフォーマンスを決定する主要な要因は、学習データの混合比率ではなく、推論コンテキスト内に存在するエビデンスの型である。
- 純粋な観測コンテキスト: 50ワールド中29において系統的な符号の反転を引き起こす。
- 混合コンテキスト: 50ワールド中19において反転を引き起こす。
- 純粋なプローブコンテキスト: 41/50のワールドで正しい方向を示す（反転は測定ノイズのレベルでのみ発生する）。
メカニズムの局在化: 因果能力の抑制は、学習の欠陥ではなく、推論時の現象である。
- コンテキストから観測エビデンスを消去すると、モデルの抑制された補間能力が即座に解放される（ratio true が -0.09 から +0.56 へ跳ね上がる）。
- 観測エビデンスを除去せずにプローブの用量を倍増させても、抑制を解除することはできない。
- 活性化パッチング (Activation Patching): トランスフォーマーの中間層（レイヤー2–3）にある観測レコードの行へと、「スイッチ」を局在化させた。
堅牢性とスケーリング: この抑制効果はスケール（0.93Bパラメータ）においても持続するが、絶対的な介入による利得は縮小する。この現象は学習シードによらず安定しているが、大規模化に伴い、固定された反転セットではなく、拡散したレートの上昇として現れる。
二層の事前分布の発見: CLadderベンチマークを用いた外部監査により、学習された**正の効果の事前分布（positive-effect prior）**が明らかになった。
- レイヤー1（分布内）: 正の効果へのバイアスであり、符号をランダム化した再学習によって除去可能である。
- レイヤー2（分布外）: 符号のランダム化後も残る持続的な「正のデフォルト」であり、エビデンス処理メカニズムが機能しなくなった際のフォールバック・メカニズムを示唆している。

結果

学習混合物の無効性: シンプソンのパラドックスの世界において、 $\alpha$ を0から1.0まで変化させても、符号の正確性に単調な改善は見られない（正確性は0.2から0.5の間で変動する）。
コンテキストの用量勾配: 4つのアーム比較（ベースライン：純粋OBS、C1：OBS + プローブ、C2：純粋プローブ）は明確な勾配を示す。コンテキスト内の観測エビデンスが減少するにつれ、平均のratio true は単調に増加する（-0.288 $\to$ -0.092 $\to$ +0.418）。
内容媒介のスイッチ: 抑制は段階的であり、内容によって媒介される。観測的な内容を削除すると（フォーマットのトークンが残っていても）抑制が解除されるが、単に用量を希釈するだけでは不十分である。整合性のある、世界と一致する観測データが最も強い抑制効果を発揮する。
CLadder監査: 介入データで学習されたモデルは、CLadderにおいて「片側読み」の挙動を示し、負のATE（平均処置効果）の世界を正のデフォルトへと崩壊させる。これは、モデルが分布外にあるとき、エビデンスを上書きする強力な正の事前分布が存在することを裏付けている。

意義と主張

本論文は、LLMにおける因果的コンピテンスの理解を再定義する動機付けとなる否定的な結果を提供していると主張している。著者は以下の通り述べている：

能力 vs 活性化: 因果的補間を行う能力はモデルの重みの中に存在する（純粋なプローブコンテキストの成功によって証明されている）が、コンテキスト内に矛盾する観測エビデンスが存在することで、その能力がオフにされている。
エビデンスのエコロジー: 因果推論のボトルネックは、事前学習における介入データの不足ではなく、推論時のコンテキストにおけるエビデンスのエコロジーである。観測的な事前分布が介入信号を支配し、抑制することがある。
方法論的厳密性: 本研究は、因果評価におけるサンプリングノイズフロアを制御する必要性を強調しており、符号の正確性における「アトラクター・キャンプ（引き寄せられる集団）」が、適切に平均化されない場合、ノイズの産物である可能性があることを示している。
実用的な示唆: 事前学習のデータ混合を最適化するだけでは不十分である。効果的な因果推論には、観測的な事前分布が学習された因果メカニズムを上書きするのを防ぐための、コンテキスト・エンジニアリングまたは展開時のエビデンス型ゲーティングが必要である。

著者は、特定の分布外の正のデフォルトの微細なメカニズムは未特定であり、現在の知見は合成および教科書的なグラフ領域に限定されていることを認め、謙虚な姿勢を保っている。