📊 statistics

CDFM: Towards a General-Purpose Causal Discovery Foundation Model

本論文は、原理的な変分アプローチと合成因果モデルを用いた大規模な事前学習を活用することで、ゼロショットの構造推論を実現し、従来のデータセット特有の因果探索アルゴリズムのスケールアップにおける限界を克服する、統一的かつ汎用的なフレームワークであるCausal Discovery Foundation Model (CDFM) を導入するものである。

原著者： Jie Qiao, Ruichu Cai, Zijian Li, Weilin Chen, Pengfei Hua, Boyan Xu, Zhengming Chen, Zhifeng Hao, Peng Cui

公開日 2026-07-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jie Qiao, Ruichu Cai, Zijian Li, Weilin Chen, Pengfei Hua, Boyan Xu, Zhengming Chen, Zhifeng Hao, Peng Cui

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、謎を解こうとしている探偵だと想像してください：「何が、何を、引き起こしたのか？」 あなたの手元には、さまざまな事象がどのように一緒に起きたかを示す手がかり（データ）の山がありますが、その物語を語ってくれる目撃者は一人もいません。何十年もの間、探偵たちはすべてのケースに対して特定の「ルールブック」を選び取らなければなりませんでした。あるルールブックは、「すべては直線であると仮定せよ！」と言い、別のルールブックは、「ノイズは奇妙で凹凸があるものと仮定せよ！」と言いました。もし、間違ったケースに対して間違ったルールブックを選んでしまったら、あなたの導き出した答えはゴミ同然になってしまいます。

この論文は、新しい種類の探偵である**CDFM（Causal Discovery Foundation Model：因果探索基盤モデル）**を紹介しています。CDFMは、特定のルールブックを選ぶ代わりに、実在の事件に直面する前に、宇宙にあるあらゆる可能なルールブックを読み込んできた超スマートな弟子のような存在です。

旧来の手法 vs 新しい手法

旧来の手法（「テスト駆動」の苦闘）：
散らかった部屋（あなたのデータ）を想像してください。旧来の手法はこう言います。「この散らかりは竜巻のせいか？風が非ガウス分布だったかチェックしてみよう！猫のせいか？ノイズが加法的かどうかチェックしてみよう！」あなたは十数種類の異なるテストを実行し、どれが適合するかを推測しなければなりません。そして、もし推測を間違えれば、最初からやり直しです。これは遅く、断片的であり、部屋があまりに散らかっていたり、変な状態だったりすると機能しなくなります。

新しい手法（CDFM）：
CDFMは、この推測ゲームをスキップします。それは散らかった部屋を見て、「私はこれまでに何百万もの部屋を見てきました」と言います。データが線形か非線形かをあなたに教えさせる必要はありません。ただパターンを見て、誰が何を cause（原因）したのかという地図を描き出します。これは「ゼロショット」の探偵です。つまり、事前に再学習することなく、全く新しいタイプの謎を解くことができるのです。

いかにしてこれほど多くのことを学んだのか？（「合成プレイグラウンド」）

あなたはこう疑問に思うかもしれません。「どうやってコンピュータが、因果関係に関する『すべて』を知ることができるのか？」著者たちは、実世界のデータ（それは雑多で、しばしば正解が欠落しています）を教え込んだわけではありません。代わりに、彼らは巨大で無限のビデオゲームを作り上げました。

このゲームの中で、彼らは15種類の異なる家族（タイプ）の偽の世界を生成しました。ある世界は直線的なルールを持ち、ある世界は激しく湾曲したルールを持ち、ある世界には背後で糸を引く隠れた「ゴースト」変数が存在し、またある世界にはデータの欠落がありました。彼らは、10個の変数が集まった小さなパズルから、100個の変数を持つ巨大なものまで、10種類の異なるサイズの世界を作りました。また、手がかりの数も500個から4,000個の観測値まで変化させました。

CDFMはこのビデオゲームの中で長い時間をかけてプレイし、異なる原因の「足跡」を認識することを学びました。もしパターンがある特定の種類のノイズのように見えたら、それはある種の原因である可能性が高く、もし別のものに見えたら、それは別の原因であるといったことを学んだのです。

魔法のトリック：「変分推論」

ここが巧妙な点です。論文は、単に答えを推測するのではなく、その推測が唯一適合することを数学的に証明しなければならないと主張しています。著者たちは、変分推論と呼ばれる数学的トリックを使用しました。

これを次のように考えてみてください。CDFMは単に「AがBを引き起こしたと思う」と言うのではありません。「AがBを引き起こすあらゆる可能な方法を想像し、それらすべてを重み付けし、データに最も適合するものを選ぶ」と言うのです。それは「ルール」を、構造を解明しながら解明しようとする隠れた変数として扱います。これにより、もし数学的にある方向が不可能であると示された場合、CDFMがそれを推測することはありません。

本当に機能したのか？（証明）

著者たちは単に「クールに見える」と言っただけではありません。彼らは3つの方法でテストを行いました。

合成ガントレット（Synthetic Gauntlet）： 彼らは、最終テストフェーズでまだ見ていない15種類の異なる偽の世界に対してCDFMを投げ込みました。
- 結果： CDFMが勝ちました。4,000サンプルのテストにおいて、CDFMは0.888のAUROC（1.0が完璧であることを示す精度指標）を記録しました。次に優れた手法であるTabCausalは、わずか0.786でした。パズルが巨大になった場合（100変数）でも、他の手法が崩壊する中で、CDFMは0.87以上のAUROCを維持し、強力なまま留まりました。
- 教訓： これは、CDFMが特定のルールブックを必要とせずに、多様で雑多な実世界の状況に対処できることを示唆しています。
実世界テスト： 彼らは、物理的なシステムであるCausal Chamber（光のトンネルとセンサーが実際の物理現象を生み出すもの）や、Tübingenベンチマーク（身長が体重に影響を与えるような、現実世界のペア）などの実データを用いてテストしました。
- 結果： Causal Chamber Task A1において、CDFMは0.952のAUROCを記録し、次に優れた手法（TabCausalの0.930）を上回りました。Tübingenベンチマークでは、**67.1%の精度を出し、従来の最高値である63.8%**を打ち破りました。
- 教訓： ビデオゲームで学んだスキルは、実際に現実の世界へと転移しました。
「正直さ」のチェック： 著者たちは、CDFMが盲目的に推測しているのではないことを確認したいと考えました。そこで、数学的に（例えば二つのものが完全に左右対称である場合など）答えを知ることが不可能な状況でテストを行いました。
- 結果： 数学的に「判別不可能」であるとき、CDFMの精度は0.5（コイン投げと同じ、単なる推測）まで低下しました。一方で、数学的に「判別可能」であるとき、その精度は1.0へと跳ね上がりました。
- 教訓： これは、CDFMが論理の法則を尊重していることを示唆しています。それは、答えを知るべきではないときを知っているのです。

できないこと（ルール）

この論文は、CDFMができないことについても非常に明確に述べています。

それは、仮定を不要にする魔法の杖ではありません。論文は、因果関係の仮定は依然として必要であることを明示しています。CDFMは、単一の仮定ではなく、より「広いスペクトラム（範囲）」の仮定を学習するものです。
すべてにおいて完璧というわけではありません。非常に特定された単純なケース（例：非ガウスノイズを伴う完全に線形な世界）では、DirectLiNGAMのような、より特化した古いツールの方がわずかに優れた性能を発揮することがあります。CDFMは「ジェネラリスト（汎用家）」であり、一つの小さなニッチのための「スペシャリスト（専門家）」ではありません。
実世界のデータに関する結果は、特定のベンチマーク（Causal Chamber、Tübingen）に基づいた控えめなものです。この論文は、CDFMが宇宙のあらゆる問題を解決したと主張しているのではなく、極めて広範な範囲において驚くほどうまく機能することを主張しています。

おまけ：欠落したピース

副次的な効果として、CDFMのトレーニングにより、欠落したパズルのピースを埋めることにも非常に長けていることが分かりました。データに穴がある場合、それは欠落していた数値を推測することができます。テストにおいて、それはMeanやKNNといった標準的な補完手法を上回り、連続データにおいて0.452の平均絶対誤差（MAE）、離散データにおいて0.717を達成しました。

結論

この論文は、大きな転換を示唆しています。新しいタイプのデータごとに新しい特化したツールを作るのではなく、因果関係の言語を理解する一つの巨大で事前学習された脳を作ることができるかもしれない、ということです。それは世界のあらゆる謎を解いたわけではありませんが、どんな部屋に入っても、手がかりを見て、「これは見たことがある。ここに地図がある」と言える探偵への、大きな一歩なのです。

技術要約: CDFM: 汎用的な因果探索基盤モデルに向けて

問題提起

因果探索（観測データから潜在的な因果構造を復元するプロセス）は、伝統的に断片的なテスト駆動型のパラダイムに依存してきました。既存のアルゴリズムは、特定の因果メカニズム（例：線形非ガウス性、加法性ノイズ、または特定の独立性制約）に合わせて細心の注意を払って設計されています。その結果、これらの手法は、その基礎となる仮定が厳密に成立する場合にのみ優れた性能を発揮します。異種混合のデータや未知の生成プロセスを特徴とする現実世界のシナリオにおいて、実務家はアルゴリズムの選択、仮定の検証、および統計的テストの再評価という、膨大な手動のループに直面することになります。このようなデータ固有のアプローチは、現代の科学的発見の要求に応えるためのスケーラビリティに欠け、多様で未知の因果メカニズムへの汎化にも苦慮しています。

手法

著者らは、異種混合かつ初期状態では未知である因果メカニズムに対して、ゼロショットの構造推論を行うために設計された統一フレームワークである**CDFM（Causal Discovery Foundation Model）**を提案します。この手法は、因果識別理論とディープラーニングのアーキテクチャ設計を橋渡しする、原理に基づいた変分フレームワークに基づいています。

1. 理論的基礎：変分分解

核心となる理論的洞察は、未知のメカニズム下での因果探索は、ベイズ的なモデル選択問題であるということです。真の因果メカニズム $M^*$ は未知であるため、モデルは膨大なメカニズムの仮説空間 $\mathcal{M}$ に対して周辺化を行う必要があります。

識別性の境界: 本論文は、制約がない場合、因果の方向を数学的に特定することは不可能であることを確立しています（定理1）。しかし、メカニズムの空間 $\mathcal{M}$ が「厳密な空間識別性（strict space identifiability）」の特性を満たす場合、正確な周辺尤度は真のグラフを一意に特定します（定理3）。
変分推論: 周辺尤度を直接計算することは困難です。CDFMは変分推論を用いて問題を定式化し、パラメータ化された分布 $Q(M|X)$ $Q (M ∣ X)$ を導入することで、メカニズムに関する事後分布を近似します。これにより、学習目的関数を以下の3つの扱いやすいコンポーネントに分解する証拠下限（ELBO）が得られます。
1. メカニズム推論: $Q(M|X)$ 。統計的な痕跡（ノイズ特性、非線形性）を抽出して、潜在的なメカニズムのエンコーディングを推論します。
2. データ再構成: $\log P(X|G, M)$ 。推論されたメカニズムとグラフが観測データを説明することを保証します（自己教師あり信号）。
3. グラフ推論: $\log P(G|M)$ 。エンコードされたメカニズムを条件として、構造グラフをデコードします。

2. アーキテクチャ設計

CDFMのアーキテクチャは、変分分解を明示的に反映しています。

列方向の埋め込みと交互アテンション: 入力データ（バイナリインジケータチャネルによる欠損値処理を含む）は、周辺分布を捉えるためにSet Transformerを使用して埋め込まれます。行方向と列方向の交互アテンションブロックのスタックが、結合依存性を統合し、潜在的なメカニズム分布 $Q(M|X)$ をパラメータ化します。
データ再構成（補完）: 残差ブロックは、マスクされたエントリの条件付き分位値を予測します。これは、自己教師ありタスクとして機能します。「ソフト因果マスク」がアテンション中に採用され、現在のエッジ重みの仮説に基づいて非因果的な変数からの情報流を抑制し、構造精緻化のための教師なし内部ループを作成します。
グラフ推論: 誘導された自己アテンションが、各変数に対する「原因」および「結果」のサマリーベクトルを抽出します。Mixture-of-Experts (MoE) バイリニアヘッドが、これらのベクトルからエッジロジットをデコードし、有向エッジおよび双方向エッジ（潜在的な交絡因子用）を自然に扱います。軽量なグラフ適応型閾値キャリブレータが、連続的な確率をバイナリグラフに変換します。

3. 事前学習戦略

CDFMは、大規模で極めて多様な合成構造因果モデル（SCM）の空間で事前学習されます。データ生成器は以下を網羅しています：

グラフ構造: 様々な疎性とサイズ（ $D \in [2, 100]$ ）を持つ6つのランダムグラフモデル（ER, Scale-Free, WS, SBMなど）。
メカニズムの多様性: 線形および非線形モデル（加法性ノイズ、ポスト非線形、ランダムフーリエ特徴）、離散型および混合型のメカニズム、および物理学に触発されたモデル。
ノイズと交絡: 多様なノイズ分布（ガウス、ラプラス、コーシーなど）、不均一分散、および潜在的な交絡（15%のバッチ）。
リアリズム: シミュレートされた測定誤差、離散化、およびランダムな欠損値（MCAR）。

主な貢献

パラダイムシフト: 因果探索を汎用的な基盤モデルのタスクとして定式化し、専門化されたアルゴリズム選択から、ゼロショットの構造推論が可能な統一的な推論アプローチへと転換しました。
原理に基づいたフレームワーク: 基盤モデルと構造的識別性を統合し、未知のメカニズムを潜在変数として扱うことで、周辺化の問題を扱いやすい学習目的関数へと変換しました。
アーキテクチャ設計: メカニズムのエンコーディング、構造を考慮した再構成、およびグラフデコーディングを理論的な分解に一致するように設計し、観測データからの堅牢な推論を可能にしました。
大規模事前学習: 多様な因果知識に駆動された包括的な事前学習レジメンを導入し、複雑な統計的非対称性を内在化するために、巨大な仮説空間を合成しました。

実験結果

著者らは、合成ベンチマーク、実世界のデータセット、および制御された識別性研究を通じてCDFMを評価しています。

合成ベンチマーク: CDFMは、15の異なるメカニズムファミリー、および様々なグラフサイズ（ $D \in [10, 100]$ ）とサンプルサイズ（ $N \in [500, 4000]$ ）において、従来のアルゴリズム（PC, GES, DirectLiNGAM, NOTEARS）およびアモルタイズされたベースライン（AVICI, TabCausal, Arrow）を一貫して上回りました。優れたAUROCおよびF1スコアを達成しており、問題のスケールが増大しても安定した性能を示しています。
実世界ベンチマーク:
- Causal Chamber: 物理的な多変量システム（タスクA1およびA2）において、CDFMは高いAUROC（0.952および0.965）を達成し、すべてのベースラインを上回り、合成系から物理系への転移可能性を実証しました。
- Tübingenベンチマーク: 95組の二変量原因・結果ペアにおいて、CDFMは67.1%の精度を達成し、他の最先端の手法を凌駕しました。
識別性の検証: 制御された実験により、CDFMが理論的な識別性の境界に従うことが確認されました。関数的非対称性（非線形性/非ガウス性）またはV構造が存在する場合、モデルは正しく因果の方向を特定しますが、非識別的な領域（例：線形ガウスモデル）では、チャンスレベルの性能（精度 $\approx$ 0.5）に戻ります。
欠損値補完: 再構成目的関数の副産物として、CDFMの補完ヘッドは、欠損値を含む連続および離散データの両方で、古典的な手法（MissForestやMICEなど）を上回る最先端の性能を達成しています。

重要性と主張

本論文は、CDFMが汎用的な因果探索エンジンへの重要な一歩であると主張しています。アルゴリズム選択のボトルネックを、多様で識別可能な合成データのスケーラブルな生成へとシフトさせることで、CDFMは複雑な因果的非対称性を内在化し、未知の生成プロセスを越えて汎化することを可能にしました。

著者らは、このモデルが因果的仮定を排除するのではなく、広範な仮定クラスにわたってそれらを採用することを学習するものであることを強調しています。この研究は、因果モデルが単一の硬直した仮定を最適化するのではなく、メカニズムの「家族」に対する広範な表現を学習するという将来の方向性を示唆しています。結果は、このような基盤モデルがパラダイムシフトを促し、データ量や異種混合性に対してスケールする、堅牢なゼロショット因果探索能力を提供できることを示しています。