📊 statistics

DAG-FM: A Foundation Model for Causal Discovery under Heterogeneous Causal Mechanisms

本論文は、異種混合かつ高次元なテーブルデータにおいて最先端の因果探索性能を達成するために、Mixture-of-Leaf-Expertsメカニズムを備えた2段階自己回帰Transformerアーキテクチャを活用した新しい基盤モデルであるDAG-FMを導入するものである。

原著者： Yikang Chen, Zhengkang Guan, Haoyuan Qian, Peng Cui, Yi Yang, Kun Kuang

公開日 2026-07-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yikang Chen, Zhengkang Guan, Haoyuan Qian, Peng Cui, Yi Yang, Kun Kuang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、謎を解こうとしている探偵だと想像してください。「誰が何を引き起こしているのか？」という謎です。あなたの前には、手がかり（データ）が詰まった巨大なスプレッドシートがあります。しかし、このゲームのルールは非常にトリッキーです。ある手がかりは厳格で予測可能な法則に従っていますが、別の手がかりでは法則が次々と変化します。これが「因果探索（Causal Discovery）」の世界です。長い間、探偵たちが使ってきた道具は、目隠しをしたままルービックキューブを解こうとするようなものでした。単純なパズルで立ち往生するか、ルールが複雑になると壊れてしまうかのどちらかでした。

そこに、新しい種類の「スーパー探偵」である基盤モデル、DAG-FMが登場しました。これは単一の硬直したルールブックではなく、広大で魔法のようなキッチンを持つ熟練のシェフだと考えてください。

旧来の手法 vs 新しいシェフ

以前の探偵たちは、接続のマップ全体（誰が誰を引き起こしているのか）を一気に推測しようとしていました。それは、街全体の地図を一気に描こうとするようなものでした。もしその街の交通ルールが奇妙で混在していた場合（不均質なメカニズム）、地図はたいていめちゃくちゃになってしまいます。古い手法のいくつかは、直線的で平坦なハイウェイしか知らない専門家のようなものでした（線形非ガウスモデル）。もし道がデコボコの土の道や曲がりくねった山道に変わると、それらの専門家は迷子になってしまいました。

DAG-FMはゲームのルールを変えます。全体を一気に描く代わりに、「逆さかくれんぼ」のようなゲームを行います。それは2つのステップで構成されます：

リーフ（葉）を見つける： データを見て、「連鎖の最後には誰がいるのか？他の誰にも影響を与えていないのは誰か？」と問いかけます。そして、列の最後にいる人物を一枚ずつ剥がしていきます。
親を見つける： その「リーフ」が分かったら、「誰がその糸を引いていたのか？」と問いかけます。そして、そのリーフの親を見つけ出します。

このプロセスを繰り返し、構造全体が明らかになるまで玉ねぎの皮を剥くように進めていきます。これは、全体像を一度に推測するよりもずっと賢いやり方です。

魔法の材料：「混合エキスパート」

ここからがDAG-FMの本当にクールな部分です。現実世界では、因果関係のルールはどこでも同じというわけではありません。ある原因は単純な数式のように機能することもありますし、他の場合は複雑でうねうねとした関数になることもあります。

DAG-FMは、脳の中にMixture-of-Leaf-Experts (MoLE) と呼ばれる専門家チームを持っています。これは、さまざまな種類の探偵が集まった部屋を想像してください。線形のパズルが得意な探偵、ノイズのパターンを見抜くのが得意な探偵、奇妙な曲線に対処するのが得意な探偵がいます。DAG-of-FMはデータを見ると、ただ推測するのではなく、「この特定の手がかりにはどの探偵が最適か？」と問いかけます。そして、問題を適切な専門家へと動的にルーティングします。これにより、単一の思考しか持たない古い探偵たちを混乱させるような、混沌としたルールの混在を扱うことができるのです。

トレーニングの場：合成プレイグラウンド

DAG-FMが現実世界の謎に取り組む前に、著者たちはこれを教え込む必要がありました。彼らは単に実データを与えたのではありません。巨大な仮想のプレイグラウンド（遊び場）を構築したのです。ランダムなグラフとランダムなノイズを用いて、さまざまな種類の因果ルール（線形、加法的ノイズ、ポスト非線形など）を組み合わせ、何百万もの架空のシナリオを生成しました。

決定的なのは、このプレイグラウンドに特定のセーフティネットを設計したことです。この特定のルールの混合物でモデルを訓練すれば、たとえデータが乱れていても、真の答えを見つけ出せることを数学的に証明しました。これは、あらゆる嵐やエンジン故障を含むシミュレーターでパイロットを訓練するようなものです。そうすることで、実際に飛行機を飛ばすとき、彼らが何をすべきか正確に理解できるようにしているのです。

結果：スピードと賢さ

著者たちがDAG-FMをテストしたところ、結果は素晴らしいものでした。

合成データにおいて： 100種類の混在したルールを含むシミュレーションにおいて、DAG-FMはほぼすべての手法を打ち負かしました。古いアルゴリズムや他の新しいAIモデルよりも、接続を正しく見つけ（高い適合率と再現率）、間違いを少なく（低いエラー率）できました。
実データにおいて： 彼らは、7,466サンプルと11変数を持つタンパク質シグナル伝達ネットワークや、10,000サンプルと38変数を持つ物理システムなどの実世界のデータセットでテストを行いました。他の多くの手法がクラッシュ（メモリ不足）したり諦めたりする一方で、DAG-FMは動き続けました。これらのテストにおいて、データのサイズや複雑さに苦戦する従来のツールを凌駕し、最良のマップを見つけ出しました。
効率性： また、非常に効率的です。標準的な24GBのビデオメモリを搭載したコンピュータを使用して、5万サンプルまたは500変数に及ぶデータセットを、速度を落とすための特別な工夫なしに扱うことができます。

できないこと（現時点では）

このスーパー探偵が「できないこと」を知っておくことも重要です。論文では、DAG-FMはすべての手がかりがあることを前提としている（隠れた交絡因子がない）と明記しています。もし、モデルが見ることができない隠れた変数がデータに影響を与えている場合、この手法は混乱する可能性があります。また、モデルは訓練されたルールについては素晴らしい働きをしますが、全く新しい、未知の混沌に対してはまだテスト段階にあることも著者は述べています。

結論

DAG-FMは、あらゆる謎を瞬時に解く魔法の杖ではありませんが、大きな飛躍です。問題を小さく管理可能なステップに分解し、異なる種類のルールを扱うための専門家チームを使用することで、従来のツールが失敗した状況においても、真の因果関係のマップを見つけ出すことに成功しています。これは、適切な訓練とアーキテクチャがあれば、AIがついに、世界が実際にどのように機能しているかという、乱雑で混在した現実をナビゲートできることを示唆しています。

技術要約: DAG-FM

問題提起

観測されたテーブルデータからの因果探索は、基礎となる因果メカニズムの不均一性と、有向非巡回グラフ（DAG）の高次元な組合せ探索空間という2つの根本的な課題に直面している。制約ベース、スコアベース、および最適化ベースの手法を含む従来の手法は、強力な仮定なしにはしばしば困難に直面する。具体的には、関数的因果モデル（FCM）に基づく手法は、通常、均質な因果メカニズム（例：すべての関係が線形である、あるいはすべてが加法的なノイズを持つ）を想定しており、メカニズムが変数ごとに異なる実世界のシナリオへの汎用性が制限されている。逆に、新たに出現しているアモータイズド（基盤）モデルは、出力されるDAGが厳密に識別可能であることを保証する理論的保証を欠いていることが多く、事前学習に使用される事前分布（prior space）の設計に性能が強く依存するため、不均質なメカニズムの処理に失敗することが頻繁にある。

手法

本論文は、観測データから一意かつ識別可能なDAGの出力を本質的に保証しながら、因果探索をアモータイズ（償却）するように設計された基盤モデルアーキテクチャであるDAG-FMを提案する。

1. 理論的基礎: 不均一な識別可能性

著者らは、不均質な因果メカニズムを許容するための事前分布の設計条件を確立している。単一のメカニズムタイプを強制する従来のFCMアプローチとは異異なり、DAG-FMの事前分布は、構造的因果モデル（SCM）が以下の4つの異なるメカニズム・ファミリーの混合体となることを許容する：

LiNGAM: 非ガウスノイズを伴う線形関係。
ANM: 加法的なノイズを伴う非線形関係。
HNM: 異分散ノイズモデル。
PNL: ポスト非線形（Post-nonlinear）モデル。

理論的結果（定理4.4および4.5）は、これらの条件（因果的十分性と忠実性を仮定）の下で、真のDAGが観測分布から**ほとんど確実に識別可能（almost surely identifiable）**であることを示している。これにより、アモータイズド・モデルはサンプルサイズが増加するにつれて、一意の真のDAGへと収束することが保証される。

2. アーキテクチャ: 分解された予測

隣接行列を直接予測することによるスケーラビリティの問題（二次関数的に増加し、DAGの制約を欠く）に対処するため、DAG-FMは、特化したTransformerベースのサブモジュールを用いて、探索プロセスを2つの逐次的な自己回帰ステージに分解する：

リーフノード予測器 ( $Q_{\theta_1}$ ): 現在のサブグラフにおけるリーフノード（子を持たないノード）を再帰的に予測することで、因果順序を特定する。
親ノード予測器 ( $Q_{\theta_2}$ ): 確認されたリーフノードに対し、このモジュールは、確立された順序に基づいた上三角構造へとグラフを剪定しながら、その親を特定する。

3. Mixture-of-Leaf-Experts (MoLE)

事前分布内の多様なメカニズム・ファミリーを扱うため、リーフ予測ヘッドには**Mixture-of-Leaf-Experts (MoLE)**フレームワークが統合されている。

モデルは、 $m+1$ 個の双線形ヘッドを採用しており、それぞれが特定のメカニズム・ファミリー（および一般的なメカニズムのエキスパートとダミーのエキスパート）に対応している。
トップkルーターが、入力データの特性に基づいて適切なエキスパートを動的に選択する。
この設計により、モデルは識別可能なメカニズム・ファミリーに動的に適応することができ、理論的なFCMの仮定と実用的なデータの不均一性の間の溝を埋める。

4. 事前分布の構築

モデルは、以下の要素を含む大規模な合成データセットから生成された事前分布 $\Phi$ を用いて事前学習される：

ランダムグラフ: 様々な密度を持つErdős–Rényi、Barabási–Albert、およびWatts–Strogatzモデル。
ランダムメカニズム: 定義された4つのファミリーからサンプリングされた、多様な関数ライブラリ（MLP、GP、ランダムフォレストなど）。
ランダムノイズ: 制御された信号対雑音比（SNR）を持つ、包括的な分布ライブラリ（正規分布、ラプラス分布、スチューデントのt分布など）。
データ拡張: 実世界のデータの特性をシミュレートするための非線形ワーピングおよび離散化。ただし、偽の統計的アーティファクトを防ぐために厳格な分布正規化を強制する。

5. 推論

推論は反復的に行われる（アルゴリズム1）。モデルはリーフノードを繰り返し特定し、その親を決定し、ノードを集合から削除し、すべての変数が処理されるまで因果順序を更新していく。このプロセスにより、事後的なサイクル補正を行うことなく、有効なDAG構造が保証される。

主な貢献

理論的保証: 本論文は、不均質な因果メカニズムをサポートしつつ、アモータイズド・モデルが一意の識別可能なDAGに収束することを理論的に保証する、事前分布の設計条件を提供している。
DAG-FM アーキテクチャ: リーフノード予測と親ノード予測のタスクにDAGの特定を分離し、メカニズムの不均一性を扱うためのTransformerベースのサブモジュールとMoLEフレームワークを利用した、基盤モデルの開発。
実証的性能: 不均質なメカニズムを持つ合成ベンチマークおよび複雑な実世界データにおいて、DAG-FMが最高水準の性能を達成し、従来のアルゴリズムや最新の基盤モデルを大幅に上回ることを示す広範な実験。

実験結果

合成ベンチマーク: $n=1000$ サンプル、 $d=20$ 変数の不均質なメカニズムを持つデータセットにおいて、DAG-FMは最高のF1スコア（0.64）と最小の正規化構造的ハミング距離（nSHD）（0.19）を達成し、Direct-LiNGAM、AVICI、TabCausalなどのベースラインを上回った。
均質な部分空間: 純粋なLiNGAMのような厳密に均質な設定においても、DAG-FMは競争力を維持し、専門化されたアルゴリズムに匹敵する0.12の順序ダイバージェンス率（ODR）を達成した。
実世界ベンチマーク:
- Sachs データセット（タンパク質シグナル伝達）: DAG-FMはF1 0.53、nSHD 0.25を達成し、他のすべての手法（例：FoundCause: F1 0.33; GES: F1 0.31）を大幅に上回った。
- Causal Chamber: DAG-FMはF1 0.53、nSHD 0.14を達成し、すべてのベースラインを凌駕した。
スケーラビリティ: DAG-FMは、24GBのVRAM制約内で最大50,000サンプルまたは500変数まで扱う堅牢なスケーラビリティを示した。これに対し、多くのベースライン（例：AVICI、CauScale）は、大規模なデータセットでメモリ不足エラーに遭遇した。
ロバスト性: モデルは、様々なグラフ密度、データのワーピング、および離散化に対して耐性を示し、未知のグラフ構造、メカニズム、およびノイズ分布を含む分布外（OOD）シナリオにおいても強い性能を維持した。

意義

本論文は、DAG-FMがFCMベースの識別可能性の理論的保証と、アモータイズド基盤モデルのスケーラビリティを統合したことで、重要な進歩をもたらしたと主張している。DAGの直接的な隣接行列予測から脱却し、代わりに理論的に裏付けられた逐次的なサブタスクへとタスクを分解することで、DAG-FMは、従来のメソッド（不均質なメカニズムに対する汎用性の欠如）と既存のアモータイズド・アプローチ（構造的保証の欠如と事前分布設計への敏感さ）の両方の限界を克服している。この研究は、理論的に厳密でありながら、高次元の実世界データに実用的に適用可能な、因果探索の新しいパラダイムを確立している。