📊 statistics

FoundCause: Causal Discovery with Latent Confounders from Observational Data

FoundCauseは、特殊な帰納バイアスを備えたトランスフォーマー・アーキテクチャを活用することで、観測データから潜在的な交絡因子を含む因果グラフを単一のフォワードパスで直接推論し、多様な実世界のデータセットにおいて古典的な手法および既存のアモルタイズ手法の両方を凌駕する、新しいアモルタイズ因果探索モデルである。

原著者： Patrick Blöbaum, Krishnakumar Balasubramanian, Shiva Prasad Kasiviswanathan

公開日 2026-06-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Patrick Blöbaum, Krishnakumar Balasubramanian, Shiva Prasad Kasiviswanathan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、複雑な犯罪現場で「誰が何を仕掛けたのか」を突き止めようとしている探偵だと想像してください。しかし、手元にあるのは、ぼやけた監視カメラの静止画（観測データ）だけです。犯罪をやり直す（介入）ことはできませんし、背後で糸を引いている目に見えない黒幕（潜在的な交絡因子）がいることも疑っています。

これが**因果探索（Causal Discovery）**の課題です。この論文は、FoundCauseという新しい探偵ツールを紹介しています。

FoundCauseの仕組みを、日常的な比喩を用いて説明します。

1. 「修行シーン」（アモルタイズ推論 / Amortized Inference）

従来の古いタイプの探偵たち（伝統的なアルゴリズム）は、新しい事件が発生するたびに、ゼロから解決しようとします。個々の写真の詳細な分析や、複雑な数学的テスト、パターンの探索に何時間も費やします。これは時間がかかり、現場が混乱している場合には失敗することもしばしばです。

FoundCauseは異なります。これは、実際の事件に直面する前に、何千ものトレーニング用映画（合成データ）を観てきた探偵のようなものです。

比喩: パズルを一つずつ解くのではなく、FoundCauseはすでに何百万もの偽のパズルで練習を積んでいます。それは、原因と結果がどのような形をとるのかという「一般的なルール」を学習済みなのです。
結果: 実データを与えられたとき、それは何時間も「思考」したり計算したりする必要はありません。データを見るだけで、瞬時に（単一のフォワードパスで）誰が何を cause したのかという地図を描き出します。それは、何百万回とその顔のタイプを見てきたからこそ、群衆の中から瞬時に顔を識別できるのと似ています。

2. 「二チャンネル・ビジョン」（欠損データの処理）

現実世界のデータは、しばしば乱れています。監視カメラが壊れていたり、目撃者が現れなかったりすることもあります（欠損データ）。

比喩: 伝統的な手法は、欠落した部分を平均値などで埋めて「推測」しようとすることがよくあります（例えば、空が青いから欠けているパズルのピースも青いだろうと推測するように）。これは誤った結論を導く原因となります。
FoundCauseのトリック: これには特別な「マスク」チャンネルがあります。単に数値を見るだけでなく、「数値がどこで欠けているか」をも見ます。それは「欠損していること自体」を重要な手がかりとして扱うのです。これは、特定の部屋に目撃者が「いない」という事実が、そこにいた目撃者と同じくらい重要であることを知っている探偵のようなものです。

3. 「隠れた黒幕」（潜在的な交絡因子）

二つの事象が同時に起きているのは、一方が他方を引き起こしたからではなく、目に見えない第三の要素が両方に影響を与えている場合があるからです。

比喩: 例えば、「アイスクリームの売上」と「サメによる襲撃」が同時に増えている場面を想像してください。下手な探偵は「アイスクリームがサメの襲撃を引き起こしている」と言うかもしれません。賢い探偵は、そこに隠れた要因、すなわち**「夏の暑さ」**があることを知っています。
FoundCauseのトリック: これには、こうした目に見えない「夏の暑さ」を見つけ出すための専用モジュールが備わっています。それは、隠れた共通の原因を表すために、学習可能な「トークン」（目に見えない付箋のようなもの）を使用します。これは、「これらの二つの変数の背後で糸を引いている、隠れた黒幕がいるのではないか？」と明示的に問いかけるものです。これは、この種のAIモデルとしては初のことです。

4. 「専門的なツールキット」（帰納バイアス）

FoundCauseは単なる汎用的な脳ではなく、因果関係のために設計された特定のツールを備えています。

「非対称性」センサー: 原因と結果は、決して対称ではありません。ボールを押せば動きますが、ボールが動いたからといって、必ずしもあなたを押すわけではありません。FoundCauseは、古典的な統計的「非対称性」の尺度（どちらの方向から見てもデータのノイズが異なって見えるかどうかを確認するなど）を使用して、方向性を判断します。
「三角形」のリファイナー: 因果関係はしばしば連鎖（AがBを引き起こし、BがCを引き起こす）やV字型（AとBの両方がCを引き起こす）として発生します。FoundCauseには「三角形の精緻化（triangular refinement）」ステップがあります。これは、一度に3つの変数のグループを見て、それらが連鎖なのかフォーク（分岐）なのかを確認し、他の手法を混乱させる似たようなパターンを区別するのに役立ちます。

5. 「ファクト・デコーダー」（「存在」と「方向」の分離）

二つの変数がつながっているかどうかを決定するとき、FoundCauseは判断を二つのステップに分割します。

存在: 「これら二つの変数は、そもそもつながっているのか？」（対称的なチェック）
方向: 「もしつながっているなら、どちらがボス（原因）なのか？」（非対称的なチェック）
これは、二つの人が会話をしたかどうかをまず確認し、その後に「どちらが会話を始めたのか？」と問うようなもので、両方を一度に答えようとするのとは異なります。

結果：なぜ重要なのか

論文では、FoundCauseを15種類の異なる実世界のデータセット（医療記録からマイクロサービスのログまで）を用いてテストし、11種類の古典的な手法および4種類の他のAI手法と比較しました。

スピード: 古典的な手法が数時間、あるいは数日かかることもある中、FoundCauseは2秒足らずで問題を解決します。
正確性: 因果の「方向」を正しく特定する頻度が他のどの手法よりも高く（F1スコアを10%近く向上）、優れた性能を示しました。
堅牢性: 他の手法が諦めてしまうような、困難で乱れたデータセットに対しても、クラッシュしたり失敗したりすることはありませんでした。
汎用性: 訓練時よりも変数の多いデータセット（例えば、50個の変数のパズルから100個の変数のパズルへ）でテストした場合でも、精度はわずかに低下するものの、崩壊することなく機能し続けました。

要約すると、 FoundCauseは、何百万もの架空のケースから学習した「スーパー探偵」です。目に見えない黒幕を見つけ出し、壊れたカメラにも対応でき、毎回ゼロから作り直すのではなく、学んだパターンを適用することで、新しい謎を瞬時に解決するのです。

技術要約: FoundCause

問題提起

観測データからの因果探索は、機械学習および統計学における根本的な課題である。核心的な困難は、制御された介入へのアクセスなしに、指向性のある因果構造と潜在的な交絡（latent confounding）をいかに復元するかにある。古典的な手法（例：制約ベースのPC、スコアベースのGES、およびNOTEARSのような連続最適化アプローチ）は理論的根拠はしっかりしているものの、重大な限界を抱えている。具体的には、データセットごとに高コストな最適化が必要であり、ハイパーパラメータや分布の仮定に対して敏感であり、高次元または不均質なデータ領域へのスケーリングに失敗することが多い。さらに、因果探索は一般に、線形性、加法的ノイズ、あるいは忠実性（faithfulness）といった強い仮定なしには識別不可能であり、これらの仮定は現実世界のシナリオでは頻繁に破られている。

近年のアバート化（amortized）アプローチは、データセットをグラフに直接マッピングするモデルを合成データで訓練することで、スケーラビリティの解決を試みてきた。しかし、既存のニューラル手法は、因果関係の非対称性や高次の構造パターン（連鎖、合流点）といったドメイン固有の因果的帰納バイアスを明示的に組み込むことができておらず、潜在的な交絡を明示的にモデル化することにも失敗している。

手法: FoundCause

FoundCauseは、観測データセットから因果グラフ（指向性エッジおよび潜在的交絡行列の両方）を単一のフォワードパスで直接マッピングするように設計された、アバート化された因果探索モデルである。このモデルは、合成的な構造的因果モデル（SCM）を用いて完全に訓練されており、データセットごとのチューニングなしに現実世界のデータへと汎化する。

アーキテクチャ

アーキテクチャは、置換不変なTransformerと、明示的な統計的帰納バイアスを組み合わせたハイブリッド設計である。

入力表現: モデルはデータ行列 $X \in \mathbb{R}^{N \times D}$ と、オプションのバイナリ観測マスク $M$ を受け取る。各エントリーは、正規化された値と観測ステータスを含む2チャンネルのベクトルとして表現され、これによりモデルは補完処理を行うことなく欠損データをネイティブに扱うことができる。
軸分解エンコーダ (Axis-Factorized Encoder): コアとなるエンコーダは、サンプル（ $N$ $N$ ）と変数（ $D$ $D$ ）に対して交互にアテンションを適用するTransformerを利用する。
- 変数アテンション (Variable-Attention): 学習可能なグローバル・トークンと、統計条件付きバイアス (stat-conditioned bias) を組み込んでいる。このバイアスは、古典的な非対称性の尺度（例：相関、残差分散の非対称性、V構造指標）から導出されたペアワイズの統計的特徴をアテンションメカニズムに直接注入し、モデルを既知の因果シグナルへと導く。
- サンプルアテンション (Sample-Attention): サンプル間で情報を集約し、分布の特性を捉える。
プーリング (PMA): マルチヘッドアテンションによるプーリング（PMA）メカニズムが、サンプルレベルの埋め込みを変数ごとの表現へと集約し、マルチモダリティのような高次の分布特性を捉えるために最大プーリングを組み合わせる。
分解エッジデコーダ (Factored Edge Decoder): 予測ヘッドは、エッジの存在とエッジの方向を分離する：
- 存在ヘッド (Existence Head): 対称的な特徴（埋め込みの和、要素ごとの積、および交絡スコア）を用いて、エッジが存在するかどうかを予測する。
- 方向ヘッド (Direction Head): 非対称的な特徴（埋め込みの差およびゲート付き非対称統計量）を用いて、向きを予測する。
三角形の精緻化 (Triangular Refinement): AlphaFold2に着想を得た精緻化モジュールが、変数トリプル $(i, k, j)$ に対して $R$ ラウンドの更新を行う。これにより、高次の因果モチーフ（連鎖、フォーク、合流点）を推論し、マルコフ同値類を解決することを可能にする。
交絡モジュール (Confounder Module): 専用のモジュールが、学習可能な潜在トークンを使用して隠れた共通原因をモデル化する。これは、変数トークンのローディングのNoisy-OR集約を介して、ペアワイズの交絡確率を計算し、対称的な交絡行列 $\hat{C}$ を生成する。

訓練と損失関数

モデルは、DoWhyおよびカスタムジェネレータを介して生成された、多様なグラフトポロジー、非線形メカニズム、およびノイズ分布を網羅する数千の合成SCMを用いて訓練される。主な訓練戦略は以下の通りである：

連続的な再生成 (Continuous Regeneration): 固定されたコーパスへの過学習を防ぐため、エポックごとに合成データを再生成する。
アンチ・ショートカット拡張 (Anti-Shortcut Augmentation): 変数のインデックスのランダムな置換やサブポピュレーションの混合を行い、モデルが偽の相関（例：変数の順序）に依存することを防ぐ。
損失関数: 指向性エッジに対するクラスバランス・バイナリクロスエントロピーと、いくつかの補助項を組み合わせる：
- 方向キャリブレーション ( $L_{cal}$ ): 反対方向のロジット間の極端なギャップを制限する。
- スケルトン監督 ( $L_{skel}$ ): 隣接関係に対して方向に依存しない監督を行う。
- 交絡損失 ( $L_{conf}$ ): 潜在的な交絡モジュールを監督する。
- スパース性と正則化: 過度に密なグラフに対するペナルティ、およびプーリング/ゲーティングメカニズムに対する正則化。

主な貢献

明示的な潜在的交絡のモデリング: FoundCauseは、専用の学習可能トークンを使用して潜在的な交絡を明示的にモデル化し、指向性有向非巡回グラフ（DAG）と対称的な交絡行列の両方を出力する、最初のアバート化された因果探索アプローチである。
統計的帰納バイアス: ジェネリックなニューラルアーキテクチャとは異なり、FoundCauseは古典的なペアワイズ統計特徴（非対称性、V構造）をアテンションメカニズムとデコーディングプロセスに直接注入し、古典的な因果探索の原理とディープラーニングを橋渡しする。
三角形の精緻化: 三角形ベースの精緻化モジュールの導入により、モデルは高次の因果モチーフを推論できるようになり、マルコフ同値構造の解像度を向上させる。
ネイティブな欠損データ処理: アーキテクチャはマスクされた入力をネイティブに処理するため、古典的なベースラインで使用される補完法によって導入されるバイアスを回避できる。
ゼロショット汎化: モデルは、訓練範囲（ $D \in [2, 50]$ ）を超える変数数（ $D$ ）およびサンプルサイズ（ $N$ ）に対して堅牢な汎化性能を示す。具体的には、 $D=100$ までのデータセットにおいて性能を維持する。

実験結果

FoundCauseは、15の実世界および準現実的なベンチマーク（ASIA, CHILD, SACHS, PETSHOPを含む）およびTübingenの因果ペアベンチマークを用いて評価された。

パフォーマンス: FoundCauseは、11の古典的な非アバート化手法（例：PC, GES, NOTEARS）および4つのアバート化手法（例：AVICI, CSIvA, SEA）を凌駕した。
- 最強の非アバート化手法に対し、F1スコアで+9.6%、AUROCで+1.2%の改善を達成した。
- 最良の古典的ベースラインと比較して、構造ハミング距離（SHD/d）を18.9%削減した。
- F1、AUROC、SHD/dのすべてでトップランクを獲得しつつ、15/15の全データセットで推論を正常に完了できた唯一の手法である（一部の古典的手法は、密なグラフにおいてタイムアウトまたは失敗した）。
二変量方向: Tübingenベンチマークにおいて、FoundCauseは特化した二変量手法（SLOPLY, HECI）の性能に迫り、古典的なベースラインであるICA-LiNGAMを大幅に上回った。
堅牢性: 30%のMissing At Random (MAR) による破損条件下において、FoundCauseはクリーンデータのF1スコアの92%を維持したが、平均補完に依存する古典的手法は著しく低下した。
効率性: 推論は平均2秒未満の単一フォワードパスで行われ、最適化ベースの手法に要する数時間と比較して極めて高速である。

意義と主張

本論文は、FoundCauseがスケーラブルで実用的な因果探索に向けた重要な一歩であることを主張している。構造的な帰納バイアスを用いたアバート化推論を組み合わせることで、古典的手法の理論的保証とニューラルアプローチのスケーラビリティの間のトレードオフに対処している。

著者らは、FoundCauseが新しい識別性の保証に依存しているのではなく、幅広いデータ生成プロセスにおいて良好に機能する実用的な推論手順を学習していることを強調している。潜在的な交絡を明示的にモデル化できること、および欠損データをネイティブに扱えることが、実世界への適用における決定的な進歩として強調されている。本研究は、応用的な因果分析のための実用的なツールとして、また因果推論をネイティブに取り込む将来のモデルの基礎として、FoundCauseを位置づけている。著者らは、再現性をサポートするためにモデルのオープンソース化を計画している。