技術要約: TabCausal

問題提起

因果探索（Causal discovery）は、観測データおよび介入データから指向性のある因果関係を復元することを目的としており、これは生物学、地球科学、金融などの分野におけるメカニズムの理解と信頼できる意思決定において中心的な課題である。古典的な手法（制約ベース、スコアベース、関数ベース）は、特定の仮定と十分なデータがある場合には効果的であるが、限定的なモデリング条件やデータセット固有の最適化を必要とするため、複雑、非線形、高次元、またはデータが限られたレジームでは苦戦することが多い。

近年の因果探索基盤モデル（CDFM）構築の取り組みは、この推論プロセスを定式化し、単一のフォワードパスでデータセットから因果グラフへと直接マッピングすることを目指している。しかし、既存のCDFMは、強力な古典的ベースラインに一貫して匹ッチすることに失敗している。著者らは、その主要なボトルネックとして「因果事前学習タスクの構築」を特定した。狭い合成ジェネレータは、モデルを特定のグラフ事前分布、構造的メカニズム、またはノイズ分布に限定してしまい、転移可能な構造的帰納バイアスの獲得を妨げている。

手法: TabCausal

著者らは、狭い事前学習の限界を「広範な因果事前学習（broad causal pretraining）」フレームワークを通じて克服するために設計された、データ駆動型CDFMであるTabCausalを提案する。

1. 広範な因果事前学習エンジン

単一のシミュレータレシピに依存する代わりに、TabCausalは膨大な数の因果環境からサンプリングする動的なタスク構築エンジンを利用する。各事前学習エピソードは、以下の構成要素 $z$ を含む構成を描画する：

• グラフ事前分布: Erdős-Rényi、Scale-Free、Clustered、Hub-Spoke、Layered、および様々な構造化ファミリー（例：ワークフローグラフ、リスク・ルート・フォーク）。
• 構造的メカニズム: 線形加法、不均一分散線形、Random Fourier Features (RFF) 加法、MLPベース（単純および困難なレジーム）、乗法的、多項式、ポスト非線形、および様々な単調/ヘビーテイル・メカニズムを含む多様なライブラリ。
• ノイズモデル: Gaussian、Laplace、Cauchy、Uniform、Exponential、Gumbel、Student-t、および非対称/混合分布。
• レジーム: 観測のみの設定、および観測と介入が混在する設定の両方。
• 次元とサンプルサイズ: スケールに対する堅牢性を確保するための、可変的なグラフサイズ ($d$) およびサンプル数 ($N$)。

このエンジンは、既知の有向非巡回グラフ（DAG）を持つ構造的因果モデル（SCM）を生成し、オプションの介入マスクを備えた表形式データを出力する。これにより、モデルがデータと介入インジケータからエッジ確率を予測するという教師あり学習タスクが作成される。

2. モデルアーキテクチャ

TabCausalは、表形式データに最適化されたトランスフォーマーベースのエンコーダ・デコーダ・アーキテクチャを採用している：

• 入力: 観測値とバイナリ介入インジケータをスタックしたテンソル $X \in \mathbb{R}^{N \times d \times 2}$。
• エンコーダ: 共有線形マップが値とインジケータのペアを埋め込む。コア部分は、$L$ 個のブロックで構成され、特徴軸に対する**軸方向アテンション（axial attention）**とサンプル軸に対するアテンションが交互に適用される。この設計は、行内の変数間の依存関係と、列内のサンプル間の規則性の両方を捉える。
• プーリングとヘッド: エンコーダの出力は、特徴トークンを得るためにサンプル方向に最大プーリングされる。学習可能な親および子の投影 ($W_p, W_c$) が適用され、学習可能な温度とバイアスを伴う正規化コサイン類似度を介してエッジスコアが計算される。出力は、指向性エッジ確率の行列 $\hat{P} \in (0, 1)^{d \times d}$ である。
• 推論: モデルは、データセットごとの再学習や最適化を行うことなく、単一のフォワードパスで償却推論（amortized inference）を実行する。

3. セマンティック因果環境ベンチマーク

抽象的な合成ジェネレータと現実的な推論の間のギャップを埋めるために、著者らはセマンティック因果環境ベンチマークを導入している。

• 構築: 人間が指定したドメイン・ブループリント（例：ヘルスケア、金融、都市輸送）が、メカニズムのテンプレートと制約を定義する。LLM支援による生成プロセスが、意味のある変数、エッジの根拠、および介入ハンドルを備えたシナリオ仕様をインスタンス化する。
• 検証: 仕様は整合性監査を受け、シミュレータ既知のDAGを持つSCMへとコンパイルされる。
• 範囲: 10のテーマドメイン、100のシナリオ、および200のデータセット・レジーム・タスク（観測および混合介入）を含み、キュー圧迫、検出失敗、プロキシ解釈といった特定の「失敗モチーフ」を特徴とする。

主な結果

合成ベンチマーク

7つの異種合成ファミリー（GPベースの非線形、線形、および乗法的ノイズを含む）において、グラフサイズ $d \in \{5, 10, 20\}$ にわたって評価を行った：

• 全体的な性能: TabCausalは、観測および混合介入レジームの両方において、最高のマクロ平均ランクを達成した。
• 介入による利得: 本モデルは、介入のエビデンスが利用可能な場合に特に強力な性能向上を示し、適用可能な手法の中で最高の集計F1、構造的ハミング距離（SHD）、および構造的介入距離（SID）を達成した。
• 比較: 古典的なベースライン（PC, GIES, LiNGAM, NOTEARS）および他の償却手法（AVICI, SEA, SDCD）を上回る性能を示した。

セマンティック・ベンチマーク

ドメインに基づいたセマンティック・ベンチマークにおいて：

• 観測: TabCausalは、適用可能な手法の中で2番目に優れたF1と最低のSHDを達成し、GIESに匹敵する性能を示した。
• 混合介入: TabCausalは、最強のF1、SHD、およびSIDを達成し、セマンティックに根ざしたシナリオにおける介入マスクの有効な活用を実証した。
• 堅牢性: 性能は多様な失敗モチーフ（例：測定失敗、キュー圧迫）にわたって高い水準を維持しており、特定のセマンティック・パターンを超えた汎化能力を示している。

スケーリングと分析

• サンプルサイズ: TabCausalはサンプルサイズの増加から大きな恩恵を受けており、特に非線形タスクにおいて、中規模から大規模なサンプルレジームで最も強力な手法の一つとなる。
• 高次元: 高次元設定 ($d \in \{50, 100, 300\}$) においても競争力を維持しており、多くの最適化ベースのベースラインがタイムアウトまたは失敗する領域でも機能する。
• 埋め込み: 学習された埋め込みの可視化は、モデルがデータの因果セマンティクスと一致する機能的役割の構造（例：上流のドライバー vs 下流の結果）を捉えていることを明らかにしている。
• 効率性: TabCausalは単一のフォワードパス（$d=100$ で約0.9秒）で推論を行い、5分間のタイムアウトを超えることが多い反復的な最適化ベースの手法よりも大幅に高速である。

意義と主張

本論文は、因果事前学習環境の規模、多様性、および構築戦略こそが、因果探索基盤モデルにおける決定的なボトルネックであると主張している。単に予測器をスケールさせることから、モデルが学習するための「因果の世界」を設計することへと焦点を移すことで、TabCausalは、広範な因果事前学習が転移可能な償却因果探索のための重要な要素であることを実証している。

著者らは以下のことを主張している：

1. 広範な事前学習は不可欠である: アブレーション研究により、事前学習分布を拡張すること（強事前分布 vs 弱事前分布）が大幅な性能向上をもたらすことが確認され、多様な因果環境が汎化を促進することを検証している。
2. 償却推論は実行可能である: TabCausalは、単一パスの推論による堅牢な構造復元を実現しており、重い最適化ベースの手法に対する軽量な代替案を提供する。
3. セマンティックな接地（Semantic Grounding）が重要である: セマンティック・ベンチマークの導入は、より厳格で解釈可能なOOD（分布外）評価を提供し、モデルの利点が明示的なドメイン・セマンティクスと現実的なボトルネックを持つシナリオにも及ぶことを示している。

論文は、エビデンスが合成およびシミュレータ制御下のセマンティック環境に基づいていることを述べ、実世界への展開に関する謙虚な姿勢を維持している。また、観測の曖昧さ、高次元スケーリング、および隠れた交絡、循環フィードバック、または時間構造の処理に関する課題が残っていることも認めている。