技術的サマリー：文脈内表データ予測のための因果順序の学習

1. 問題定義

Tabular Foundation Models (TFM) などの文脈内学習アーキテクチャは、大規模な事前学習を活用することで表データにおいて強力な予測性能を達成しています。しかし、これらのモデルは主に連関的であり、明示的な因果の方向性ではなく相関構造に依存しています。その結果、分布のシフトや介入の下では予測が不安定になる可能性があります。なぜなら、それらは一般化しない非因果的な統計的連関を利用する可能性があるからです。

確立された因果発見手法は有向非巡回グラフ (DAG) を復元するために存在しますが、これらはしばしばデータセット固有であり、計算集約的で、現代の予測アーキテクチャから切り離されています。一方、最近の償却型因果発見アプローチは、合成グラフ上での教師あり学習に依存しており、真の因果ラベルを必要とします。欠損データや介入を処理できる、教師なしの文脈内学習フレームワークにおいて、因果構造の発見を予測アーキテクチャに体系的に統合するギャップが存在します。

2. 手法：TABORDER

著者は、因果変数の順序を同時に推論し、頑健な予測を行うように設計されたトランスフォーマーベースのアーキテクチャであるTABORDERを提案します。中核的な革新は、因果順序制約付きアテンションの使用です。

アーキテクチャ設計

TABORDER は、欠損エントリがマスク $M$ で示されるデータセット $D$ を処理するデュアルトランスフォーマーシステムとして機能します：

1. 埋め込み：各セル $x_i^{(r)}$ とその欠損インジケーターは、ベクトル表現に埋め込まれます。
2. 順序推論ブランチ：標準的なマルチヘッド自己アテンショントランスフォーマーが埋め込みを処理し、各変数 $X_i$ に対してスカラースコア $s_i$ を推論します。低いスコアは因果順序におけるより早い位置を示します。これらのスコアは行全体で平均化され、グローバルな順序 $\hat{\pi}$ を生成します。
3. 順序制約付き予測ブランチ：2 番目のトランスフォーマーが各セルの条件付き分布をモデル化します。決定的な点は、列方向のアテンションが学習されたスコア $s$ から導出されたマスクによって制約されることです。具体的には、変数 $X_i$ は $s_j \leq s_i$ である変数 $X_j$ のみにアテンションを向けることができます。これにより、結合分布の順序付き分解が強制されます：
   $$p_\theta(x^{(r)} | D, \pi) = \prod_{k=1}^d p_\theta(x_{\pi(k)}^{(r)} | x_{\pi(1:k-1)}^{(r)}, D)$$
   これにより、モデルがターゲットを予測する際に「反因果的」な特徴（将来の原因）を使用することが防がれ、偽の相関に対する感度が低下します。

欠損データと不確実性の処理

このモデルは、因果親における欠損を明示的に考慮します。加性ノイズモデル (ANM) の仮定 ($X_i = f(X_{pa(i)}) + N_i$) の下で、モデルは条件付き平均 $\hat{\mu}$ と分散 $\hat{\sigma}^2$ をデコードします。

• 分散の増加：因果親が欠損している場合、モデルは学習可能な量 $\delta_{i,j}$ だけターゲット変数の予測分散を増加させます。これは、関連する入力が観測されていないときの不確実性の増大を捉えます。
• 学習目的：モデルは、マスクされたエントリの対数尤度を最大化することによってエンドツーエンドで学習されます。この目的は順序学習と予測を結合します：マスクされたデータをよりよく説明する順序（残留分散を最小化する順序）は、より高い尤度を受け取ります。

理論的正当性

著者は、加性ノイズモデル (ANM) のフレームワークの下で尤度ベースのアプローチを正当化します。彼らは、因果的加性モデルにおいて、尤度最適化された順序は、真の基礎となる DAG のトポロジカル順序と整合的であることを示します。さらに、彼らは欠損認識尤度非対称性に関する定理を証明します：分散の増加を介して欠損を考慮することは、正しい因果方向と誤った方向との間の尤度ギャップを増幅し、欠損データが存在する場合でも因果順序の同定を容易にします。

3. 主要な貢献

1. 因果発見と予測の統合：TABORDER は、予測トランスフォーマーフレームワーク内で教師なしで因果順序を推論することにより、因果構造学習と文脈内表データ予測の間のギャップを埋めます。
2. 順序制約付きアテンション：学習された因果順序において先行する変数への情報の流れを制限する、微分可能な学習済みアテンションマスクの導入により、予測が潜在的原因のみに依存することを保証します。
3. 欠損認識因果学習：因果親における欠損が明示的に予測分散を増加させるメカニズムの設計は、理論的および実証的に因果方向の区別を支援します。
4. 教師なし学習：償却型因果発見手法とは異なり、TABORDER は学習中に真の因果グラフを必要としません。これは、マスクされたデータ上の尤度最大化を通じてのみ最適な順序を学習します。

4. 実験結果

著者は、既知の因果構造を持つ合成データと実世界のベンチマークで TABORDER を評価しました。

• 因果順序推論：非線形ガウス過程 ANM から生成された合成データにおいて、TABORDER は専門的な因果発見アルゴリズム（CAM、SCORE、NOTEARS など）と同等のトポロジカル発散 ($d_{TOP}$) を達成しますが、単一のフォワードパスを通じてほぼ瞬時に順序を推論します。実世界の Sachs タンパク質シグナリングデータセットにおいて、TABORDER はコンセンサスグラフと比較して低い発散 ($d_{TOP} \approx 0.21$) で因果順序を発見し、他のベースラインを上回りました。
• 予測性能と補完：欠損値補完タスク（OpenML CC18 および CTR23 ベンチマーク）において、TABORDER は特に高い欠損率 ($\geq 40\%$) で競争力のある性能を達成し、KNN、MICE、GAIN などの標準的な手法を上回りました。
• 介入への頑健性：$Y \to Z$ メカニズムに対する介入を伴う 3 変数の連鎖 ($X \to Y \to Z$) において、TABORDER は $X$ と $Z$ が与えられたときの媒介変数 $Y$ の正確な予測を維持します。対照的に、標準的な TFM（TABPFN など）や XGBoost は、$Y$ と $Z$ の間の壊れた非因果的連関に依存するため、著しく劣化します。
• 生物学的洞察：Sachs データセットにおいて、さまざまな介入条件下で、TABORDER は生物学的に妥当な再編成を反映する順序を推論します。例えば、上流の介入（例：PKC 阻害）は推論された順序にグローバルな変化をもたらすのに対し、下流の介入は局所的な変化をもたらします。これは既知のシグナル伝達経路のダイナミクスと一致します。

5. 意義と主張

この論文は、因果の方向性を明示的にモデル化することにより、分布のシフトや介入に対して表データの文脈内学習をより頑健にするための原理的なアプローチとして TABORDER を提供すると主張しています。

• 頑健性：学習された因果順序における先行変数のみに予測を依存させることで、モデルは介入の下で失敗する偽の相関を利用することを回避します。
• 効率性：データセットごとに最適化問題を解く古典的な因果発見とは異なり、TABORDER は単一のフォワードパス内で効率的に構造を推論するため、下流タスクに対してスケーラブルです。
• 理論的基盤：この研究は、標準的な ANM 仮定の下で、欠損データ存在下での尤度最大化が因果発見の代理となり得ることを確立し、教師なし順序学習の理論的基盤を提供します。

著者は限界を認め、現在の実装は完全な DAG ではなくトポロジカル順序に焦点を当て、実数値特徴を仮定していることを指摘しています。彼らは、この手法が頑健である一方で、推論された構造はドメイン検証を必要とする仮説であり、将来の研究ではより豊かな学習事前分布や混合タイプデータを探求できる可能性を提案しています。