技術要約：Leave-One-Variable-Outによる因果探索の交差検証

問題提起

本論文は、グラウンドトゥルース（正解）が存在しない状況下での、因果探索アルゴリズムのベンチマークおよび反証に関する極めて重要な課題に取り組んでいる。シミュレーションデータを用いた広範な評価は存在するものの、信頼できるベンチマークが欠如しているため、研究者は実世界のアプリケーションにおいてどの手法が最適であるかを判断するのに苦慮している。既存の「自己適合性」チェック（例：Faller et al., 2024）は、部分集合と全集合間での出力の不一致を定量化するが、アルゴリズムの結果を決定的に拒絶するための連続的かつ最適化可能な指標を欠いている。さらに、検証のために介入データを活用することは、コストと複雑さの観点からしばしば非現実的である。

著者らは、学習フェーズで明示的に除外された変数間の統計的関係を予測する能力をテストすることによって、因果探索アルゴリズムを評価する新しいフレームワークを提案している。Leave-One-Variable-Out (LOVO) と呼ばれるこのアプローチは、保持された変数ペア $(X, Y)$ に対して、周辺データセット $(X, Z)$ および $(Y, Z)$ のみを用いて、学習された因果モデルがその依存関係を正常に推論できるかどうかを判定することを目的としている。

手法

コア概念：LOVO予測

変数集合 $W = \{X, Y, Z_1, \dots, Z_k\}$ が与えられたとき、この手法は以下の手順で行われる：

1. データ分割： ペア $(X, Y)$ を除外した2つの「Leave-one-out」データセット $D_{XZ}$（$X$ と $Z$ を含む）および $D_{YZ}$（$Y$ と $Z$ を含む）を作成する。
2. 因果学習： $D_{XZ}$ および $D_{YZ}$ に対して個別に因果探索アルゴリズムを適用し、周辺因果グラフ $G_X$ および $G_Y$ を得る。
3. 推論： $G_X$ と $G_Y$ を用いて結合因果構造 $G$ を推論し、続いて $X$ と $Y$ を同時に観測することなく、条件付き期待値 $E[Y | X = x]$ または相関 $\rho_{XY}$ を推定する。
4. 評価： LOVO予測を真の結合分布 $P(X, Y)$（反証の目的のために利用可能）と比較し、連続的な予測誤差を算出する。この誤差は、因果探索アルゴリズムの信頼性を示す指標となる。

理論的基礎

論文では、確率法則のみでは一般にLOVO予測は不可能であること（補題1）が示されている。これは、周辺分布 $P(X, Z)$ と $P(Y, Z)$ が $P(X, Y)$ を一意に決定しないためである。しかし、因果モデルはこの曖昧さを解消するために必要な帰納バイアスを提供する。

著者らは、2つの主要なLOVO予測器を提案している：

1. グラフ的手法（Parent Adjustment）：

   • 有向非巡回グラフ (DAG) または 有向非巡回混合グラフ (ADMG) を出力する一般的なアルゴリズムに適用可能。
   • エッジの除外： 補題2および3は、周辺グラフ $G_X$ と $G_Y$ のみに基づいて、$X$ と $Y$ が連結されていない（すなわち、両者の間にエッジが存在しない）ことを判断する基準を提供している。
   • 予測： $X$ と $Y$ が連結されていない場合、彼らの親の集合 ($Z_S$) は d-分離（または m-分離）集合として機能する。予測器は親調整（parent adjustment）を通じて構築される：
     $$P(y|x) = \sum_{z_S} P(y|z_S)P(z_S|x)$$
   • これは、$P(Y|Z)$ から予測器を学習し、人工的なペア $(x, \hat{y})$ を生成し、最終的な予測器 $P(Y|X)$ を学習するという3ステップの手順で実装される。

2. モデル特化型手法（LiNGAM）：

   • 線形非ガウス非巡回モデル (LiNGAM) を仮定するアルゴリズムに特化している。
   • $X$ と $Y$ の間のエッジタイプが特定可能であり（たとえ連結されていても）、特定の子集合条件が満たされる場合、構造行列 $\Lambda$ は周辺分布から一意に特定できる。
   • これにより、モデルの仮定が成立する限り、直接的な因果リンクが存在する場合でも、構造を再構成して $P(X, Y, Z)$ および $E[Y|X]$ を推定することが可能となる。

ベースライン比較

因果情報が真に有用であることを保証するため、論文ではMaxEntベースライン予測器を導入している。この予測器は $X \perp\!\!\perp Y | Z$（周辺分布に対する最大エントロピー）を仮定し、$P_{MaxEnt}(y|x) = \sum_z P(y|z)P(z|x)$ という式を用いる。LOVO誤差は、このベースラインに対して評価される。因果アルゴリズムが成功したとみなされるのは、そのLOVO誤差がベースラインの誤差よりも有意に低い場合である。

主な貢献

1. LOVO交差検証フレームワーク： 変数ペアの予測を、モデルの汎化能力（「変数外汎化」）のテストとして扱うことで、グラウンドトゥルースなしで因果探索アルゴリズムを反証する新しい手法。
2. 実現可能性のための理論的条件： 周辺グラフに基づき、エッジを除外できるケースと構造方程式パラメータを回収できるケースを区別しながら、LOVO予測が実行可能である条件を詳述する形式的な証明（補題2、3、および定理4、5）。
3. 連続的評価指標： 従来の離散的な不一致指標とは異なり、LOVOは連続的な予測誤差を提供する。これにより、因果探索アルゴリズムの最適化と厳格な拒絶基準の確立が可能になる。
4. ディープラーニングへの拡張： 著者らは、トランスフォーマーベースのエンコーダを含むディープラーニングアーキテクチャが、明示的なパラメトリック仮定なしに、周辺データセットから相関を予測するように適応できることを示し、MaxEntベースラインを上回る性能を発揮することを示した。

実験結果

著者らは、手法を検証するために広範なシミュレーションを実施した：

• 実現可能性： ランダムグラフ（Erdős–Rényi DAGおよびADMG）において、グラフの補題は大部分のケースで連結されていないペアを正常に特定し、LOVO予測を可能にした。
• パフォーマンス： 真の周辺グラフが与えられた場合、Parent AdjustmentおよびLiNGAMベースのLOVO予測器は、いずれもMaxEntベースラインを大幅に上回った。
• 精度との相関： 因果探索アルゴリズム（DirectLiNGAMおよびRepetitive Causal Discovery）に適用した際、LOVO予測誤差は以下の項目と正の相関があることが判明した：
  • 誤識別されたエッジの頻度（特に、連結されているペアを連結されていないと誤認すること）。
  • 学習されたグラフの構造ハミング距離 (SHD)。
  • Spearmanの相関係数は有意であり、高いLOVO誤差は因果探索の精度の低下を確実に示唆している。
• ディープラーニング： 周辺データセットで学習されたカスタムのディープラーニングアーキテクチャは、相関を予測することに成功し、ベースラインを上回った。これは、モデルが因果表現を暗黙的に学習していることを示唆している。

意義と主張

本論文は、LOVO交差検証が、グラウンドトゥルースなしで因果探索アルゴリズムを評価するための厳格なメカニズムを提供すると主張している。予測誤差が学習された因果構造の精度と相関していることを示すことで、著者らは、グラウンドトゥルースが得られない実用的なアプリケーションにおいて、LOVOが因果探索手法を選択するための信頼できるベンチマークとして機能できると論じている。

本研究は、因果モデルが、共に観測されていない変数ペア間の依存関係を「補間」することを可能にする能力（これは標準的な統計学習とは異なる能力である）を強調している。著者らは、LOVOをすべての検証手法に代わるものとしてではなく、特に介入データへのアクセスが困難なシナリオにおける因果仮説の「自己チェック」のための不可欠なツールとして位置づけている。なお、論文では、LOVO予測が常に可能であるわけではないこと（例：小さなグラフや特定の構造的構成の場合）、および、この手法が忠実性（faithfulness）の仮定および基礎となる因果探索アルゴリズムの出力形式（DAG/ADMG）の正しさに依存していることを認め、控えめな姿勢を維持している。