Learning a directed acyclic graph with additive heteroscedastic errors

技術的概要：加法性ヘテロスケダスティック誤差を伴う有向非巡回グラフの学習

問題定義
本論文は、構造方程式モデル（SEM）における加法性ヘテロスケダスティック誤差を用いた観測データ下での、有向非巡回グラフ（DAG）の因果発見の課題に取り組む。既存の手法はしばしば、等分散性（一定の分散）の仮定や特定の誤差分布（例：LINGAM などの非ガウス線形モデル）に依存しているが、実世界のデータは頻繁に、ノイズ分散が親変数に依存するヘテロスケダスティック性を示す。文献における重要なギャップは、特に従来の識別可能性の結果がしばしば失敗する有界変数において、これらの分散信号を効果的に活用する多変量因果発見手法が欠如している点にある。さらに、ヘテロスケダスティックな設定における尤度ベースの手法はパラメトリックな誤指定を受けやすく、独立性検定に基づく手法は高次元において困難に直面するか、またはサンプル分割を必要とする。

手法：RESQUE
著者は、DAG のトポロジカル順序とグラフ構造を復元するために設計された新しい反復手順である「残差同時分位推定（RESQUE）」を提案する。この手法は、位置・スケールノイズモデルの下で動作する：
$$X_j = f_j(X_{PA(j)}) + g_j(X_{PA(j)})\varepsilon_j$$
ここで、ノイズ項 $\varepsilon_j$ は親変数と独立であるが、そのスケール $g_j(\cdot)$ は親変数に依存し得る。

RESQUE アルゴリズムは、各反復において 2 つの主要な段階で進行する：

1. 残差の構築: 平均関数 $f_j$ を推定するために最小二乗回帰を行い、残差を導出する。次に、絶対残差の対数を計算し、問題を変換して条件付きスケール関数の推定へと移行する。
2. 複合分位回帰: 変換された残差に対して、複数の分位レベル（$\tau_1, \dots, \tau_K$）でペナルティ付き複合分位回帰を適用する。
   • シンクノードの同定: 核心的な洞察は、シンクノード（子を持たないノード）において、条件付きスケール係数が異なる分位レベル間で不変であるという点である。アルゴリズムは、すべての分位にわたって推定された係数ベクトルが同一の値に収束するかどうかをチェックすることで（等性を促すペナルティ項を使用して）、シンクノードを同定する。
   • 反復的除去: 同定されたシンクノードをグラフから除去し、残りの部分グラフに対してこのプロセスを繰り返す。この再帰的除去により、シンクからソースへと向かうトポロジカル順序が復元される。
   • グラフ構造の復元: 順序が確立されると、手法は平均成分と分散成分の両方に対して変数選択（折りたたみ凹ペナルティまたはハードしきい値処理を通じて）を用いて、特定の有向エッジを同定する。

主要な貢献

1. 新しい識別可能性の結果: 本論文は、加法性ヘテロスケダスティック誤差を伴う DAG に対する理論的な識別可能性を確立する。重要なのは、有界変数と無界連続変数の両方に対する理論を統合している点である。著者は、有界変数間の因果発見が、無界変数よりも緩やかな条件を必要とすることを示しており、無界なサポートを必要とせずに識別可能性を確保するために境界の性質を利用している。
2. 新しい推定手順（RESQUE）: 著者は、分位間での条件付きスケール係数の不変性を利用してシンクノードを同定する反復フレームワークを導入する。このアプローチは、尤度最適化の必要性を回避し（パラメトリック誤指定を避ける）、独立性検定を特徴選択問題へと変換することで、サンプル分割と高次元独立性検定の落とし穴を回避する。
3. 理論的保証: 本論文は、トポロジカル順序とグラフ構造の両方に対する一貫性の結果を提供する。スパース性の仮定が成り立てば、変数の数がサンプルサイズとともに発散する場合でも、RESQUE が真の DAG を一貫して復元することを証明している。

実証結果
RESQUE の性能は、シミュレーション研究と実データベンチマークを通じて評価された：

• 合成データ: 低次元および高次元（最大 $p=100$）の両方の設定において、RESQUE は偽発見率（FDR）と真陽性率（TPR）の点で既存の手法（CAM、rank-PC、TL、NOTEARS）を上回った。これは、さまざまなグラフ構造（ランダム、ツリー、スケールフリー）および誤差分布（一様、ベータ、ガウス）において頑健であることを示した。特に、NOTEARS は低い FDR を示したが、標準化後の高次元設定ではほぼゼロの TPR に苦しんだのに対し、RESQUE は高い精度を維持した。
• Sachs のフローサイトメトリーデータセット: 11 種類のタンパク質のデータセットに適用した結果、RESQUE は 20 個のコンセンサスエッジのうち 13 個を同定し、比較対象の手法の中で最高の TPR と最低の構造ハミング距離（SHD）を達成した。分析により、正しく同定されたエッジの 4 つは分散成分を通じてのみ検出されたことが明らかになり、ヘテロスケダスティック性に符号化された因果情報を抽出する手法の能力が浮き彫りになった。
• CauseEffectPairs コレクション: 99 組の単変量ペアのコレクションにおいて、RESQUE は 71.1% の精度を達成し、CAM（56.7%）や NOTEARS（25.8%）などの競合他社を大幅に上回った。著者は、線形手法の失敗を、データに存在する非線形性とヘテロスケダスティック性に起因すると帰している。

意義と主張
本論文の主張する中核的なメッセージは二重である：第一に、有界変数はヘテロスケダスティック SEM の識別可能性を促進するということ、第二に、ヘテロスケダスティックなパターンに埋め込まれた構造化された因果信号は、多変量因果発見のために体系的に活用されるべきであるということである。平均ベースのモデリングを超えて、RESQUE はパラメトリック誤指定に対して頑健であり、分散が重要な因果方向情報を符号化する高次元設定において効果的な、因果発見のための原理的な枠組みを提供する。著者は、この作業を、分散が単なるノイズではなく因果信号の源であるような、複雑な実世界のデータ構造を処理できる自動化された学習および推論システムの構築に向けた一歩として位置づけている。