Differentiable Cyclic Causal Discovery Under Unmeasured Confounders

技術要約：未観測の交絡因子が存在する微分可能な循環的因果探索

問題提起
因果探索は、変数間の直接的な因果関係を表す有向グラフ構造を推論することを目的としている。既存のアルゴリズムは通常、以下の2つの制約的な仮定に基づいている。(i) 基盤となる因果グラフが有向非巡回グラフ（DAG）であること、および (ii) すべての変数が観測されていること（未観測の交絡因子が存在しないこと）。これらの仮定は、生物学的ネットワークのように、フィードバックループ（サイクル）や隠れた交絡因子が存在する実世界のシステムにおいて、頻繁に破られる。一部の手法はサイクルに対処し、他の手法は交絡因子に対処しているが、これら両方を同時に、しかも非線形な設定で扱う手法はほとんど存在しない。既存のアプローチの多くは、循環グラフにおける交絡因子を扱う際に線形性を仮定しているか、あるいはスケーラビリティに課題を抱えている。本論文は、介入データを用いて、非線形な循環的因果グラフを未観測の交絡因子が存在する条件下で学習するという課題に取り組む。

手法：DCCD-CONF
著者らは、これらの複雑な条件下で因果構造を学習するための微分可能なフレームワークであるDCCD-CONFを提案している。この手法は、以下のコンポーネントによって構築されている。

1. 潜在的交絡因子を伴う構造方程式モデル（SEM）：
   システムは、有向エッジ（$i \to j$）と双方向エッジ（$i \leftrightarrow j$）を含む有向混合グラフ（DMG）を用いてモデル化される。双方向エッジは隠れた交絡因子を表す。著者らは、交絡を独立した潜在変数ノードとしてではなく、外生ノイズ項の相関としてモデル化している。具体的には、ノイズベクトル $Z$ はガウス分布 $Z \sim \mathcal{N}(0, \Sigma_Z)$ に従い、共分散行列 $\Sigma_Z$ の非対角成分がゼロでないことは、変数間の交絡を示している。

2. 暗黙的フローによる微分可能な因果メカニズム：
   サイクルと非線形性を扱うために、因果メカニズムは暗黙的フローを用いてモデル化される。構造方程式は $X = F(X, Z)$ と定義され、$F$ はニューラルネットワークによってパラメータ化された関数である。一意の不動点（平衡状態）の存在と可逆性を保証するために、著者らは $F(x, z) = -g_x(x) + g_z(z) + z$ という特定の形式を用いた縮小写像を強制している。ここで、$g_x$ と $g_z$ は縮小関数であり、スペクトル正規化によって強制されている。これにより、Broyden法などの根探索アルゴリズムを用いて、順写像 $z = f_x(x)$ およびその逆写像を計算することが可能になる。

3. 介入データと切除グラフ：
   本フレームワークは、「外科的（ハード）」介入を利用する。あるノードに対して介入が行われると、そのノブへのすべての流入エッジ（有向および双方向）が除去され、そのノードは既知の分布からサンプリングされた値に設定される。介入下でのデータの尤度は、順写像のヤコビアンに基づいて導出される。

4. 最適化とスコア関数：
   学習目標は、複数の介入設定における観測データの正則化された対数尤度を最大化することである。

   • グラフ構造： 隣接行列は、行列 $B$ によってパラメータ化されたベルヌーイ乱数として扱われる。スパース性の正則化のプロキシとして $L_1$ ノルムが使用される。
   • ヤコビアン行列式： ヤコビアンの対数行列式の計算は計算コストが高い（$O(d^2)$）。著者らは、バイアスを低減するために確率的に切り捨てられた $\log(1+x)$ のべき級数展開に基づく不偏推定量と、Hutchinsonのトレース推定量を組み合わせた手法を採用している。
   • 交絡因子分布： 共分散行列 $\Sigma_Z$ は、正定値性と安定性を確保するために、スパース性正則化された最適化問題（Lasso回帰として定式化）を解くことで更新される。

主な貢献

1. 新しいフレームワーク： 相関を持つガウスノイズを介して未観測の交絡因子を明示的にモデル化しながら、非線形な循環的因果グラフを学習できる初の微分可能なフレームワークであるDCCD-CONFの導入。
2. 理論的保証： 提案されたスコア関数を最大化することで、（モデル内のデータおよび$\sigma$-分離性の特性を含む特定の仮定の下で）真のグラフの介入同値類を特定できることを証明した。
3. アルゴリズムの効率性： 確率的推定とノイズ共分散の構造化された更新を通じて、暗黙的フローとヤコビアン行列式の計算上の課題に対処する、スケーラブルな最適化手順の開発。

実験結果
本フレームワークは、合成データおよび実世界のデータセットの両方で評価された。

• 合成データ： DCCD-CONFを、交絡因子の数、サイクルの数、非線形性の度合い、および介入回数の変化に応じて、最先端のベースライン（NODAGS-Flow, LLC, DAGMA, ADMG）と比較した。
  • 性能： DCCD-CONFは、特に非線形な設定において、グラフ復元における構造ハミング距離（SHD）が低く、交絡因子特定におけるF1スコアが高いことを一貫して示した。
  • 堅牢性： 本手法は、サイクル数や交絡因子の数が増加しても堅牢であることを示した。また、介入数が増えるにつれてベースラインを上回る性能を示したが、LLCのような一部のベースラインは純粋な観測設定では失敗した。
  • スケーラビリティ： ノード数が10から80に増加しても、優れた性能を維持した。
• 実世界のデータ： 本モデルをPerturb-CITE-seq遺伝子摂動データセット（コントロール、共培養、およびIFN-$\gamma$条件下でのメラノーマ細胞）に適用した。
  • 指標： 真のグラフが存在しないため、性能は保持されたテストデータに対する負の対数尤度（NLL）によって測定された。
  • 結果： DCCD-CONFは、3つの条件すべてにおいて最も低いNLLを達成し、NODAGS、LLC、およびDCDIを上回った。これは、予測精度が高く、生物学的システムにおける交絡のモデリングが効果的であることを示唆している。

意義と主張
本論文は、DCCD-CONFが、非線形性、サイクル、および潜在的な交絡因子を同時に扱うことで、これまで断片化されていた問題領域に対する統一的な解決策を提供すると主張している。著者らは、提案手法が理論的な一貫性の保証を提供し、線形仮定、非巡回構造、または完全な観測可能性に制限されている既存の手法よりも実用的な優位性を持つと主張している。本研究は、実世界のシステムにおける交絡因子の普及率を強調し、微分可能な学習を通じて交絡を考慮することが、因果探索の精度を大幅に向上させることを示している。著者らは、現在の研究ではガウス型外生ノイズを仮定しているが、今後の方向性として、他のノイズ分布の探索、欠損データの処理、および介入対象に関する仮定の緩和が含まれると述べている。