技術的概要：共伴 DAG 学習

問題定義

本論文は、生物学から金融に至るまで多岐にわたる分野における因果推論の中核をなす、観測データから有向非巡回グラフ（DAG）を学習するという根本的な課題に取り組んでいる。この問題は、構造化方程式モデル（SEM）によって生成されたデータセット $X$ から、潜在 DAG $G$ の隣接行列 $W$ を復元することとして定式化される。

特定された核心的な困難は以下の通りである：

1. 組み合わせ的複雑性: DAG の空間は変数の数に対して超指数関数的に成長するため、正確な組み合わせ探索は扱いにくい。
2. 非巡回性制約: 非巡回性制約（$G \in \mathcal{D}$）を課すことは非凸であり、計算的に困難である。
3. 識別可能性とノイズ: 同じ観測分布を生成する DAG 同士を区別することは非自明である。さらに、標準的な最小二乗法（OLS）アプローチは暗黙的に同分散性（変数間でのノイズ分散が同一であること）を仮定している。異分散設定（ノイズ分散が異なる場合）において、OLS はバイアスを導入し、スパース性正則化パラメータ $\lambda$ は未知のノイズレベルと結合するため、手動による煩雑なチューニングを必要とする。
4. 最適化の地形: 既存の連続緩和法は、有効な DAG において勾配が消滅する退化的な Karush-Kuhn-Tucker (KKT) 条件にしばしば陥り、収束を複雑にする。

手法

本論文は、因果構造学習に共伴スケール推定を統合する CoLiDE（Concomitant Linear DAG Estimation） というフレームワークを提案する。この手法は 3 つの柱に基づいている：

1. 共伴スケール推定

ロバスト統計における共伴推定量（例えば Huber の仕事や平滑化共伴 lasso）に触発され、CoLiDE は DAG 隣接行列 $W$ と外生ノイズレベルを同時に推定する。

• 同分散設定（CoLiDE-EV）: この手法は、重み付き最小二乗項、スパース性ペナルティ（$\ell_1$-ノルム）、およびノイズスケール $\sigma$ に関する項を含む凸スコア関数 $S(W, \sigma; X)$ を最小化する。スコアは以下の通りである：
  $$\min_{W, \sigma \ge \sigma_0} \frac{1}{2n\sigma}\|X - W^\top X\|_F^2 + \frac{d\sigma}{2} + \lambda\|W\|_1$$
  ここで非巡回性制約が課される。この定式化は、正則化パラメータ $\lambda$ を未知のノイズレベル $\sigma$ から切り離し、異なるノイズ領域全体での再チューニングの必要性を排除する。
• 異分散設定（CoLiDE-NV）: このフレームワークは、各変数が異なるノイズ分散を持つ状況に拡張される。これはノイズ標準偏差の対角行列 $\Sigma$ を推定し、重み付きトレース損失を最小化する：
  $$\min_{W, \Sigma \ge \Sigma_0} \frac{1}{2n} \text{tr}((X - W^\top X)^\top \Sigma^{-1} (X - W^\top X)) + \frac{1}{2}\text{tr}(\Sigma) + \lambda\|W\|_1$$

2. 連続最適化と非巡回性の特性化

本論文は、組み合わせ的な非巡回性制約を緩和するために、滑らかな非凸関数を利用する。

• DAGMA ペナルティ: CoLiDE は、対数行列式正則化子 $H_{ldet}(W; s) = d \log(s) - \log(\det(sI - W \circ W))$ を採用する。この関数は特定のドメインにおける非巡回性の正確な特性化であり、行列指数に基づくアプローチ（NOTEARS など）と比較して、改善された勾配挙動とより長いサイクルを検出する能力を提供する。
• 最適化アルゴリズム: 制約付き問題は、バリア法アプローチを用いた一連の非制約問題として解かれる。アルゴリズムは不正確なブロック座標降下（BCD）戦略を採用する：
  1. 拡張目的関数に対して、一次元法（例えば ADAM の単一ステップ）を用いて $W$ を更新する。
  2. 現在の残差に基づいて、ノイズ推定量（$\sigma$ または $\Sigma$）を閉形式で更新する。
  3. このプロセスを収束するまで、または最大反復回数に達するまで繰り返す。

3. 非負エッジ重み（NOMAD）

本論文はまた、特定のドメイン（興奮性ニューラルネットワークやフローモデルなど）で有効であるエッジ重みへの非負制約（$W \ge 0$）の導入が与える影響も探求する。

• 簡略化された非巡回性: 非負性のもとでは、非巡回性条件は $H_+(W; s) = d \log(s) - \log(\det(sI - W)) = 0$ に簡略化される。これはアダマール積（$W \circ W$）を回避し、より良性の最適化地形をもたらす。
• NOMAD アルゴリズム: 著者は、制約付き問題を解くために乗数法（拡張ラグランジュ）を使用する NOMAD（Non-negative Optimization via Multipliers for Acyclic Digraphs）を導入する。このアプローチは、DAG がペナルティ関数の停留点ではなくなるため、一般的な DAG 学習で見られる KKT の退行性を回避する。

主要な貢献

1. ノイズ適応型スコア関数: DAG とノイズレベルを同時に推定する凸スコア関数の導入。これにより、スパース性ペナルティと未知のノイズレベルとの結合が除去され、手動のハイパーパラメータチューニングなしで異分散性や分布シフトに対して頑健な手法となる。
2. 理論的保証: 線形ガウス SEM に対して、本論文は CoLiDE がサンプルサイズ $n \to \infty$ において、識別不可能な異分散設定であっても、真の DAG と「準等価」な DAG を生成することを確立している。
3. 最適化地形の分析: 本論文は、非負制約を課すことが退化的な KKT 条件を排除し、特定の仮定のもとで真の DAG が集団拡張ラグランジュの一意の大域最小解となる地形を創出することを示している。
4. スケーラビリティとオンライン学習: このフレームワークはミニバッチ確率的勾配降下とオンライン更新をサポートし、時間変化する構造の追跡や大規模データセットへのスケーラビリティを可能にする。

結果

本論文は、合成データおよび実世界データにおいて、CoLiDE と NOMAD を最先端のベースライン（GOLEM、DAGMA、NOTEARS、GES などを含む）と比較評価した：

• 合成データ: 200 ノードを持つ Erdős–Rényi (ER4) およびスケールフリー (SF4) グラフにおいて、CoLiDE の変種は構造的ハミング距離（SHD）、偽発見率（FDR）、真陽性率（TPR）において競合他社を一貫して上回った。特に、CoLiDE はノイズ分散が増加（1.0 から 5.0 へ）しても再チューニングなしに高い性能を維持するのに対し、OLS ベースの手法は著しく劣化した。
• 異分散性: 異なるノイズ分布（ガウス、指数、ラプラス）を伴う異分散シナリオにおいて、CoLiDE-NV は明確な勝者であり、すべての代替案を上回った。CoLiDE-EV も頑健に機能し、しばしば 2 位にランクインし、問題が技術的には同分散であってもノイズ適応型定式化の価値を実証した。
• 実世界データ（Sachs データセット）: Sachs 細胞シグナル伝達データセット（$d=11, n=853$）において、CoLiDE-NV は SHD 12 を達成し、他の連続最適化手法を上回った。全体的に最良の性能（SHD=10）は、生物学的システムに固有の非負制約を利用する NOMAD によって達成された。

意義と主張

本論文は、CoLiDE を信号処理、最適化、因果推論を架橋する重要な前進として位置づけている。その主な意義は以下の点にある：

• 頑健性: スコア関数をノイズ適応型にすることで、標準的なスパース回帰や DAG 学習を悩ませる「未知のノイズレベル」の問題を効果的に処理し、広範なハイパーパラメータチューニングの必要性を低減する。
• 異分散性の処理: 従来の OLS ベースの手法がバイアスを有することが知られている異分散設定において、DAG を学習するための原理的な解決策を提供する。
• 最適化効率: 共伴推定と特定の非巡回性ペナルティ（DAGMA や非負対数行列式など）の使用は、以前の連続緩和法と比較して、より良い最適化地形とより速い収束をもたらす。
• 実用性: このフレームワークはスケーラビリティを設計しており、ミニバッチおよびオンライン学習をサポートするため、現代の高次元およびストリーミングデータアプリケーションに適している。

著者らは結論として、一般的な非凸 DAG 学習における大域最適性の保証は依然として達成困難であるが、共伴推定と構造的制約（非負性など）の組み合わせは、信頼性が高く、スケーラブルで、頑健な因果発見への有望な道筋を提供すると述べている。