技术摘要：伴随 DAG 学习

问题陈述

本文解决了从观测数据中学习有向无环图（DAG）这一根本性挑战，该任务是从生物学到金融等各个领域因果推断的核心。该问题被表述为从由结构方程模型（SEM）生成的数据集 $X$ 中恢复潜在 DAG $G$ 的邻接矩阵 $W$。

识别出的核心困难包括：

1. 组合复杂性：DAG 的空间随变量数量呈超指数级增长，使得精确的组合搜索变得不可行。
2. 无环性约束：强制实施无环性约束（$G \in \mathcal{D}$）是非凸的且计算困难。
3. 可识别性与噪声：区分生成相同观测分布的 DAG 并非易事。此外，标准的普通最小二乘法（OLS）方法隐含地假设同方差性（即各变量具有相同的噪声方差）。在异方差设置（噪声方差不同）中，OLS 会引入偏差，且稀疏正则化参数 $\lambda$ 会与未知的噪声水平耦合，需要繁琐的手动调整。
4. 优化景观：现有的连续松弛方法通常遭受退化的 Karush-Kuhn-Tucker (KKT) 条件之苦，即在有效的 DAG 处梯度消失，从而使得收敛变得复杂。

方法论

本文提出了CoLiDE（伴随线性 DAG 估计），这是一个将伴随尺度估计整合到因果结构学习中的框架。该方法论建立在三大支柱之上：

1. 伴随尺度估计

受鲁棒统计中伴随估计器（例如 Huber 的工作和平滑伴随 Lasso）的启发，CoLiDE 联合估计 DAG 邻接矩阵 $W$ 和外生噪声水平。

• 同方差设置（CoLiDE-EV）：该方法最小化一个包含加权最小二乘项、稀疏惩罚（$\ell_1$-范数）和噪声尺度 $\sigma$ 项的凸评分函数 $S(W, \sigma; X)$。评分函数为：
  $$\min_{W, \sigma \ge \sigma_0} \frac{1}{2n\sigma}\|X - W^\top X\|_F^2 + \frac{d\sigma}{2} + \lambda\|W\|_1$$
  受无环性约束。该公式将正则化参数 $\lambda$ 与未知的噪声水平 $\sigma$ 解耦，消除了在不同噪声机制下重新调整的需求。
• 异方差设置（CoLiDE-NV）：该框架扩展到每个变量具有不同噪声方差的场景。它估计一个噪声标准差的对角矩阵 $\Sigma$，最小化加权迹损失：
  $$\min_{W, \Sigma \ge \Sigma_0} \frac{1}{2n} \text{tr}((X - W^\top X)^\top \Sigma^{-1} (X - W^\top X)) + \frac{1}{2}\text{tr}(\Sigma) + \lambda\|W\|_1$$

2. 连续优化与无环性表征

本文利用平滑的非凸函数来松弛组合无环性约束。

• DAGMA 惩罚：CoLiDE 采用对数行列式正则化器 $H_{ldet}(W; s) = d \log(s) - \log(\det(sI - W \circ W))$。该函数在特定域上是对无环性的精确表征，相比基于矩阵指数的方法（如 NOTEARS），它提供了改进的梯度行为并具备检测更长循环的能力。
• 优化算法：约束问题通过一系列无约束问题利用障碍函数法求解。算法采用不精确的块坐标下降（BCD）策略：
  1. 在增强目标上使用一阶方法（例如，ADAM 的单步）更新 $W$。
  2. 基于当前残差，以闭式解更新噪声估计（$\sigma$ 或 $\Sigma$）。
  3. 该过程重复进行，直到收敛或达到最大迭代次数。

3. 非负边权重（NOMAD）

本文还探讨了在边权重上施加非负性约束（$W \ge 0$）的影响，这在兴奋性神经网络或流模型等特定领域是有效的。

• 简化的无环性：在非负性条件下，无环性条件简化为 $H_+(W; s) = d \log(s) - \log(\det(sI - W)) = 0$。这避免了 Hadamard 积（$W \circ W$），从而产生了更良性的优化景观。
• NOMAD 算法：作者引入了NOMAD（通过乘子进行非负有向无环图优化），该方法使用乘子法（增广拉格朗日）求解约束问题。这种方法避免了通用 DAG 学习中发现的 KKT 退化问题，因为 DAG 不再成为惩罚函数的驻点。

主要贡献

1. 噪声自适应评分函数：引入了一种联合估计 DAG 和噪声水平的凸评分函数。这消除了稀疏惩罚与未知噪声水平之间的耦合，使该方法对异方差性和分布偏移具有鲁棒性，且无需手动调整超参数。
2. 理论保证：对于线性高斯 SEM，本文证明 CoLiDE 产生的 DAG 在样本量 $n \to \infty$ 时与真实情况“准等价”，即使在不可识别的异方差设置中也是如此。
3. 优化景观分析：本文证明，施加非负性约束消除了退化的 KKT 条件，创造了一个景观，其中真实 DAG 是总体增广拉格朗日函数的唯一全局最小值（在特定假设下）。
4. 可扩展性与在线学习：该框架支持小批量随机梯度下降和在线更新，允许跟踪时变结构并扩展到大型数据集。

结果

本文在合成数据和真实世界数据上将 CoLiDE 和 NOMAD 与最先进基线（包括 GOLEM、DAGMA、NOTEARS 和 GES）进行了评估：

• 合成数据：在具有 200 个节点的 Erdős–Rényi (ER4) 和无标度 (SF4) 图上，CoLiDE 变体在结构汉明距离 (SHD)、误报率 (FDR) 和真阳性率 (TPR) 方面始终优于竞争对手。值得注意的是，当噪声方差增加（从 1.0 到 5.0）时，CoLiDE 在不重新调整的情况下保持高性能，而基于 OLS 的方法则显著退化。
• 异方差性：在具有不同噪声分布（高斯、指数、拉普拉斯）的异方差场景中，CoLiDE-NV 是明显的赢家，优于所有替代方案。CoLiDE-EV 也表现稳健，通常排名第二，证明了即使在技术上是同方差的问题中，噪声自适应公式的价值。
• 真实世界数据（Sachs 数据集）：在 Sachs 细胞信号传导数据集（$d=11, n=853$）上，CoLiDE-NV 实现了 12 的 SHD，优于其他连续优化方法。NOMAD 实现了最佳整体性能（SHD=10），它利用了生物系统中固有的非负性约束。

意义与主张

本文将 CoLiDE 定位为在连接信号处理、优化和因果推断方面迈出的重要一步。其主要意义在于：

• 鲁棒性：通过使评分函数噪声自适应，该方法有效处理了困扰标准稀疏回归和 DAG 学习的“未知噪声水平”问题，减少了对广泛超参数调整的需求。
• 处理异方差性：它为异方差设置下的 DAG 学习提供了原则性解决方案，而传统基于 OLS 的方法在此类场景中已知存在偏差。
• 优化效率：使用伴随估计和特定的无环性惩罚（如 DAGMA 和非负对数行列式）带来了比先前连续松弛方法更好的优化景观和更快的收敛速度。
• 实际适用性：该框架设计为可扩展，支持小批量和在线学习，使其适用于现代高维和流数据应用。

作者总结道，虽然一般非凸 DAG 学习的全局最优性保证仍然难以捉摸，但伴随估计与结构约束（如非负性）的结合提供了一条通往可靠、可扩展且鲁棒的因果发现的有前景的道路。