Nonparametric undirected graphical model selection using diffusion models

技术摘要：基于扩散模型的非参数无向图模型选择

问题陈述
无向图模型提供了一个表示高维随机变量间条件独立结构的框架。虽然模型选择是高维统计学中的一个核心问题，在基因组学、神经科学和金融领域有着广泛应用，但现有的大多数方法都依赖于参数化假设（例如高斯图模型或 Ising 模型）。当真实分布偏离所假设的参数形式时，这些方法往往会失效。虽然存在非参数方法，但由于密度估计中的“维度诅se”（curse of dimensionality）以及估计二阶导数（对数密度的 Hessian 矩阵）所需的额外复杂性，这类方法在统计上极具挑战性，而 Hessian 矩阵是识别图结构的关键，其依据是等价关系 $(i, j) \notin E_0 \iff \frac{\partial^2 \log p_0}{\partial x_i \partial x_j} = 0$。

方法论
作者提出了一种基于扩散模型的创新非参数无向图模型选择方法。该方法利用了扩散模型能够估计得分函数（score functions，即对数密度的梯度）且能够适应低维结构而不受维度灾难影响的特性。

所提议的流程（总结于算法 1）包含以下步骤：

1. 得分函数估计： 利用标准的扩散建模框架（具体为去噪扩散概率模型，DDPM），作者估计了一族得分函数 $f_0(x, t) = \nabla \log p_t(x)$，其中 $p_t$ 是前向扩散过程在时间 $t$ 的边缘密度。这是通过在观测数据上进行得分匹配（score matching）来实现的。
2. 通过 Tweedie 公式估计 Hessian： 该方法并非直接对估计的得分函数进行微分（这在数值上是不稳定的），而是利用了二阶 Tweedie 公式。该公式将对数密度的 Hessian $\nabla^2 \log p_t(x)$ 与给定噪声观测值 $X_t = x$ 时原始数据 $X_0$ 的条件协方差联系起来：
   $$\nabla^2 \log p_t(x) = \sigma_t^{-4} \mu_t^2 \text{Cov}[X_0 | X_t = x] - \sigma_t^{-2} I_D$$
   其中 $\mu_t$ 和 $\sigma_t$ 是前向 Ornstein-Uhlenbeck 过程的参数。
3. 图恢复： 该方法利用来自反向扩散过程的蒙特卡洛采样来估计条件协方差 $\text{Cov}[X_0 | X_t = x]$。具体而言，对于固定的时间 $t$ 和随机向量 $U_t$，作者计算了估计的 Hessian 矩阵项绝对值的经验期望值 $E_n[|\hat{H}_{ij}(U_t, t)|]$。
4. 阈值处理与聚类： 如果边 $(i, j)$ 的平均 Hessian 项幅度超过阈值 $\tau$，则将其纳入估计的图中。为了处理实际的调优问题，作者建议聚合多个小时间步 $t_1, \dots, t_M$ 的信息，并对标准化的 Hessian 值应用 K-means 聚类，以区分边与非边。

主要理论贡献
本文在温和的正规性条件下（具体为 $\log p_0$ 属于 Hölder 类 $\mathcal{H}_{\beta, K}$）为所提方法建立了严谨的理论保证：

• 衰减速率： 作者证明了条件协方差 $\text{Cov}[X_{0,i}, X_{0,j} | X_t = x]$ 的衰减速率取决于节点间的图距离 $d(i, j)$。对于边（$d(i, j)=1$），协方差以 $O(t^2)$ 速率衰减；而对于非边（$d(i, j) \ge 2$），其衰减更快，速率为 $O(t^{(\beta+2)\wedge 5/2})$。
• 选择一致性： 在得分函数估计器以速率 $\epsilon_n$ 收敛于真实得分函数的假设下，作者推导出了错误图选择概率的非渐近上界。他们表明，通过适当选择时间参数 $t$ 和阈值 $\tau$，该估计器在固定维度情形下是一致的（即 $P(\hat{G}_{t, \tau} \neq G_0) = o(1)$）。
• 避免直接进行 Hessian 估计： 通过利用扩散过程和 Tweedie 公式，该方法规避了直接估计原始分布 $p_0$ 的对数密度 Hessian 的需求，而后者在统计上要求更高。

实证结果
作者通过广泛的模拟实验和两项真实数据分析评估了该方法：

• 模拟实验： 该方法在四种分布上进行了测试：两种高斯分布和两种非高斯分布（蝴蝶分布和高斯 Copula 分布）。所提基于扩散的方法（DDPM）表现出与正确指定的参数化模型（如针对高斯数据的 Graphical Lasso）相当的竞争力，并且在所有分布中均显著优于现有的非参数基准方法（SING 和 L-SING）。值得注意的是，在参数化方法失效的非高斯设定下，它实现了完美的图恢复。
• 图像分析 (MNIST)： 应用于 MNIST 数据集（$D=784$），该方法恢复了一个符合图像局部性原则（像素主要与相邻像素连接）的稀疏条件独立图。它还识别出了对角线边的特定不对称性，反映了手写数字中的右倾特征。
• 金融数据（股票价格）： 应用于 28 家工业公司的每日收益率，该方法恢复了一个稀疏的条件依赖图。估计出的边显示了有意义的经济关系，包括一些在外部数据库中未被明确标记为竞争对手、但在供应链或技术伙伴关系中得到支持的公司。

重要性与主张
本文声称弥合了扩散模型对未知图结构的理论适应性与显式图估计实际应用之间的鸿沟。作者强调，其方法提供了一种统一的、非参数的替代方案，能够处理复杂的非高斯分布，而无需正确的模型设定。他们指出，虽然理论一致性是在固定维度下建立的，但实证结果表明该方法能有效扩展到高维设置（$D \gg n$），充分利用了数据的内在低维结构。最后，作者指出，向高维渐近性和离散分布的扩展是未来研究的自然方向。