技术摘要：可分离先验中的正定性

问题陈述

在贝叶斯统计中，对称正定（PD）矩阵（如协方差矩阵、精度矩阵或相关矩阵）的先验分布，通常通过假设独立条目并随后将联合分布截断至正定矩阵空间来构建。这类先验被称为PD-可分离先验（$p^+$），定义为 $p^+(\Theta) = p(\Theta)I(\Theta \succ 0) / c$，其中 $p(\Theta)$ 是具有独立条目的可分离先验，$I(\cdot)$ 是正定性的指示函数，$c = P_p(\Theta \succ 0)$ 是归一化常数。

尽管这种构造在概念上简单且计算方便（有助于通过惩罚似然方法进行后验采样和模式估计），但作者认为其存在显著的可解释性问题。具体而言，截断可能引发非预期的后果：

1. 边际扭曲：在 $p^+$ 下，条目的边际分布（$\pi^+_{ij}$）可能与未截断的边际分布（$\pi_{ij}$）显著不同，从而改变关于方差和稀疏性的先验信念。
2. 收缩性质：截断可能极大地改变收缩行为，可能导致对角线条目被过度放大，或者非对角线条目比预期更激进地向零收缩。
3. 稀疏推断偏差：在稀疏设置下（如图模型），截断概率 $c_z$ 取决于稀疏模式。这导致诱导出的稀疏结构先验 $p^+(z) \propto c_z p(z)$ 系统地倾向于比预期先验 $p(z)$ 更稀疏的模型，从而可能使后验推断产生偏差。

方法论

本文结合了概率界限、随机矩阵理论（特别是 Wigner 矩阵理论）以及截断分布的分析，以刻画 $p^+$ 及其边际的行为。

1. 截断效应的刻画：

   • 作者将截断分布（$p^+$）与未截断分布（$p$）之间的总变差（TV）距离和 Kullback-Leibler（KL）散度直接与归一化常数 $c$ 联系起来。
   • 他们推导了边际密度 $\pi^+_{ij}$ 关于未截断密度 $\pi_{ij}$ 和条件概率 $c_{ij}(\theta_{ij}) = P_p(\Theta \succ 0 | \theta_{ij})$ 的表达式。
   • 他们证明，虽然 $c \to 1$ 意味着 $p^+ \to p$，但只要条件概率 $c_{ij}$ 相对稳定，即使 $c$ 很小，边际分布仍可能保持接近。

2. 控制归一化常数（$c$）：

   • 本文基于对角线条目（$\theta_{ii}$）与非对角线条目（$\theta_{ij}$）之间的关系推导了 $c$ 的界限。$\Theta \succ 0$ 的一个充分条件是 $\theta_{ii} > \sum_{j \neq i} |\theta_{ij}|$。
   • 利用Wigner 矩阵理论，作者分析了当维度 $k \to \infty$ 时最小特征值 $\lambda_{\min}(\Theta)$ 的渐近行为。他们确立了关于对角线均值（$\mu$）与非对角线标准差（$\sigma$）之比以及维度 $k$ 的条件，以确保 $c \to 1$。
   • 具体而言，对于固定的对角线，若 $\mu / (\sigma \sqrt{k}) > 2$，则 $c \to 1$。对于随机对角线（例如指数分布），相对于 $k$，对 $\sigma$ 需要更严格的条件。

3. 稀疏设置：

   • 作者将分析扩展到稀疏矩阵，其中 $\theta_{ij} = 0$ 的概率为正。他们定义了 $c_z = P_p(\Theta \succ 0 | Z=z)$，即给定特定稀疏模式 $z$ 时的正定性概率。
   • 他们证明 $c_z$ 是 $z$ 的密度（非零条目数量）和非对角线方差 $\sigma^2$ 的减函数。
   • 利用集中不等式和随机矩阵理论，他们推导了依赖于稀疏模式最大行度 $d_z$ 的 $c_z$ 下界。

主要贡献与结果

1. 量化 $p$ 与 $p^+$ 之间的距离

本文提供了明确的界限，表明 $p^+$ 与 $p$ 之间的 TV 和 KL 距离是 $c$ 的函数。

• 命题 1：$TV(p^+, p) = 1 - c$ 且 $KL(p^+ || p) = -\log c$。
• 命题 4：即使 $c \to 0$（意味着联合分布相距甚远），如果 $-\log c = o(k^2)$（针对非对角线）或 $o(k)$（针对对角线），则平均边际距离仍可能趋于零。这意味着即使联合截断概率较低，通过精心选择参数仍可保持边际的可解释性。

2. $c \approx 1$ 的条件

作者提供了精确的渐近条件，以确保 $c$ 接近 1，从而使先验具有可解释性：

• 固定对角线：若 $\theta_{ii} = \mu$，则当 $\liminf_{k \to \infty} \frac{\mu}{\sigma \sqrt{k}} > 2$ 时，$c \to 1$。若该比值 $< 2$，则 $c \to 0$。
• 随机对角线：若 $\theta_{ii} \sim \text{Exp}(\lambda)$，条件更为严格：为了使 $c \to 1$，$\sigma$ 必须为 $o(k^{-3/2})$，而固定对角线的情况仅需 $o(k^{-1/2})$。
• 一般尺度族：$c$ 随非对角线尺度参数 $\sigma$ 严格递减。

3. 对稀疏推断的影响

本文表明，在稀疏图模型中，截断会引入对更稀疏结构的偏差：

• 命题 7：随着稀疏模式 $z$ 变得更为稠密，期望最小特征值 $\lambda_{\min}(\Theta)$ 减小。因此，随着非零条目数量的增加，$c_z$ 减小。
• 推论 3 与定理 3：作者推导了涉及最大度 $d_z$ 的 $c_z$ 下界。对于固定对角线，$c_z \ge 1 - 2k e^{-\mu^2 / (2\sigma^2 d_z)}$。
• 推论：如果先验方差 $\sigma^2$ 设置不当（具体而言，如果相对于 $\mu$ 和 $d_z$，$\sigma$ 过大），则对于稠密结构，$c_z$ 会变得很小。这导致诱导先验 $p^+(z) \propto c_z p(z)$ 分配给稀疏模型的质量显著高于原始先验 $p(z)$，从而可能导致后验推断中过度选择稀疏图。

4. 参数选择指南

本文提供了设置先验超参数以减轻这些效应的实用指南：

• 方差控制：非对角线方差 $\sigma^2$ 必须相对于对角线均值 $\mu$ 和矩阵维度（或稀疏度）足够小。
• 对角线分布：使用在零附近具有更轻尾部的对角线分布（如 Gamma 或逆 Gamma），而不是指数分布，可以放宽保持 $c \approx 1$ 所需的 $\sigma$ 约束。
• 重参数化：作者建议将 $\Theta$ 参数化为 $D^{1/2} \tilde{\Theta} D^{1/2}$，并对 $\tilde{\Theta}$（包含偏相关系数）放置 PD-可分离先验，这可能提供更好的可解释性和尺度不变性。

意义与主张

本文声称，尽管 PD-可分离先验因其计算便利性而流行，但除非参数设置时严格关注矩阵维度和稀疏结构，否则其可解释性往往会受损。

• 可解释性：作者认为，如果不确保 $c \approx 1$（或边际保持接近），先验的超参数就无法反映对数据生成过程（例如方差或稀疏比例）的预期信念。
• 稀疏学习：本文的一个关键贡献是证明了截断会系统地偏差稀疏推断。文章表明，除非 $\sigma$ 随 $k$ 和稀疏水平进行适当缩放，否则后验将由截断伪影驱动，而非数据或预期先验 $p(z)$。
• 实用指导：本文提供了首个严格的渐近条件（涉及 Wigner 矩阵极限），用于在高维稀疏设置中设定非对角线方差，以确保先验按预期表现。文章指出，标准选择（如固定 $\sigma$ 或指数对角线）可能导致高维下的病态行为，并提出了具体的缩放定律（例如，对于固定对角线，$\sigma = o(k^{-1/2})$）以避免这些问题。

作者得出结论，精心参数化对于确保在强制执行正定性约束后，“可分离”假设仍然是先验信念的有效近似至关重要。