Existence of penalised likelihood estimates and posterior propriety of separable prior distributions for Gaussian precision matrices

技术摘要：高斯精度矩阵的可分先验分布下惩罚似然估计的存在性与后验适当性

问题陈述
在高维设定下，当高斯精度矩阵 $\Theta$ 的维度 ($p$) 超过样本量 ($n$) 时，样本协方差矩阵 $S$ 不是满秩的（它是半正定（PSD）而非正定（PD）的）。因此，$\Theta$ 的标准极大似然估计（MLE），即 $S^{-1}$，并不存在。惩罚似然方法常被用于在这些场景中诱导稀疏性并确保估计的稳定性。然而，对于所有 PSD 的 $S$，惩罚似然估计 $\hat{\Theta}_{Pen}$ 的存在性并不能得到保证，特别是当惩罚函数在参数空间的边界处缺乏足够的增长时。此外，在贝叶斯框架下，虽然最大后验（MAP）估计对应于惩罚似然估计，但 MAP 的存在并不自动意味着后验分布是适当的（即具有有限的积分）。本文探讨了可分惩罚函数在确保任何 PSD $S$ 下 $\hat{\Theta}_{Pen}$ 存在性方面所需的尾部条件，并建立了导致由此产生的后验分布具有适当性的条件。

方法论
本文分析了如下优化问题：
$$\hat{\Theta}_{Pen} = \arg\max_{\Theta \succ 0} \left( \log \det \Theta - \text{tr}(S\Theta) - \text{Pen}(\Theta) \right)$$
其中假设惩罚函数是可分的：$\text{Pen}(\Theta) = \sum_{i} \text{pen}_D(\theta_{ii}) + \sum_{i<j} \text{pen}(\theta_{ij})$。分析重点在于目标函数在 $\Theta$ 趋向于正定矩阵锥的边界（即特征值趋于 0）或 $\|\Theta\| \to \infty$ 时的极限行为。

该方法论依赖于谱分解，将对数似然函数表示为 $\Theta$ 的特征值 $\lambda_k$ 和特征向量 $v_k$ 的函数。作者构建了特定的矩阵序列 $\Theta(t)$ 来测试不存在的情况（通过证明目标函数趋于 $+\infty$）并证明存在性（通过证明目标函数趋于 $-\infty$）。证明的关键在于对 $S$ 的零空间 $N(S)$ 的刻画，其维度为 $m_0$。分析区分了特征向量收敛于 $S$ 的零空间以及不收敛于零空间的序列，从而推导出 $\text{pen}_D$ 和 $\text{pen}$ 相对于对数项 $\log x$ 的增长率的充要条件。

核心贡献与结果

1. 对角惩罚的存在性条件：

   • 如果对角惩罚 $\text{pen}_D$ 满足 $\lim_{x\to\infty} (\text{pen}_D(x) - \log x) = \infty$，则对于任何 PSD 的 $S$，无论非对角惩罚如何（只要是非负的），估计量 $\hat{\Theta}_{Pen}$ 均存在。
   • 如果 $S$ 是一个具有 $m_0$ 个零特征值的高斯样本协方差矩阵，则一个较弱的条件足以使存在性以概率 1 成立：$\liminf_{x\to\infty} \frac{\text{pen}_D(x)}{\log x} > \frac{m_0}{p}$。
   • 相反，如果 $\text{pen} = 0$ 且 $\liminf_{x\to\infty} (p \cdot \text{pen}_D(x) - \log x) = -\infty$，则对于任何仅为 PSD 的 $S$，估计量不存在。

2. 非对角惩罚的存在性条件：

   • 如果缺少对角惩罚（$\text{pen}_D = 0$），则存在性要求 $S$ 具有严格正的对角线元素。如果 $S$ 具有零对角线元素，则估计量不存在。
   • 当 $S$ 具有严格正的对角线且有 $m_0$ 个零特征值时，如果 $\liminf_{|x|\to\infty} \frac{\text{pen}(x)}{\log |x|} > m_0$，则存在性得到保证。
   • 对于所有具有正对角线元素的 PSD $S$（最坏情况秩），存在性的条件是 $\liminf_{|x|\to\infty} \frac{\text{pen}(x)}{\log |x|} > p-1$。
   • 如果 $\text{pen}_D = 0$ 且 $\liminf_{|x|\to\infty} (q \cdot \text{pen}(x) - \log |x|) = -\infty$（其中 $q = p(p-1)/2$），则对于任何仅为 PSD 的 $S$，估计量不存在。

3. 联合惩罚：

   • 本文证明了对角惩罚和非对角惩罚可以相互补偿。如果 $S$ 有 $m_0$ 个零特征值且具有严格正的对角线，则若满足以下条件，存在性即可确保：
     $$\liminf_{x\to\infty} \frac{\text{pen}_D(x)}{\log x} + \liminf_{|x|\to\infty} \frac{\text{pen}(x)}{\log |x|} > m_0$$
   • 这允许使用具有弱尾部增长的非对角惩罚（例如有界的惩罚如 SCAD、MCP 或无缝 $L_0$），只要它们与足够强的对角惩罚相结合。

4. 后验适当性：

   • 本文将这些发现扩展到了贝叶斯设定。虽然在上述条件下 MAP 估计存在，但后验适当性（有限积分）需要更强的条件。
   • 对于 PD 的 $S$，如果非对角先验 $\pi$ 是有界的，且对角先验 $\pi_D$ 在零点和无穷远点附近满足特定的可积条件，则适当性成立。
   • 对于 PSD 的 $S$，后验适当性的一个充分条件是：非对角先验 $\pi$ 是适当的（可积的），且对角先验 $\pi_D$ 具有有限的 $n/2$ 阶矩。

5. 泛化：

   • 研究表明，这些结果可以推广到不同条目间惩罚不等、非对称非对角惩罚以及并非随量级严格递增的惩罚。
   • 本文还讨论了对偏相关系数的惩罚，指出与标准的成分可分惩罚不同，仅对偏相关系数进行惩罚不足以确保 PSD $S$ 的存在性；对角惩罚仍然是必要的。

意义与主张
本文声称为确定几乎任何选择的可分惩罚函数的惩罚似然估计的存在性提供了“路线图”。其主要意义在于解决了统计模型选择（通常倾向于具有弱尾部的非对角惩罚，如 SCAD、MCP 或无缝 $L_0$，以减少偏差）与数学存在性（在高维设定 $n \le p$ 下）之间的紧张关系。

作者认为，虽然弱非对角惩罚本身无法保证在 $S$ 仅为 PSD 时存在性，但如果与合适的对角惩罚相结合，就可以在高维设定中成功使用。这种组合确保了对于任何 PSD 的 $S$，即使样本量不超过维度，也能保证估计的存在性。本文也谦虚地指出，虽然这些条件确保了存在性，但对角惩罚的选择也会影响估计性能和稀疏性，因此所推导的条件是作为存在性的最低要求，而非统计性能的最优调节。此外，这项工作也澄清了 MAP 估计的存在性与完整后验分布的适当性之间的区别，并在 PD 和 PSD 两种情形下都给出了明确的条件。