Maximum likelihood thresholds of generic linear concentration models

技术摘要：通用线性浓度模型的最大似然阈值

问题陈述
本文探讨了统计模型中最大似然阈值（MLT）的确定问题，具体针对线性浓度模型。模型 $M$ 的 MLT 定义为所需的最小数据点数量 $d$，使得对于几乎所有大小为 $d$ 的数据集，模型内都存在最大似然估计（MLE）。

作者聚焦于 $M$ 为线性浓度模型 $M_L$ 的情形，该模型由所有 $n$ 元正态分布组成，其逆协方差矩阵（浓度矩阵）位于 $n \times n$ 对称矩阵空间（$S_n$）的一个固定线性子空间 $L$ 中。虽然高斯图模型（其中 $L$ 由将特定非对角线元素设为零来定义）的 MLT 已通过组合学和刚性理论方法得到广泛研究，但通用线性浓度模型（其中 $L$ 是给定维度的通用子空间）的行为尚未被完全刻画。核心问题在于：通用 $L$ 的 MLT 是否能通过简单的维度计数来预测，或者它是否依赖于更微妙的结构性质。

方法论
作者结合代数几何、半代数几何和凸分析来解决 MLE 的存在性问题。

1. MLE 存在性的刻画：文章首先建立了定理 2.1，该定理给出了在给定样本协方差矩阵 $S$ 时，$M_L$ 中存在 MLE 的三个等价条件。关键在于条件 (3)：MLE 存在当且仅当不存在非零的半正定（PSD）矩阵 $\Omega \in L$ 使得 $\text{Tr}(\Omega S) = 0$（等价于 $\Omega S = 0$）。这将问题简化为分析子空间 $L$ 与秩为 $d$ 的 PSD 矩阵集合的交集性质。

2. 通用性与拓扑：作者利用 Grassmann 流形 $Gr(m, S_n)$ 上的 Zariski 拓扑来定义“通用”行为，其中 $m = \dim(L)$。他们利用引理 3.2和引理 3.4证明：如果某个性质在半代数集 $E$ 上不成立，且 $E$ 的欧几里得内部为空，则 $E$ 包含在一个真 Zariski 闭子集中。这使得他们能够证明，某些“坏”行为（即 MLT 偏离朴素计数的情况）仅发生在所有线性子空间空间中一个低维子集上。

3. 下界推导：为了建立 MLT 的下界，作者分析了构造“坏”数据集 $S$（即不存在 MLE 的数据集）的条件。

   • 他们定义了与矩阵列空间和核相关的集合 $Z(\Omega_0)$ 和 $Q(S_0)$。
   • 利用引理 3.11，他们证明了对于维数足够高的通用 $L$，$L$ 与某个秩为 $n-d$ 的 PSD 矩阵 $\Omega$ 的 $Z(\Omega)$ 之间存在横截交集。
   • 命题 3.16表明，如果 $\dim(L) \geq dn - \binom{d}{2} + 1$，那么对于通用 $L$，存在一个秩为 $d$ 的 PSD 矩阵 $S$ 的开邻域，使得存在非零的 $\Omega \in L \cap S_n^+$ 满足 $\Omega S = 0$。根据定理 2.1，这意味着对于这些数据集，MLE 不存在。

4. 上界推导：为了建立匹配的上界，作者使用了代数维度计数。

   • 他们定义了集合 $B(m, d)$，其中的元素对 $(L, S)$ 满足 $L \cap Q(S) \neq \{0\}$。
   • 引理 3.18表明，如果 $\dim(L) \leq dn - \binom{d}{2}$，则 $B(m, d)$ 是乘积空间的一个真代数子集。
   • 命题 3.22得出结论：在此维度范围内的通用 $L$，对于几乎所有的 $S$，交集 $L \cap Q(S)$ 是平凡的，这意味着 MLE 存在。

5. 通用补全秩（GCR）：文章引入了通用补全秩（定义 4.1），定义为使得秩为 $d$ 的矩阵在 $L$ 上的投影为满维的最小 $d$。他们证明了（定理 4.5）GCR 始终是 MLT 的上界。

主要贡献与结果

• 主定理（定理 3.23）：本文确定了维数为 $m$ 的通用线性浓度模型 $M_L$ 的精确 MLT。该阈值是满足以下不等式的最小整数 $d$：
  $$m \leq dn - \binom{d}{2}$$
  这一结果证实，对于通用子空间，MLT 完全由朴素的维度计数决定，尽管 MLT 是一个半代数概念，在特定情况（如高斯图模型）中往往依赖于复杂的组合结构。

• 例外情况的几何刻画：作者明确描述了线性子空间 $L$ 未能表现出这种通用行为的几何条件。这些失效发生在：

  1. $L$ 不包含秩为 $n-d$ 的 PSD 矩阵（引理 3.7）。
  2. 对于 $L$ 中每一个秩为 $n-d$ 的 PSD 矩阵 $\Omega$，$L$ 与簇 $Z(\Omega)$ 之间的交集是非横截的（引理 3.11）。
     文章指出，高斯图模型通常因第二个条件（非横截性）而未能满足 MLT 界限，而第一个条件（缺乏特定秩的矩阵）对它们而言不会发生，因为它们总是包含对角矩阵。

• 通用模型中 MLT 与 GCR 的等价性：推论 4.6 确立了对于通用线性子空间，最大似然阈值等于其通用补全秩。

意义
本文声称其重要性在于为理解线性浓度模型提供了一个基准。虽然通用模型在实践中并不常用（因为现实世界的模型通常具有特殊结构，如图模型中的稀疏性），但理解它们的行为使研究人员能够将特定的、有结构的模型与这种“朴素”预期进行比较。

作者强调，他们的结果是非平凡的，因为 MLT 是一个半代数概念；人们可能会预期阈值取决于 $L$ 的具体几何结构，而不仅仅是其维度。证明表明，在实数域上，“通用”情况与代数维度计数完全一致，前提是要考虑到这种一致性被打破的特定 Zariski 闭子集。

这项工作还将此前定义于高斯图模型的通用补全秩概念扩展到了任意线性浓度模型，表明它在一般情况下可作为 MLT 的稳健上界。文章得出结论：虽然刚性理论思想已成功解开了图模型 MLT 的谜团，但通用线性模型的行为由更简单的、基于维度的原则所支配，偏差仅源于特定的几何障碍（非横截交集）。