A Collinearity Test Statistic for Hypothesis Testing in High-Dimensional Generalized Linear Models

技术摘要：用于高维广义线性模型假设检验的共线性检验统计量

问题陈述
本文探讨了广义线性模型（GLM）中关于排除相关预测因子的假设检验挑战。具体而言，给定一组包含 $p$ 个预测因子和样本量 $n$，作者考虑检验如下假设：零假设 $H_0$ 为假设的预测子集 $S$（其中 $|S| < n$）包含了所有非零回归系数；备选假设 $H_A$ 为存在一组错误的排除项 $A$（即被 $S$ 遗漏且具有非零系数的预测因子）。

该问题的难度在三种渐近机制下各不相同：

1. 经典情形 ($p = o(n)$)： 标准似然比检验（LRT）和 Wald 检验是有效的。
2. 中等维度情形 ($p/n \to \kappa \in (0, 1/2)$)： 经典检验失效；Sur 和 Candès [5] 表明，LRT 统计量需要通过求解非线性方程来获得一个非平凡的重缩放因子。
3. 高维情形 ($p > n$)： 经典方法不再适用。现有的解决方案涉及部分惩罚似然比检验（例如使用 SCAD/MCP 惩罚项），这类方法需要解决困难的非凸优化问题，且无法保证找到全局最优解。

作者旨在提出一种单一的检验统计量，该统计量计算简单、避免了非凸优化和非线性方程求解，并且在所有三种机制（包括 $p > n$ 的情况）下均保持有效。

方法论
作者提出了共线性检验统计量（Collinearity Test Statistic），记作 $T_n$。该方法基于规范指数族 GLM 框架。

1. 定义：

   • 令 $\eta(\beta) = X\beta$ 为自然参数。
   • 定义权重矩阵 $D(\beta) = \text{diag}(b''(\eta_i(\beta)))^{1/2}/\phi^{1/2}$ 以及标准化响应向量 $V(\beta)$。
   • 定义调整后的响应向量 $Z(\beta) = D(\beta)\eta(\beta) + \sqrt{n}V(\beta)$。
   • 令 $\hat{\beta}_S$ 为零假设下的极大似然估计量（MLE，受限于 $S$）。
   • 定义投影矩阵 $\Pi_S(\beta)$ 为向加权设计矩阵 $D(\beta)X_S$ 之张成的空间上的投影，以及其正交补空间 $\Pi_S^\perp(\beta)$。

2. 统计量：
   对于不在 $S$ 中的每个预测因子 $v_i$（即 $i \in S^c$），作者定义了一个共线性度量 $R_i$，用于衡量预测因子的投影与调整后响应在零模型空间正交补上的投影之间的余弦夹角：
   $$R_i = \frac{\langle \hat{\Pi}_S^\perp \hat{D}v_i, \hat{\Pi}_S^\perp \hat{Z} \rangle}{\|\hat{\Pi}_S^\perp \hat{D}v_i\| \|\hat{\Pi}_S^\perp \hat{Z}\|}$$
   检验统计量为所有被排除预测因子中最大平方共线性：
   $$T_n = \max_{i \in S^c} n R_i^2$$

3. 分布与 P 值估计：

   • 理论极限： 在 $H_0$ 下，$n R_i^2$ 在分布上收敛于 $\chi^2_1$。
   • 临界值：
     • 对于固定的 $p$，使用 $\chi^2_1$ 的 $(1 - \alpha/(p-s))$ 分位数进行 Bonferroni 校正，可提供一个保守的拒绝域。
     • 对于高维情形 ($p > n$)，作者推导出了一个渐近近似分位数：$q^{(n)} \approx 2 \ln(p_n/\alpha\sqrt{\pi}) - \ln(\ln(2p_n/\alpha))$。定理 2 确立了该近似在特定技术假设下（例如 $(\ln p_n)^4/n \to 0$）是成立的。
   • 蒙特卡洛法： 为了获得精确的 p 值（特别是在 $p$ 较小或中等大小时），作者建议采用蒙特卡洛方法，即用随机高斯向量替换调整后的响应 $\hat{Z}$ 来生成 $T_n$ 的经验分布。

核心贡献

• 统一统计量： 本文引入了一个适用于经典、中等及高维机制的单一检验统计量，且无需修改。
• 计算简便性： 与高维领域的竞争方法相比，共线性检验既不需要求解非线性系统（如重缩放 LRT），也不需要进行非凸惩罚似然函数的优化。它依赖于用于计算 MLE 的同一套迭代重加权最小二乘法（IRLS）机制。
• 高维情形下的理论有效性： 作者证明了即使在 $p > n$ 时，统计量的尾部 $\chi^2_1$ 近似仍然有效，前提是满足特定的正则性条件。
• 稀疏性敏感度： 理论分析（定理 3）和数值结果表明，当备选假设是稀疏的（即遗漏的预测因子很少）时，该检验表现出极强的功效。

结果
作者使用逻辑回归对模拟数据（$n=100$）在不同维度（$p$）和稀疏水平（$|A|$）下进行了数值实验：

• 经典情形 ($p=12, n=100$)： 共线性检验的表现与 LRT 和 Wald 检验相当。对于稀疏备选假设（$|A|=1$），它能产生较小的 p 值。
• 中等维度 ($p=49, n=100$)： 在此情形下，LRT 和 Wald 检验（使用 Jeffreys 先验惩罚）的功效较共线性检验有所下降，尤其是在稀疏备选假设下。
• 高维情形 ($p=1000, n=100$)： 共线性检验无需修改即可运行。它在稀疏备选假设（$|A|=1$，中位数 p 值 $< 10^{-6}$）下表现出高功效，但对于非稀疏备选假设（$|A|=10$）功效较低，这与其作为极大值型（$L_\infty$）统计量的性质一致。
• 整体表现： Wald 检验通常表现最差。共线性检验并非在所有情况下都是最强大的（例如，在满足假设的经典情形下，LRT 优于它），但在稀疏的高维设置中始终具有竞争力且表现更优。

意义与主张
本文声称，共线性检验为 GLM 假设检验提供了一个实用的、稳健的替代方案，特别是在 $p \ge n$ 的场景下。其主要意义在于其计算的可处理性和跨渐近机制的普适性。

作者对自己的主张保持了审慎态度，承认了以下几点：

1. 局限性： 该检验并非在所有机制下都是最强大的；针对特定机制设计的检验（如 $p=o(n)$ 时的经典 LRT）在假设成立时可能表现更好。
2. P 值估计： 虽然存在解析界限，但精确的 p 值估计通常需要蒙特卡洛模拟，这会带来 $O(nmp)$ 的计算成本。
3. 理论范围： 关于第二类错误衰减率的理论证明（定理 3）是针对高斯线性模型建立的。将这些功效结果扩展到非高斯 GLM（如逻辑回归或泊松回归）被确定为未来研究的开放性问题。

作者总结道，该检验是一个可行且易于实现的工具，它避免了现有高维方法的计算瓶颈，同时保持了较强的统计功效，尤其是在稀疏设置中。