Quantifying uncertainty and stability among highly correlated predictors: a subspace perspective

这是一份关于论文《Quantifying uncertainty and stability among highly correlated predictors: a subspace perspective》（量化高度相关预测变量中的不确定性和稳定性：一种子空间视角）的详细技术总结。

1. 研究背景与问题定义

核心问题：
在变量选择（Variable Selection）任务中，当预测变量（特征）之间存在高度相关性（即多重共线性）时，现有的方法面临两大根本性挑战：

1. 模型相似性定义的局限性：
   • 传统方法通常通过计算两个模型（特征集）的交集大小 $|S_1 \cap S_2|$ 来衡量相似性。
   • 缺陷： 如果两个模型没有共同特征，但各自包含的特征高度相关（例如 $X_1$ 与 $X_3$ 高度相关，$X_2$ 与 $X_4$ 高度相关），传统度量会认为这两个模型完全不同（相似度为 0）。然而，在预测能力上，这两个模型可能非常相似。这种“离散”的度量方式无法捕捉特征间的替代性。
2. 特征稳定性评估的失效（“投票分裂”现象）：
   • 现有的稳定性选择（Stability Selection）方法通过计算特征在多次子采样中被选中的频率来评估稳定性。
   • 缺陷： 在高相关设置下，由于“投票分裂”（Vote Splitting），算法可能在一次子采样中选择 $X_1$，而在另一次中选择高度相关的 $X_3$。这导致 $X_1$ 和 $X_3$ 各自的选中频率都很低，从而被错误地标记为“不稳定”，尽管它们都是重要的信号特征。此外，强行选择“稳定”的特征往往会导致模型过小，预测性能下降。

核心痛点： 现有的相似性和稳定性概念本质上是“离散”的（基于特征集合的包含关系），无法适应高度相关特征带来的连续性和替代性。

2. 方法论：基于子空间的框架

作者提出了一种基于**特征子空间（Feature Subspaces）**的新框架，将离散的集合比较转化为连续的子空间对齐度比较。

2.1 核心概念：特征子空间

• 不再将模型 $S$ 视为特征索引的集合，而是将其视为数据矩阵 $X$ 中对应列所张成的列空间（Column Space），记为 $\text{col}(X_S)$。
• 即使两个模型 $S_1$ 和 $S_2$ 没有共同特征，如果它们对应的子空间 $\text{col}(X_{S_1})$ 和 $\text{col}(X_{S_2})$ 高度对齐（即夹角很小），则认为这两个模型是相似的。

2.2 关键度量指标

基于子空间投影矩阵 $P_{\text{col}(X_S)}$，定义了以下连续度量：

1. 相似性度量 (Similarity) $\tau(S_1, S_2)$：

   • 定义为两个子空间投影矩阵乘积的迹：$\tau(S_1, S_2) = \text{trace}(P_{\text{col}(X_{S_1})} P_{\text{col}(X_{S_2})})$。
   • 该值等于两个子空间之间主角度（Principal Angles）余弦平方的和。
   • 优势： 当特征正交时，退化为传统的集合交集大小；当特征高度相关时，能平滑地反映模型间的预测能力相似性。

2. 真阳性与假阳性 (TP & FP)：

   • 真阳性 (TP)： 估计子空间与真实信号子空间的对齐程度，即 $\tau(\hat{S}, S^*)$。
   • 假阳性 (FP)： 估计子空间中与真实信号子空间正交部分的对齐程度，即 $|\hat{S}| - \tau(\hat{S}, S^*)$。
   • 这取代了传统的计数方式，能够量化“部分正确”或“替代性错误”的程度。

3. 稳定性度量 (Stability) $\pi(S)$：

   • 对于给定的特征集 $S$，其稳定性定义为该子空间与所有子采样得到的估计子空间的平均投影矩阵 $P_{\text{avg}}$ 的对齐程度。
   • 公式：$\pi(S) = \sigma_{|S|}(P_{\text{col}(X_S)} P_{\text{avg}} P_{\text{col}(X_S)})$，其中 $\sigma_{|S|}$ 是第 $|S|$ 个奇异值。
   • 优势： 即使某个具体特征 $X_j$ 未被频繁选中，只要它所在的子空间与多次采样的结果高度对齐，其稳定性得分依然很高。这有效解决了“投票分裂”问题。

2.3 算法：特征子空间稳定性选择 (FSSS)

作者提出了 FSSS (Feature Subspace Stability Selection) 算法，用于枚举多个稳定的模型：

• 输入： 基础变量选择算法（如 Lasso 或 $\ell_0$ 回归）在 $B$ 个子采样上得到的特征集。
• 过程：
  1. 计算平均投影矩阵 $P_{\text{avg}}$。
  2. 通过迭代扩展模型（从空集开始，逐步添加特征），寻找满足稳定性阈值 $\alpha$ 的极大 $\alpha$-稳定集（Maximal $\alpha$-stable sets）。
  3. 利用单调性和预评估技巧（Pre-evaluation）大幅减少搜索空间。
• 输出： 一组稳定的模型集合，这些模型在子空间意义上是等价的，能够捕捉特征的互换性。

3. 主要贡献

1. 理论框架创新： 首次将变量选择问题从“离散集合”视角转向“连续子空间”视角，提出了基于子空间对齐的相似性、真/假阳性及稳定性度量。
2. 算法设计 (FSSS)： 提出了一种新的算法，能够高效地枚举多个稳定模型，而不仅仅是输出单个模型。
3. 理论保证：
   • 在特征聚类（Clustering）和复杂依赖结构下，证明了 FSSS 能够控制期望的假阳性误差（FPE）。
   • 证明了 FSSS 具有特征选择一致性：在适当条件下，它能以高概率返回“同等优秀的模型”集合（即从每个信号簇中恰好选出一个特征，且不选噪声特征）。
4. 解决“投票分裂”： 理论分析和实验表明，该方法能有效处理高度相关特征导致的稳定性评估失效问题。

4. 实验结果

作者在合成数据和真实的乳腺癌基因表达数据（GSE2990）上进行了验证：

• 合成数据实验：

  • 对比方法： 传统稳定性选择 (SS)、基于聚类的稳定性选择 (CSS)。
  • 结果： FSSS 在保持低假阳性率的同时，能够识别出更多的真阳性特征，且输出模型的预测误差（MSE）显著低于 SS 和 CSS。
  • 可视化： 在稳定性路径图中，SS 和 CSS 对高度相关的信号特征给出了较低的稳定性评分（受投票分裂影响），而 FSSS 能清晰地将信号与噪声分离。
  • 模型输出： SS 和 CSS 通常只输出一个模型，而 FSSS 输出一组稳定的模型，揭示了特征间的可替代性。

• 真实数据应用（乳腺癌预后）：

  • 使用 $\ell_0$ 回归作为基础算法。
  • FSSS 生成的模型具有更高的输出稳定性（Output Stability）和更好的预测性能。
  • 识别出的基因特征（如 CEP55, SETD8 等）与乳腺癌预后已知生物学机制一致。
  • 通过分析 FSSS 输出的多个模型，发现它们由高度相关的基因对组成，揭示了基因表达数据的聚类结构。

5. 意义与影响

• 重新定义不确定性： 在高度相关场景下，寻找“唯一最佳模型”往往是不现实的（Rashomon 效应）。FSSS 通过提供一组在子空间上等价且稳定的模型，更准确地量化了变量选择的不确定性。
• 提升可解释性： 通过识别“可互换”的特征组，帮助研究人员理解哪些特征在统计上是冗余的，哪些是核心信号，从而避免过度依赖单一特征选择结果。
• 通用性： 该方法不仅适用于线性回归，其框架也可扩展至广义线性模型（GLM）。
• 软件实现： 作者提供了 R 语言包 substab，包含计算相似性、稳定性度量以及 FSSS 算法的工具。

总结：
这篇论文通过引入子空间几何的视角，成功解决了高维相关数据中变量选择的不稳定性和相似性度量难题。FSSS 算法不仅提高了预测精度和特征发现的可靠性，还通过输出多个稳定模型，为理解复杂数据中的特征关系提供了新的视角和工具。