Post-reduction inference for confidence sets of models

1. 研究背景与问题 (Problem)

核心问题：
在回归分析中（特别是基因组学等高维数据场景，$p \gg n$），数据通常支持多个稀疏模型。传统的做法是使用变量选择算法（如 Lasso）选出“最佳”单模型进行推断。然而，Cox (1968) 和 Cox & Battey (2017) 指出，这种单一模型的选择往往具有误导性，因为不同的模型对应不同的科学解释。更诚实的做法是报告一个模型置信集（Confidence Set of Models, M），即所有在给定显著性水平下与数据兼容的稀疏模型集合。

主要挑战：

1. 计算不可行性：当变量数 $p$ 很大时，直接对所有可能的子集进行似然比检验是不现实的。
2. 减后推断（Post-Reduction Inference）：通常需要先进行变量筛选（Reduction），将 $p$ 维空间缩减为一个较小的“包络模型”（Encompassing Model, $\hat{E}$），然后再在 $\hat{E}$ 中构建置信集。
3. 数据重用导致的校准失效：由于 $\hat{E}$ 是基于数据构建的，它比任意模型更拟合数据。如果直接在 $\hat{E}$ 上使用标准的似然比检验（或 F 检验）来评估子模型，会导致过度拒绝（Over-rejection），使得置信集的实际覆盖率远低于名义水平（例如名义 95%，实际可能只有 2%）。
4. 现有方法的局限：
   • 样本拆分（Sample Splitting）：虽然能恢复覆盖率，但浪费了数据信息，且在小样本下可能导致信号变量在筛选阶段丢失。
   • 后选择推断（Post-selection Inference）：现有文献（如 Lee et al., 2016）主要关注参数推断，且假设推断目标是数据依赖的，而本文的目标（真实模型 $E^*$）是固定的，且筛选阶段仅用于聚焦分析，不决定推断对象。

2. 方法论 (Methodology)

本文提出了一种基于费舍尔条件推断（Fisherian Conditional Inference）原则的解决方案，核心在于利用充分性/共充分性（Sufficiency/Co-sufficiency）和辅助性（Ancillarity）的分离，避免数据重用带来的偏差，且无需指定备择假设的方向。

2.1 理论基础：共充分流形与辅助分离

• 共充分流形（Co-sufficient Manifold）：
  • 对于参数 $\theta$ 的充分统计量 $S=s(Y)$，数据 $Y$ 可以分解为 $(S, Q(S))$。
  • 给定观测值 $s_0$，条件分布 $Y | S=s_0$ 定义了一个流形 $Q(s_0)$。
  • 在正态线性模型中，若剔除均值子空间，残差向量投影到正交补空间后，在给定残差平方和的条件下，其方向向量在超球面上服从均匀分布。
  • 如果模型设定正确，观测到的数据方向应均匀分布在该流形上；若模型错误，则会出现聚集。
• 辅助统计量（Ancillary Statistic）：
  • 利用残差平方和 $R^2$（在正态模型中是 $\sigma^2$ 的辅助统计量）来检验误差分布的假设（如正态性 vs t 分布），进而辅助模型评估。

2.2 核心算法：随机化共充分信息划分 (Randomised Co-sufficient Information Partitioning)

为了克服直接使用单一观测值无法检验均匀性的问题，并避免样本拆分的信息损失，作者提出了一种随机化伪复制（Pseudo-replication）方法（基于 Rasines & Young, 2023 的扩展）：

1. 生成伪复制：
   • 利用原始数据 $Y$ 和独立生成的正态噪声 $L$，通过线性变换构造 $k$ 个伪复制向量 $\tilde{Y}^{(1)}, \dots, \tilde{Y}^{(k)}$。
   • 这些伪复制在给定均值模型下是独立同分布的（i.i.d.），且方差被调整。
2. 构造共充分统计量：
   • 对每个伪复制 $\tilde{Y}^{(i)}$，计算其在正交补空间上的投影方向 $\tilde{Q}^{(i)}$。
   • 在零假设（模型正确）下，这 $k$ 个方向向量应在超球面上均匀分布。
3. 假设检验：
   • 使用高维 Rayleigh 检验（Rayleigh Test）来检验这 $k$ 个方向向量是否均匀分布。
   • 如果模型错误（均值不在子空间内），这些方向向量将不再均匀，而是倾向于聚集在某个方向，导致 Rayleigh 统计量显著。
4. 方差估计的修正：
   • 由于 $\sigma^2$ 未知，需使用估计量。作者改进了 Fan et al. (2012) 的重拟合交叉验证估计量（Refitted Cross-Validation Estimator, $\hat{\sigma}^2_{rcv}$）。
   • 提出修正版重拟合交叉验证估计量（$\hat{\sigma}^2_{mrcv}$），并在部分数据（如 60%）上计算，以减少与检验统计量的依赖性，确保渐近分布理论的有效性。

2.3 辅助检验

• 利用残差平方和 $R^2$ 与估计方差 $\hat{\sigma}^2$ 的比值，基于 $\chi^2$ 分布进行辅助性检验，用于检测误差分布的假设是否成立。

3. 主要贡献 (Key Contributions)

1. 理论框架的明确化：首次将充分性/共充分性分离和辅助性分离明确应用于稀疏回归模型的置信集构建，解决了“减后推断”中的校准问题。
2. 无需方向性的检验：与传统的似然比检验不同，该方法不需要指定偏离原假设的方向，避免了因数据驱动筛选导致的偏差。
3. 随机化伪复制策略：提出了一种基于随机化生成伪复制的共充分信息划分方法，在不丢弃数据的前提下，实现了类似样本拆分的效果，同时保留了所有数据的信息用于模型评估。
4. 方差估计的改进：引入了修正的重拟合交叉验证估计量，并证明了其在构造检验统计量时的分布理论（Theorem 5.1），确保了在小样本下的校准性。
5. 几何洞察：从信息几何的角度解释了推断问题，展示了如何在提取估计信息后，利用剩余信息（共充分部分）进行模型充分性评估。

4. 数值结果 (Results)

作者通过模拟实验（$n=100, 120$, $p=400$）比较了以下方法：

• 共充分检验（Co-sufficient）：使用 Rayleigh 检验。
• 辅助检验（Ancillary）：使用 $\chi^2$ 检验。
• 样本拆分 F 检验（Split F-test）：60% 数据筛选，40% 数据检验。
• 无调整 F 检验（Naive F-test）：直接重用数据。

关键发现：

1. 覆盖率（Coverage）：
   • 无调整 F 检验：覆盖率极低（接近 0%），完全失效。
   • 样本拆分 F 检验：覆盖率接近名义水平（95%），但依赖于信号变量在筛选阶段幸存。在信噪比低或样本量小时，信号丢失率高，导致实际覆盖率下降。
   • 共充分与辅助检验：在大多数情况下表现出良好的覆盖率（接近 90%-95%）。在低信息量设置（小样本、弱信号）下，由于方差估计的偏差，覆盖率略高于名义水平（保守），但远优于无调整方法。
2. 置信集大小（Size of M）：
   • 共充分和辅助方法生成的置信集通常比样本拆分方法大得多（包含更多模型）。
   • 这反映了数据的真实不确定性：在信息不足时，诚实的推断应承认多个模型的可能性，而不是强行缩小范围。
3. 参数 $k$ 的影响：
   • $k$ 值（伪复制数量）越大，检验功效越高，置信集越小，但覆盖率可能略微下降。$k=2$ 通常提供较好的分布近似。
4. 筛选方法的影响：
   • Cox 缩减（Cox reduction）通常比 Lasso 保留更多的信号变量（在高相关性下），从而产生更小的置信集，同时保持高覆盖率。

5. 意义与结论 (Significance & Conclusion)

• 科学诚实性：该方法强调在变量选择后，不应盲目报告单一模型，而应报告一个置信集，以反映模型的不确定性。
• 超越样本拆分：虽然样本拆分在正态线性模型（F 检验精确）中效率较高，但在更复杂的模型（如广义线性模型、生存分析）中，由于渐近近似的不精确性，基于共充分分离的方法可能更具优势，因为它利用了数据的完整结构。
• 计算效率：相比于基于 MCMC 的精确条件推断，本文提出的随机化方法计算效率更高，适合处理高维数据。
• 扩展性：理论框架可推广至指数族模型（如逻辑回归）和加速寿命模型（对数正态分布），尽管具体实现（如共充分流形的计算）需要针对特定模型进行调整。

总结：
这篇论文为高维回归中的模型不确定性量化提供了一套严谨的统计推断框架。它通过利用费舍尔条件推断的深层原理（共充分性和辅助性），成功解决了变量筛选后推断的校准难题，避免了数据重用的陷阱，并在不牺牲数据信息的前提下，提供了比传统样本拆分更稳健的模型置信集构建方法。