技术摘要：高维回归中具备偏差感知能力的外部模型辅助推断

问题陈述

现代统计实践经常面临信息不对称的问题：虽然拥有丰富的协变量，但由于专家标注或实验的成本过高，导致高质量的有标签响应数据十分稀缺。与此同时，机器学习预测器（通常是迁移学习或基础模型生成的）可以廉价但并不完美地填补缺失的响应值。推断的挑战在于，如何利用这些丰富的无标签协变量和外部预测器，在不继承预测器偏差的情况下，使目标参数的结论更加精确。

现有的框架，如预测驱动推断（Prediction-Powered Inference, PPI）及其功率调优变体 PPI++，试图通过在小规模有标签样本上估计“校正器”（rectifier）来修正预测输出。然而，本文指出 PPI 在线性回归中存在结构性缺陷：当工作模型与预测器均为线性时，校正器会完全抵消预测器的贡献。因此，PPI 和 PPI++ 会退化为仅基于有标签数据的普通最小二乘法（OLS），无论预测器质量如何。此外，如果预测器经过估计且接近真值函数（oracle function），校正器可能会引入噪声，导致方差高于仅使用有标签数据的基准水平。在高维设置下，真正的效率提升必须通过除预测校正之外的其他机制来实现。

方法论：DEAL 估计量

作者提出了去偏外部模型辅助 Lasso（Debiased External-model-Assisted Lasso, DEAL），这是一个旨在通过去偏估计量的方差而非通过预测校正器，从无标签设计中提取效率的四阶段程序。

1. 偏差感知初始化：
   该程序始于一个外部估计量 $\hat{\beta}_{ext}$（可能来自迁移学习）。DEAL 并不直接使用该估计量，而是基于有标签数据构建一个“单步校正” $C$。通过一个独立的调优子样本估计数据驱动的收缩水平 $\hat{t} \in [0, 1]$。这种收缩将校正过程视为对未知偏差向量的一个带噪观测。初始化器由 $\tilde{\beta}_{init} = \hat{\beta}_{ext} + \hat{t}C$ 构成。

   • 如果外部估计量不具信息量，则 $\hat{t} \to 0$，退化为仅针对目标数据的处理方法。
   • 如果估计量接近真值，则 $\hat{t} \to 0$（关闭校正以避免引入噪声）。
   • 如果估计量存在偏差但具有信息量，则 $\hat{t} \to 1$，利用该校正。

2. 伪标签填补：
   使用初始化器 $\tilde{\beta}_{init}$ 为无标签协变量 $\tilde{X}$ 填补伪标签 $\tilde{f} = \tilde{X}\tilde{\beta}_{init}$。

3. 堆叠 Lasso（Stacked Lasso）：
   在由原始有标签数据 $(X_0, y_0)$ 和伪标签数据 $(\tilde{X}, \tilde{f})$ 组成的堆叠数据集上拟合 Lasso 估计量。这一步利用扩大的样本量 ($n_0 + N$) 来实现更精细的初始拟合和更稳定的精度矩阵估计。

4. 最终去偏：
   对堆叠 Lasso 估计量应用标准的去偏步骤，使用近似逆协方差矩阵（通过 Javanmard-Montanari 或节点 Lasso 方法构建）。这恢复了渐近正态性和有效的置信区间。

关键改进：

• 方差平衡规则： 无标签样本量 $N$ 不是固定的，而是根据数据进行选择，以平衡减少领先噪声方差与引入残余偏差方差之间的关系。
• 协变量偏移处理： 引入了一种用于去偏矩阵的单侧替换规则，以在无标签协变量分布比目标分布更分散（协变量偏移）时恢复覆盖率。
• 非线性标签器： 该框架通过在来自目标边缘分布的辅助样本上对预测器进行线性化，将其扩展到非线性标签器，从而确保偏差感知步骤在模型误设下依然有效。

核心贡献与理论结果

1. PPI 的结构性局限： 本文证明（命题 1），在正确指定的线性模型下，PPI 校正器会湮灭预测器的贡献，使 PPI 退化为仅针对有标签数据的 OLS。这确立了在线性设置中，效率无法通过校正器均值获得。
2. 方差通道效率： DEAL 将无标签协变量引入去偏估计量的方差中。理论分析表明，在线性标签器下，DEAL 实现的置信区间严格短于仅针对目标的去偏 Lasso、PPI 和 PPI++。渐近方差比由 $G(\kappa, t_0) = (\frac{1+t_0\kappa}{1+\kappa})^2$ 给出，其中 $\kappa = N/n_0$。当外部估计量具有信息量时（$t_0 < 1$），该比例严格小于 1。
3. 对误设与非线性的鲁棒性：
   • 在模型误设的情况下，DEAL 对总体最小二乘投影参数 $\beta^*_{proj}$ 提供有效的推断。
   • 对于非线性标签器，在全无标签饱和状态下，DEAL 严格优于经过最优调优的 PPI++，而 PPI++ 则受限于不可约的标签噪声。
4. 协变量偏移有效性： 本文引入了一种偏移感知修改，即使在无标签协变量的协方差大于目标分布（向上偏移）的机制下，也能保持标称覆盖率，而在这种机制下，标准的合并估计量会失效。
5. 自适应收缩： 数据驱动的收缩参数 $\hat{t}$ 能适应外部估计器的质量，确保在从无信息到接近真值的各种机制下均保持有效性。

实证结果

作者通过蒙特卡洛模拟和涵盖天文学、材料化学、蛋白质组学和肿瘤学的六个真实数据应用案例验证了理论。

• 模拟： 在高维设置（$p \gg n_0$）下，在保持标称覆盖率的前提下，DEAL 置信区间长度为仅针对目标的去偏 Lasso 区间的 0.49 至 0.87 倍。相比之下，PPI 和 PPI++ 的区间长度仍接近去偏 Lasso 基准（比例 $\approx 1.0$）。
• 真实数据应用： 在六个多样化的应用中（包括一个使用大语言模型作为零样本真值模型的应用），DEAL 一致地收紧了置信区间。DEAL 区间与去偏 Lasso 区间的比例中位数在 0.23 至 0.53 之间。
  • 可重复性： 与去偏 Lasso（选择频率 0.26–0.63）和 PPI++（0.26–0.61）相比，DEAL 选出的显著坐标具有更高的 Bootstrap 稳定性（选择频率 0.66–0.97）。
  • 泛化能力： 在具有样本外拟合能力的案例（星系形态和带隙）中，DEAL 的发现实现了正向的样本外 $R^2$，而其他方法的结果为负或接近于零。
• 标签器独立性： 至关重要的是，即使外部标签器的预测准确度极低（例如在蛋白质组学中相关性 $\approx 0.09$），效率提升依然存在。当标签器被置换为（无信息的）替代物时，DEAL 的区间会回落至去偏 Lasso 基准，这证实了其增益源于无标签设计对精度矩阵的强化，而非来自标签器的准确度。

意义与声明

本文声称其主要贡献在于重新定位了外部模型的作用：从均值（通过校正器）转向方差（通过去偏估计量）。这种转变使得该方法能够绕过线性模型中固有的结构性抵消问题。

作者强调，DEAL 在处理基础模型和合成数据时代的数据时特别具有意义，因为在这些场景下，分析师往往无法控制或无法审计外部预测器的校准情况。通过将外部模型视为“黑盒”，并利用收缩机制保护推断免受其偏差影响，DEAL 将一个不受控的标签器转化为了一个无害甚至有益的工具。该方法被声称是专门针对高维稀疏线性机制的更精锐的工具，在 PPI 无法改进仅针对标签数据的基准水平时，它能提供有效的推断和更短的区间。

论文对其适用范围保持了适度的审慎，承认了以下几点：

• 在模型误设的情况下，它推断的是最佳线性投影，而非真实的非线性条件均值。
• 效率提升取决于有标签设计是否为限制因素；如果有标签样本已经足够大或条件良好，其收益会减小。
• 该方法依赖于高维稀疏线性机制（去偏 Lasso、节点 Lasso），并非通用的 M-估计器（如 PPI）。