Outcome-Calibrated Regression and Predicted Outcome-Based Inference

技术摘要：结果校准回归与基于预测结果的推断

问题陈述
普通最小二乘法（OLS）回归是科学推断的标准工具，因其在高斯 - 马尔可夫定理下作为最佳线性无偏估计量（BLUE）的特性而备受推崇。这一特性确保了给定协变量（$X$）时预测值是无偏的，即 $E(\hat{Y} - Y | X = x) = 0$。然而，作者指出了一个关键但常被忽视的缺陷：OLS 预测值在给定结果（$Y$）时通常不是条件无偏的。

由于最小化均方误差，OLS 预测值会系统地收缩至结果总体均值（$\mu_Y$）。这导致了一种“均值回归”（RTM）现象，即较大的结果值被低估，而较小的结果值被高估。数学上，条件预测偏差为 $E(\hat{Y}_{OLS} - Y | Y = y) = (\eta_{OLS} - 1)(y - \mu_Y)$，其中 $\eta_{OLS} < 1$ 代表将预测值对真实结果进行回归的总体斜率（等同于总体 $R^2$）。

这种偏差为基于预测结果的推断造成了不可忽视的问题，这是一种在脑龄分析、多基因风险评分研究和因果推断等领域的常见做法，在这些领域中真实结果 $Y$ 未被观测或测量成本高昂，推断是基于预测值 $\hat{Y}$ 与变量 $W$ 进行的。作者证明，这种收缩会传播到下游分析中，系统地衰减 $\hat{Y}$ 与 $W$ 之间估计的关联，导致效应估计偏差，并可能得出错误的科学结论。

方法：结果校准回归（OCR）
为解决这一问题，作者提出了结果校准回归（OCR），这是一个在模型拟合过程中直接强制实现结果条件无偏性的新框架。

1. 校准约束：该方法对回归系数 $\beta$ 施加两个线性等式约束：

   • 单位斜率：预测值对观测结果的回归斜率必须为 1（$\hat{\eta} = 1$）。这确保了预测值与观测值之间的协方差等于观测值的方差。
   • 零截距：该校准回归的截距必须为 0（$\hat{\alpha} = 0$）。这确保了拟合值的均值与观测结果的均值相匹配。

2. 闭式解：OCR 被表述为一个约束最小二乘问题：
   $$\hat{\beta}_{OCR} = \arg\min_{\beta} \frac{1}{2n}\|y - X\beta\|_2^2 \quad \text{s.t.} \quad A\beta = c$$
   其中 $A\beta = c$ 编码了斜率和截距约束。作者利用拉格朗日乘子法推导出了闭式解，表明 OCR 估计量是 OLS 估计量的线性调整：
   $$\hat{\beta}_{OCR} = \hat{\beta}_{OLS} - K(A\hat{\beta}_{OLS} - c)$$
   这里，$K$ 充当校准校正矩阵，将 OLS 估计量的约束违反情况映射为系数调整。

3. 理论性质：

   • 约束高斯 - 马尔可夫：在所有满足校准约束的线性无偏估计量中，$\hat{\beta}_{OCR}$ 具有最小方差。
   • 下游无偏性：在假设残差 $(\hat{Y}_{OCR} - Y)$ 在给定 $Y$ 的条件下与外部变量 $W$ 独立的假设下，$\hat{Y}_{OCR}$ 对 $W$ 的回归系数可恢复真实的总体系数 $\theta$，且无衰减。
   • 推断：本文提供了 $\hat{\beta}_{OCR}$ 的方差 - 协方差矩阵、标准误以及有效的置信/预测区间的公式，并指出由于参数空间的限制，其方差通常不大于 OLS 的方差。

主要结果
作者通过模拟研究验证了 OCR，在不同样本量（$n$）、预测变量维度（$p$）和噪声水平（$\sigma$）下将其与 OLS 进行了比较。

• 校准：OLS 始终表现出显著小于 1 的校准斜率（$\hat{\eta}$）（根据噪声水平不同，范围从 0.335 到 0.837），而 OCR 在所有场景下均实现了精确校准（$\hat{\eta} = 1.000, \hat{\alpha} = 0$）。
• 下游推断：当将预测结果对外部变量 $W$ 进行回归以估计真实关联 $\theta$ 时：
  • OLS：产生了严重偏差的估计（偏差 $\approx -0.50$），95% 置信区间的经验覆盖率为 0%。偏差与标准差的比率极高，表明系统性偏差主导了抽样变异性。
  • OCR：产生了近似无偏的估计（$|偏差| < 0.25$，通常更低），经验覆盖率接近名义上的 95%（范围从 95.2% 到 98.6%）。
• 权衡：校准约束的强制执行导致预测本身的均方误差（MSE）相比 OLS 更高，特别是在高噪声条件下。然而，预测误差的这种增加是消除下游推断中系统性偏差所必需的成本。

意义与主张
作者声称，OLS 中的均值回归偏差是该方法的固有属性，而非有限样本的伪影，且其对下游推断的后果迄今为止在很大程度上未被表征。

OCR 的意义在于它能够在使用预测结果作为未观测真实值的替代物时实现有效的统计推断。作者指出，OCR 特别适用于以下领域：

• 使用预测暴露或结果进行因果效应估计。
• 脑龄差距分析和生物衰老时钟。
• 多基因风险评分关联研究。
• 双样本孟德尔随机化。
• 仅共享模型预测的联邦学习或迁移学习设置。

通过将标准的 OLS 预测替换为 OCR 校正后的预测，研究人员可以消除由均值回归引起的效应量系统性衰减，从而减少下游科学结论中的偏差。作者提出 OCR 并非在所有情境下都替代 OLS，而是专门针对涉及基于预测结果进行推断的目标时，作为一个必要的框架。