Bias Correction for Semiparametric Regression Models

技术摘要：半参数回归模型的偏差校正（SABRE）

1. 问题陈述

本文解决了半参数文献中的一个关键缺口，即针对响应变量 $Y$ 在给定协变量 $(x, z)$ 下的条件分布形式为 $f\{Y | x^T\beta + m(z), \phi\}$ 的模型。在这类模型中：

• $\beta$ 是维度为 $p$ 的参数分量，允许其随样本量 $n$ 发散。
• $m(\cdot)$ 是未知的平滑非参数函数。
• $\phi$ 是离散参数。

尽管现有文献主要致力于实现 $\beta$ 的半参数有效性（通常将 $\phi$ 和 $m(\cdot)$ 视为 nuisance 参数），但很大程度上忽略了有限样本偏差。作者认为，在有限样本中——特别是当 $p/n$ 比率较大、离散度较高，或数据存在误分类（例如在电子健康记录或仅标签的差分隐私中）时——标准估计量表现出显著的偏差。这种偏差破坏了 $\beta$ 的置信区间（CIs）和假设检验的准确性，并导致 $\phi$ 的估计不可靠，而 $\phi$ 往往是直接的科学兴趣所在。

2. 方法论：SABRE

作者提出了 SABRE（半参数偏差减少估计），这是一个统一的、基于模拟的偏差校正框架。该方法论分为三个主要阶段：

A. 参数近似模型
由于真实模型包含未知函数 $m(\cdot)$，SABRE 首先使用 B 样条展开来近似 $m(\cdot)$：
$$m(z) \approx B(z)^T \alpha = \sum_{j=1}^K \alpha_j B_j(z)$$
其中 $B_j(z)$ 是 B 样条基函数，$\alpha$ 是系数向量。这将半参数模型转化为具有参数向量 $\gamma = (\beta^T, \alpha^T)^T$ 的参数近似模型。

B. 初始估计量（sMLE）
通过基于观测数据求解 $\gamma$ 和 $\phi$ 的得分方程，获得初始估计量，记为 B 样条最大似然估计量（sMLE）。令 $\hat{\gamma}$ 和 $\hat{\phi}$ 表示这些初始估计值。

C. 基于模拟的校正
SABRE 将最终估计量 $(\tilde{\gamma}, \tilde{\phi})$ 定义为以下估计方程的解，该方程将观测到的初始估计量与其在参数近似模型下的期望值相等：
$$\begin{pmatrix} \tilde{\gamma} \\ \tilde{\phi} \end{pmatrix} = \text{argzero}_{\gamma, \phi} \begin{pmatrix} \hat{\gamma} - E_{\gamma, \phi}[\hat{\gamma}^*(\gamma, \phi)] \\ \hat{\phi} - E_{\gamma, \phi}[\hat{\phi}^*(\gamma, \phi)] \end{pmatrix}$$
在此，$\hat{\gamma}^*(\gamma, \phi)$ 和 $\hat{\phi}^*(\gamma, \phi)$ 是基于具有参数 $(\gamma, \phi)$ 的 B 样条近似模型生成的合成数据计算得到的 sMLE。期望值 $E_{\gamma, \phi}[\cdot]$ 通过蒙特卡洛模拟进行近似。为了处理高维情况下的计算负担，作者采用随机逼近方法来求解这些方程，而无需在每一步显式计算期望值。

3. 主要贡献

本文概述了四项主要贡献：

1. 该类模型的首个框架：SABRE 被提出作为首个专门针对此类具有发散维度 $p$、函数分量 $m(\cdot)$ 和离散参数 $\phi$ 的广泛半参数模型的偏差校正框架。
2. $\beta$ 和 $\phi$ 的偏差减少：与假设固定 $p$ 或仅关注 $\beta$ 的现有方法不同，SABRE 在不依赖稀疏性假设或惩罚方法的情况下，实现了参数分量 $\beta$ 和离散参数 $\phi$ 的偏差减少。它允许 $p$ 以 $p^2 \log(n) n^{-1} \to 0$ 的速率发散。
3. 渐近有效性：作者证明，SABRE 对 $\beta$ 的估计量保留了与初始 sMLE 相同的渐近方差。因此，偏差校正在不增加方差的情况下实现，从而保持了半参数有效性。
4. 理论发展：在广义部分线性模型（GPLMs）的子类中，本文提供了严格的渐近理论，证明了：
   • $\tilde{\beta}$ 和 $\tilde{\phi}$ 的收敛速率。
   • 减少的偏差阶数：$\tilde{\beta}$ 的偏差被证明为 $O(h^q) + O((p+N)^{3/2}n^{-3/2})$ 阶，这小于标准估计量的 $O(n^{-1})$ 偏差，并且快于固定维度参数设定中调整得分方法的 $O(n^{-1})$ 偏差。
   • $\tilde{\beta}$ 的渐近正态性，为标准的推断程序（CIs 和假设检验）提供了依据。

4. 实证结果

作者通过全面的模拟研究和真实数据应用验证了 SABRE：

• 模拟研究：

  • 部分线性逻辑回归（误分类数据）：在具有误分类二值结果且 $p/n$ 比率变化的设定中，SABRE 在所有情景下均保持了可忽略的偏差。相比之下，标准 sMLE 随着 $p/n$ 或误分类率的增加表现出显著偏差，导致置信区间覆盖率不佳。调整得分方法（sMLE-BR）在误分类下表现不一致。SABRE 始终生成了具有准确覆盖率且长度更短的置信区间。
  • 离散度估计（逆高斯分布与负二项分布）：对于具有高离散度和大 $p/n$ 的模型，标准 sMLE 在估计 $\phi$ 时表现出显著偏差。SABRE 显著减少了这种偏差，并与竞争对手相比实现了更低的均方根误差（RMSE）。

• 真实数据应用（早期糖尿病）：

  • 作者分析了一个包含 520 名个体的数据集，以模拟症状与糖尿病状态之间的关联，同时考虑了潜在的误分类（假阴性）。
  • SABRE 产生的置信区间比 sMLE 短约 20%，相当于有效样本量增加了约 56%。
  • 至关重要的是，SABRE 识别出了脱发与糖尿病之间的统计学显著关联（与临床文献一致），而标准 sMLE 由于偏差未能检测到这种关联。

5. 意义与主张

本文声称，有限样本偏差是现代半参数推断中的一个核心问题，特别是在高维设定以及涉及噪声数据或隐私数据的设定中。SABRE 的重要性在于其能够：

• 在不牺牲有效性的情况下校正偏差：它在减少 $\beta$ 和 $\phi$ 偏差的同时，保持了初始估计量的最优方差性质。
• 处理复杂的现代设定：它适用于具有发散维度、非参数分量以及复杂数据机制（如误分类和仅标签的差分隐私）的模型。
• 改善科学推断：通过提供更准确的置信区间和减少偏差，SABRE 增强了下游推断的可靠性以及具有科学意义效应的检测能力，正如在糖尿病应用中所展示的那样。

作者指出，虽然完整的渐近理论是针对 GPLM 子类发展的，但该方法论适用于更广泛的模型类，且数值实验表明其在 GPLM 之外也表现出令人鼓舞的性能。他们承认，由于推导具有特定分布的性质，针对完整类的完整形式理论仍是未来工作的主题。