技术摘要：缺失数据插补中的分布偏移

问题表述

本文解决了缺失数据插补的根本挑战，特别关注用于训练的观测数据分布与评估所需的全数据分布之间的差异。尽管许多最先进的插补方法（如 GAIN、MIWAE、MICE、MissForest）在风险最小化框架下运行，但它们通常仅在观测条目上进行训练，而未明确校正由缺失机制引起的分布偏移。

作者将问题形式化为在全数据分布上最小化均方误差（MSE）风险。他们证明，当缺失概率依赖于数据时（特别是在随机缺失 (MAR) 假设下），训练分布（观测数据）与目标分布（全数据）存在差异。这造成了一个协变量偏移问题，即在观测数据上进行标准的经验风险最小化，会导致全数据风险的估计量产生偏差。

方法论

理论基础

核心理论贡献是将插补风险推导为观测数据上的重要性加权期望。

• 风险分解：全局 MSE 风险被分解为坐标-wise 风险之和。对于特定缺失坐标 $i$，风险 $J_i(g_i)$ 定义在未观测子群体（$R_i=0$）上。
• 协变量偏移关联：在 MAR 假设（$p(r|x) = p(r|x_{obs})$）和重叠条件下，作者表明未观测子群体上的风险可以重写为观测子群体（$R_i=1$）上的期望，并乘以重要性因子：
  $$w_i(x_{obs}, r_{\neg i}) = \frac{p(x_{obs}, r_{\neg i} | R_i = 0)}{p(x_{obs}, r_{\neg i} | R_i = 1)}$$
  该权重校正了观测组与未观测组之间协变量边际分布的偏移。现有方法被证明隐式地省略了这一加权项，实际上是在错误的分布上进行优化。

提出算法：加权迭代插补

为了将上述理论付诸实践，作者提出了一种加权迭代插补算法（算法 1），该算法扩展了标准的轮询迭代方法（如 MICE、HyperImpute）。

1. 迭代框架：算法遍历部分观测变量。在每一步中，利用所有其他变量的当前值作为预测因子，为目标变量拟合一个条件插补模型 $g_i$。
2. 代理风险：算法最小化的不是标准重构损失，而是包含估计重要性权重的代理风险：
   $$J_i^{(t)}(g_i) = \mathbb{E}\left[ w_i(\hat{X}_{\neg i}^{(t)}) (g_i(\hat{X}_{\neg i}^{(t)}) - X_i)^2 \mid R_i = 1 \right]$$
3. 权重估计：由于真实权重依赖于未知分布，它们在每次迭代中（算法 2）使用二元分类模型（逻辑回归）进行估计，以估算缺失概率 $p(R_i=1 | \hat{X}_{\neg i})$。随后，权重被计算为逆概率比。
4. 实际稳定化：为了管理与重要性加权相关的高方差，作者采用了多种稳定化技术：
   • 将权重截断在第 5 和第 95 百分位。
   • 移除方差接近零的特征。
   • 引入调节参数 $\gamma$（权重变为 $w_i^\gamma$）以控制权重的影响，并通过交叉验证进行调整。
   • 采用“热启动”策略来调整 $\gamma$，以减少计算开销。

主要贡献

1. 理论形式化：本文严格证明了 MAR 下的插补等价于一组协变量偏移问题，并推导了将观测数据分布与全数据分布对齐所需的具体重要性权重。
2. 新颖算法：提出了一种实用的轮询迭代算法，将重要性权重整合到训练目标中，明确校正分布偏移。
3. 实证验证：该方法在多样化数据集（表格、时间序列和图像数据）和模型类别（线性、随机森林、MLP）上与未加权基线（使用相同的条件模型类别）及最先进方法进行了基准测试。

实验结果

作者在八个数据集上评估了其方法，模拟了缺失性与观测协变量之间具有不同依赖强度的 MAR 条件。

• 性能提升：与未加权基线相比，加权方法一致降低了均方根误差（RMSE）和 Wasserstein 距离（WD）。
  • RMSE 平均降低3%，Wasserstein 距离平均降低7%。
  • 改进在简单模型（线性）以及强协变量偏移（高 MAR 依赖）的设置中最为显著。
• 模型表达能力：理论分析和实证结果表明，随着条件模型表达能力的增强（例如随机森林和 MLP），加权的益处会减弱。这归因于偏差 - 方差权衡；高表达能力的模型即使没有显式加权也能很好地逼近目标函数，而简单模型则更依赖这种校正。
• 下游任务：在下游回归和分类任务中，加权插补通常带来了预测性能的统计显著性提升，特别是在线性模型以及与未插补基线相比时。
• 鲁棒性：在违反 MAR 假设（MNAR）或权重模型误设的情况下，该方法表现出渐进的性能下降，而非突然失效，前提是缺失的主要驱动因素已被观测数据捕捉。
• 效率：计算成本可控，复杂模型（RF/MLP）的运行时间仅增加约 10%，而由于具体的实现细节，线性模型显示出显著的速度提升。

意义与主张

本文主张，分布偏移是风险型插补中固有且常被忽视的问题。通过将插补框架化为协变量偏移问题，作者为使用重要性加权提供了原则性依据。

• 其意义在于证明，明确考虑观测数据与全数据分布之间的偏移，能够实现更准确的插补，并更好地保持底层数据分布（保真度）。
• 作者将其工作定位为对现有风险最小化框架的必要完善，认为如果没有这种校正，插补模型优化的将是观测数据分布，而非有效推断所需的真实数据分布。
• 论文在局限性方面保持适度，承认该方法在弱 MAR regime 或近似误差已经很低的高度表达能力模型中可能带来的收益有限，且性能取决于权重估计的质量。