技术摘要：用于回归任务的反事实残差数据增强

问题陈述

在医学、金融和制造业等领域的现实世界回归任务中，经常面临数据稀缺、数据采集成本高以及观测噪声大的问题。虽然数据增强是计算机视觉和自然语言处理领域取得成功的基石，但现有的技术（如几何变换、Mixup）通常依赖于保持标签不变的对称性或特定领域的不变性，而这些特性无法自然地转化为表格回归任务。因此，当训练样本有限时，监督学习模型往往无法捕捉潜在的过程，导致过拟合和泛化能力差。

方法论：反事实残差数据增强 (CRDA)

作者提出了一种名为反事实残差数据增强 (Counterfactual Residual Data Augmentation, CRDA) 的框架。该框架是模型无关的，旨在通过利用残差噪声的不变性，为表格回归合成新的、真实的训练样本。

核心洞察

该方法基于这样一个观察：一旦回归器对数据的系统性成分进行了建模，剩余的噪声（残差）可以被视为在精心选择的特征进行微小扰动下的不变成分。通过在保留此残差的同时修改特定特征，CRDA 生成了符合底层数据分布的反事实样本，且无需额外的现实世界数据。

理论基础

CRDA 的运行基于加性噪声结构因果模型 (Additive-Noise Structural Causal Model, SCM) 的假设：
$$Y = g(X_P, X_R) + Z$$
其中：

• $Y$ 是目标变量。
• $g(X_P, X_R)$ 是系统性成分（条件期望）。
• $Z$ 是结构噪声（残差）。
• $X_P$ 代表可扰动特征，$X_R$ 代表固定特征。

该方法依赖于假设 3.1（残差不变性）：给定固定特征 $X_R$，噪声项 $Z$ 与可扰动特征 $X_P$ 条件独立（即 $P(Z | X_P, X_R) = P(Z | X_R)$）。这意味着，扰动 $X_P$ 会改变系统性预测，但不会改变实例特定的噪声。

算法工作流

CRDA 流水线（算法 1）步骤如下：

1. 基准训练： 在原始数据集 $D_{train}$ 上训练一个基础回归器 $\hat{g}$（例如 MLP 或 XGBoost）。
2. 残差计算： 计算经验残差：$\hat{z}_i = y_i - \hat{g}(x_i)$。
3. 特征选择（独立性过滤）： 为了满足假设 3.1，算法识别出一组可能与残差独立的特征子集 $X_P$。这通过以下方式实现：
   • PC 算法： 通过因果图检查以移除与残差 $\hat{Z}$ 存在直接边的特征。
   • 相关性检查： 移除与 $\hat{Z}$ 强相关的特征。
   • 剩余特征构成 $X_P$；其余特征构成 $X_R$。
4. 反事实生成： 对于每个训练样本，生成 $M$ 个合成样本：
   • 使用均匀缩放因子扰动 $X_P$：$x'_{i,P} = x_{i,P} \cdot (1 + \delta)$，其中 $\delta \sim \text{Unif}[-p, p]$。
   • 保持 $X_R$ 固定。
   • 通过保留原始残差来计算反事实标签：$y'_i = \hat{g}(x'_i) + \hat{z}_i$。
5. 安全性验证： 在最终重新训练之前，通过 K 折交叉验证，将基准模型的性能与使用增强数据训练的模型进行 Wilcoxon 符号秩检验。如果 p 值表明没有统计学上的显著改进，则拒绝增强，并保留基准模型。
6. 最终重训练： 如果验证通过，则在原始数据与增强数据的并集上训练最终模型。

主要贡献

1. 全新的数据增强框架： 一种围绕反事实推理和残差不变性的模型无关型表格回归数据增强策略，避免了对领域特定启发式方法的依赖。
2. 残差不变性原则： 形式化了如何选择特定的特征进行扰动而不破坏噪声结构，为增强过程中的特征选择提供了理论依据。
3. 实证验证： 在合成基准测试和真实世界数据集（UCI, PMLB, Kaggle）上进行了全面的评估，证明了其在神经模型（MLP）和集成模型（XGBoost）上的一致性提升。

实验结果

作者在九个具有不同样本规模的基准数据集上评估了 CRDA，并将其与以下方法进行了对比：

• 基准模型： 无增强。
• 竞争对手： 最先进的回归增强方法（C-Mixup, ADA）以及深度生成模型（CTGAN, TVAE, TabDDPM）。

主要发现：

• 性能提升： 在所有数据集中，平均而言，CRDA 使 MLP 回归器的均方误差 (MSE) 降低了 22.9%，使 XGBoost 回归器的 MSE 降低了 6.4%。
• 鲁棒性： 不同于几何方法（如 ADA, C-Mixup）表现出的灾难性失败模式（在某些情况下 MSE 增加超过 100%）以及深度生成模型往往会导致性能下降的情况，CRDA 始终能稳定地提高或维持性能，且没有明显的性能退化。
• 样本量依赖性： 该方法在样本量处于“甜点区”（例如 MLP 的 2.5k–20k）时最为有效，此时基准模型已学习到主要信号，但仍能从局部特征空间的探索中获益。对于极小数据集，基准模型过于不准确，无法产生有意义的残差；对于极大数据集，基准模型本身已趋于最优。
• 安全性机制： Wilcoxon 安全门成功防止了在增强无效的情况下进行增强（例如在使用较弱的线性回归基准时），确保了该方法不会降低性能。

意义与主张

本文将 CRDA 定位为解决噪声多、样本量小的回归场景的一种简单且高效的补救措施。其意义在于：

• 实用性： 它不需要领域特定知识或复杂的生成模型，使其能够广泛适用于各种回归器。
• 理论基础： 通过从因果反事实和残差不变性的角度构建增强过程，它为直觉式的插值方法提供了一个原则性的替代方案。
• 可靠性： 内置的安全性验证确保了该方法在增强假设（残差独立性）失效或基准模型不足的情况下，能够起到“护栏”作用，防止性能下降。

作者总结道，CRDA 提供了一种稳健的方法，可以在不需要额外现实数据的情况下扩展数据集，从而有效地减少方差并提高数据稀缺情况下的模型拟合度。未来的工作建议将这些原则扩展到分类任务，并探索更稳健的因果发现算法来进行特征划分。