🤖 machine learning

The Hidden Cost of Resampling: How Imbalance Correction Degrades Probability Calibration in Tree Ensembles

本文表明，虽然 SMOTE 会略微降低树集成模型的概率校准度，但随机欠采样在高不平衡比例下会导致严重的校准误差，不过这两类问题都可以通过事后重校准得到有效解决，且不会显著牺牲排序性能。

原作者： Zewen Liu

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Zewen Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是该论文的通俗易懂版解释。

大局观：修复不平衡带来的“隐藏成本”

想象你是一名老师，正在为一个班级的成绩进行评分。这个班级里 99% 的学生都很优秀（“多数派”），只有 1% 的学生在挣扎（“少数派”）。如果你只看平均分，这个班级看起来非常完美。但如果你想帮助那些挣扎的学生，你就需要额外关注他们。

在机器学习中，这被称为类别不平衡（class imbalance）。为了解决这个问题，数据科学家会使用**重采样（resampling）**技术：

过采样 (SMOTE)： 他们创建一些“合成”的挣扎学生副本，让班级看起来更加平衡。
欠采样 (Undersampling)： 他们扔掉大部分优秀的同学，这样挣扎的学生才不会被淹没。

论文的发现：
作者发现，虽然这些“修补”技巧能让模型更好地进行排序（即找出谁在挣扎），但它们会在暗中破坏模型告诉你它有多确定的能力。

想象一位天气预报员。如果他说：“有 70% 的降水概率”，你会预期在 10 次情况中有 7 次会下雨。如果一个模型是经过校准的（calibrated），它就会说实话。如果模型未经过校准（miscalibrated），它可能会在实际降水概率仅为 10% 的时候，却说“70%”。

这篇论文提出了一个问题：这些“修复”技巧是否破坏了模型对其自身置信度的诚实度？

三个主要发现

1. “合成副本”技巧 (SMOTE) 是一个微小的代价

类比： 想象你有一个蛋糕配方，但你只有一个鸡蛋。为了做出更多蛋糕，你复印了关于这个鸡蛋的使用说明。蛋糕的味道依然很好（模型能找对人），但关于“应该用多少蛋”的说明变得有点模糊了。
结果： 使用 SMOTE（创建合成数据）确实会让模型在表达置信度时变得稍微不那么诚实。然而，这种损害是微小的。模型仍然能很好地找到挣扎的学生，而且这种轻微的“诚实度”损失通常是值得的，因为换来了更好的识别能力。

2. “扔掉数据”技巧 (Undersampling) 是危险的

类比： 想象你有 1,000 名学生，但你决定扔掉其中的 990 名，仅仅为了专注于那 10 名挣扎的学生。现在，你正试图仅凭 10 个例子来学习一门复杂的学科。你可能会靠运气猜对答案，但你的信心会变得完全失控。
结果： 随机欠采样才是真正的“反派”。当不平衡程度非常大时（例如 70 比 1），这种方法会摧毁模型的诚实度。模型会变得严重过度自信。它会说：“我有 99% 的把握！”但实际上它只是在盲目猜测，因为它没有足够的数据来学习。

3. “神奇的修复方案” (Recalibration)

类比： 想象一个温度计很准确，但读数总是偏高 5 度。你不需要重建温度计，你只需要贴一个标签，上面写着“减去 5”。
结果： 作者发现了一个简单且廉价的修复方法。在模型训练完成后（即使使用了上述那些“糟糕”的技巧），你可以通过一个快速的“重校准”步骤（使用 Platt scaling 或 Isotonic regression 等方法）来处理它。

这几乎完全修复了诚实度问题。
它对模型排序能力的消耗几乎为零。
关键点： 你不能仅仅用一个数学公式来“撤销”合成数据（SMOTE）的影响，因为 SMOTE 改变的是数据的“形状”，而不仅仅是数值。你需要一个基于数据的“标签”（重校准）来修复它。

这对你意味着什么

如果你正在构建一个基于概率做出决策的系统（例如：“这笔贷款是否有风险？如果风险 > 20%，则拒绝”），那么你必须关心校准度。

陷阱： 大多数人只检查模型是否找到了“坏案例”（使用 F1 或 AUC 等指标）。论文表明，重采样往往会提高这些分数，让你误以为模型表现得非常出色。
现实： 虽然模型在寻找坏案例方面做得更好，但它的概率数值可能在欺骗你。它可能说“风险为 20%”，但实际风险可能是 50%。
解决方案：
1. 如果你使用了重采样，务必检查模型的校准度（诚实度），而不仅仅是准确率。
2. 如果你在高度不平衡的数据上使用欠采样，请务必小心；它可能会破坏模型的信心。
3. 如果你的系统依赖于概率数值，务必在最后添加一个重校准步骤。这是一个廉价的修复方案，可以防止你基于虚假的信心做出错误的决策。

一句话总结

重采样有助于模型发现罕见事件，但它往往会破坏模型表达其确定性的能力；不过，一个简单的“重校准”步骤可以在不破坏模型性能的前提下，修复这种被破坏的诚实度。

技术摘要：树集成模型中重采样带来的隐藏代价

1. 问题陈述

类别不平衡在欺诈检测和疾病筛查等高风险领域广泛存在。标准的补救措施涉及重采样技术——具体包括合成少数类过采样技术（SMOTE）、随机过采样（ROS）和随机欠采样（RUS）——以平衡训练集。虽然这些方法通常使用判别指标（如 F1 分数、AUC、少数类召回率）进行评估，但几乎从未针对**概率校准（probability calibration）**进行过评估。

许多部署中的系统依赖于预测概率来进行下游决策（例如，期望成本优化、分诊阈值）。重采样会刻意扭曲训练过程中观察到的类别先验，这导致了一个假设：它也会扭曲输出的概率。本文研究了重采样是否会降低树集成模型的校准度，这种退化如何随不平衡比（IR）缩放，以及事后校正是否能在不牺牲排序能力的情况下修复这种损伤。

2. 研究方法

本研究采用了一种严谨的、基于多种子、配对统计的实验设计，涵盖五个公开的二分类数据集（不平衡比范围从 1.9 到 70.1）和两种树集成模型：随机森林（RF）和直方图梯度提升（HGB）。

实验条件：
- 基准（Baseline）： 无重采样。
- 重采样： SMOTE、ROS 和 RUS（在训练折中针对 1:1 的类别平衡）。
- 对照组（Control）： 类别权重法（改变损失函数而不修改数据）。
- 事后校准（Post-hoc Calibration）： 对 SMOTE 模型应用 Platt 缩放或保序回归（Isotonic regression），并使用留出的校准集进行处理。
指标：
- 校准度： 期望校准误差（ECE）、Brier 分数和可靠性图（reliability diagrams）。
- 判别力： ROC-AUC、PR-AUC 和少数类 F1 分数。
统计分析： 使用 10 个随机种子和 5 折交叉验证进行配对 Wilcoxon 符号秩检验进行比较。效应量通过 Cliff's $\delta$ 进行量化。应用 Holm–Bonferroni 校正以控制族错误率。
特定调查：
- H1： 重采样是否会降低校准度？
- H2： 事后再校准能否修复损伤？
- H3： 损伤如何随不平衡比和过采样激进程度缩放？
- H4（负面结果）： 用于欠采样的解析先验偏移校正（analytic prior-shift correction）是否适用于 SMOTE？

3. 关键结果

A. 重采样降低了校准度 (H1)

与基准相比，所有重采样家族都显著增加了 ECE，尽管其幅度差异巨大：

SMOTE & ROS： 导致 ECE 轻微至中度增加（例如，SMOTE： $0.052 \to 0.061$ ， $\delta = +0.27$ ）。
随机欠采样 (RUS)： 导致严重的校准退化，尤其是在高不平衡比的情况下。在 yeast_ml8 数据集（IR=70）上，RUS 将 ECE 从 $0.008 $推高至$ 0.395$。这归因于“样本量坍塌”（仅在约 50 个样本上训练），而非重采样机制本身，尽管在样本量充足的数据集上 RUS 依然具有破坏性。
类别权重法： 仅引起轻微的校准偏移，表明伤害源于改变了训练数据的分布，而不仅仅是改变了目标函数。

B. 事后再校准可以修复损伤 (H2)

单步事后校准（Platt 或 Isotonic）能有效消除 SMOTE 造成的校准损伤：

ECE 降低： SMOTE 的 ECE 从 $0.061 $降至$ 0.021$（Platt）和 $0.025$（Isotonic），通常甚至低于原始基准。
排序成本： 修复过程对排序能力的成本微乎其微。AUC 仅下降了 $0.002 $($ \delta = -0.07$)。这种轻微下降主要归因于校准拆分所需的数据减少，而非变换本身。
权衡： 用 $0.002$ 的 AUC 下降换取 $66\%$ 的 ECE 降低，对于决策系统而言是非常有利的。

C. 随不平衡度和激进程度的缩放 (H3)

不平衡比： 来自 RUS 的校准损伤随不平衡比急剧增长。相比之下，SMOTE 的校准惩罚在所研究的 IR 范围（1.9–70）内保持相对较小且稳定。
过采样比例： 校准误差随 SMOTE 的激进程度（注入合成数据的量）单调增加，而判别指标（AUC、F1）保持平稳或略有改善。

D. 解析校正对 SMOTE 失效 (负面结果)

本文证明，用于 RUS 的解析先验偏移校正（通过调整受影响的先验 $\pi_{train}$ 起作用）无法转移到 SMOTE。

原因： RUS 仅改变先验 $p(y)$ ，使类条件密度 $p(x|y)$ 保持不变。然而，SMOTE 通过插值合成新点，从而扭曲了类条件密度 $p(x|y=1)$ 。
结果： 将解析校正应用于 SMOTE 模型无法改善 ECE（在某些情况下甚至使其恶化），而数据驱动的保序回归校准则取得了成功。

E. 特征归因稳定性

对 credit-g 数据集的 SHAP 分析表明，SMOTE 在扭曲概率尺度的同时，保留了学习到的特征结构（特征重要性排名的 Spearman 相关系数为 0.96）。这证实了校准损伤是一个尺度问题，可以通过单调变换来纠正，而不是模型学习内容的根本性改变。

4. 意义与贡献

作者将这项工作定位为对现有知识的实践性、基于证据的巩固与扩展，而非仅仅是对一个新现象的发现（此前 Dal Pozzolo 等人已注意到欠采样的校准损伤）。

明确风险： 研究区分了 SMOTE 的“微小但真实”的校准成本与 RUS “真正危险”的成本，尤其是在极端不平衡比的情况下。
实践指南： 为从业者提供了一个清晰的方案：如果使用了重采样且决策依赖于概率，那么事后再校准步骤是必要且充分的。
方法论修正： 明确警告不要将解析先验偏移校正应用于合成过采样方法，因为它们无法解释密度扭曲。
评估标准： 本文认为，不平衡学习研究必须在报告判别指标（F1、AUC）的同时报告校准指标（ECE、Brier），以避免发布带有不可靠概率的模型。

5. 局限性

作者承认其结论存在以下限制：

研究仅限于表格数据和两种树集成模型；神经网络和其他模态的表现可能有所不同。
将 AUC 损失分解为“数据减少”与“校准变换”成本的过程是基于特定的拆分比例。
关于 SMOTE 解析校正失效的解释是一个直觉性的假设，涉及 $p(x|y)$ 的扭曲，需要在未来的工作中进行形式化分析。
结果受限于测试的不平衡范围（IR 1.9–70）；极高的比例（数百或数千）可能会产生更大的效应。