Tipping the Balance: Impact of Class Imbalance Correction on the Performance of Clinical Risk Prediction Models

这项针对十个真实世界临床数据集的研究表明，常用的类别不平衡校正技术（如 SMOTE、RUS 和 ROS）不仅未能普遍提升临床风险预测模型的区分度，反而显著损害了概率校准性能。

要点

这篇论文探讨了一个在医疗人工智能（AI）中非常普遍但容易被误解的问题：当疾病很少见时，我们是否应该人为地“调整”数据，让生病的人和没生病的人数量看起来一样多？

为了让你更容易理解，我们可以把这篇研究比作**“训练一个寻找稀有宝藏的侦探”**。

1. 背景：寻找稀有宝藏的难题

想象一下，你雇佣了一位侦探（AI 模型）来在一个巨大的城市里寻找一种非常罕见的“宝藏”（比如某种罕见疾病）。

• 现实情况：城市里有 100 个人，其中 99 个是普通人（没病），只有 1 个是藏宝者（有病）。
• 侦探的困境：如果让侦探直接看这 100 个人的照片，他可能会偷懒，直接猜“所有人都是普通人”。这样他就能猜对 99% 的人，看起来准确率极高，但他完全找不到那个唯一的宝藏。

为了解决这个问题，很多研究人员想出了一个办法：“数据平衡法”（也就是论文里说的“类别不平衡修正”）。

• 做法：他们把那个唯一的“藏宝者”的照片复印很多份（过采样），或者把那些“普通人”的照片扔掉一些（欠采样），强行让训练数据里变成 50 个藏宝者、50 个普通人。
• 目的：强迫侦探认真观察藏宝者的特征，而不是偷懒猜“全是普通人”。

2. 研究的核心问题：这样做真的好吗？

这篇论文的作者们（来自丹麦和德国的多位专家）做了个大实验。他们收集了10 个真实的医疗数据集（涉及超过 60 万名患者），涵盖了糖尿病、心脏病、败血症等各种情况。

他们把每个任务都做了两次：

1. 自然组：让 AI 在原始数据（比如 99% 正常，1% 生病）上学习。
2. 调整组：让 AI 在人为“平衡”过的数据（50% 正常，50% 生病）上学习。

然后，他们把训练好的 AI 放到从未见过的真实世界数据中去测试，看看谁更厉害。

3. 惊人的发现：画蛇添足

研究结果就像给那些试图“调整数据”的人泼了一盆冷水：

• 关于“找对人”的能力（区分度）：
  调整数据并没有让侦探变得更聪明。在大多数情况下，强行平衡数据后，AI 识别病人的能力并没有变强，甚至有时候还变弱了。

  • 比喻：就像你为了教孩子认猫，把 100 张猫的照片复印了 100 遍，结果孩子反而把猫和复印机的噪点搞混了，或者因为看腻了而变得迟钝。

• 关于“预测风险”的准确性（校准度）：
  这是最糟糕的部分。调整数据后，AI 虽然可能还能认出谁是病人，但它给出的“生病概率”完全不准了。

  • 比喻：
    • 自然组的侦探说：“这个人有 5% 的概率生病。”（这是真实的，因为现实中确实只有 5% 的人生病）。
    • 调整组的侦探因为见过太多“病人”样本，变得一惊一乍，他说：“这个人有 50% 的概率生病！”
    • 后果：如果医生相信这个 50% 的高风险，可能会给病人开猛药、做不必要的检查，导致病人恐慌或过度治疗。

4. 为什么会出现这种情况？

这就好比你在教一个学生考试：

• 真实世界是：100 道题里只有 1 道是难题。
• 调整数据是：你强行把那道难题复印了 50 份，把简单题扔掉 50 份，让学生只练这 50 道难题。
• 结果：学生在考场上看到难题确实能认出来（因为练过），但他会误以为整张卷子全是难题，从而对每一道题都过度紧张，给出的答案（概率）完全偏离了现实。

5. 论文的建议：别瞎折腾，用对方法

基于这些发现，作者们给出了非常实用的建议：

1. 不要默认“平衡”数据：在训练医疗 AI 时，最好直接使用原始的真实数据。让 AI 学会真实的疾病分布比例。
2. 关注“概率”而不是“分类”：医疗决策需要知道“风险有多大”（比如 1% 还是 50%），而不仅仅是“有病还是没病”。强行平衡数据会破坏这种概率的准确性。
3. 如果非要调整，请事后修正：如果你确实需要提高 AI 对罕见病的敏感度，不要通过修改训练数据来实现。更好的方法是：
   • 先让 AI 在真实数据上学习（保证概率准）。
   • 然后在实际使用时，调整“报警线”（比如把判定生病的门槛从 50% 降到 10%）。
   • 或者在模型训练好后，用专门的方法把它的预测概率“校准”回真实世界。

总结

这篇论文告诉我们：在医疗 AI 的世界里，真实往往比“完美平衡”更重要。

试图通过人为制造平衡来“帮助”AI，往往会像给侦探戴上了有色眼镜——虽然让他更关注目标了，但也让他看不清现实世界的真实比例，最终导致对病人的风险评估出现严重偏差。

一句话建议：让 AI 在真实的世界里学习，不要为了追求表面的平衡而扭曲了事实。

技术摘要

论文技术总结：类别不平衡校正对临床风险预测模型性能的影响

1. 研究背景与问题 (Problem)

在医疗决策中，基于机器学习的临床风险预测模型被广泛应用。然而，许多临床结局（如罕见疾病、死亡事件）在数据中呈现类别不平衡（Class Imbalance）特征，即少数类（事件发生）样本远少于多数类（未发生）。

• 现有做法：为了应对不平衡，研究者常采用重采样技术（Resampling），如过采样（ROS, SMOTE）或欠采样（RUS），试图将训练集的类别比例调整为 1:1，以提升模型对少数类的识别能力（如敏感性）。
• 核心问题：虽然这些方法可能改善某些分类指标（如敏感性），但其对模型概率校准（Calibration）的影响尚不明确。校准是指预测概率与实际发生风险的一致性。如果校准不良，会导致临床医生和患者对风险产生误判（过度治疗或忽视风险）。
• 研究假设：作者假设类别不平衡校正方法不仅无法提升判别能力（Discrimination），反而可能损害模型的校准性能，导致预测概率失真。

2. 研究方法 (Methodology)

本研究采用跨问题的实证评估方法，系统性地重新评估了多种已发表的临床预测任务。

• 数据集：
  • 涵盖了10 个来自不同医学领域的真实世界临床数据集（包括糖尿病、败血症、心血管疾病、ICU 死亡率等）。
  • 总样本量超过 605,842 名患者。
  • 结局事件发生率范围从 1.9% 到 34.9% 不等。
• 模型家族：
  • 评估了多种机器学习算法，包括线性模型（逻辑回归）和非线性模型（XGBoost, CatBoost, 随机森林, 人工神经网络 ANN, TabPFN 等）。
• 实验设计：
  • 对照组：在原始数据分布上训练模型。
  • 实验组：在训练阶段应用三种常见的 1:1 重采样策略：
    1. **随机过采样 **(ROS)：随机复制少数类样本。
    2. **随机欠采样 **(RUS)：随机移除多数类样本。
    3. **合成少数类过采样技术 **(SMOTE)：在特征空间中插值生成合成少数类样本。
  • 评估：所有模型均在保留的测试集（Held-out test data）或独立验证集上进行评估，确保测试集保持原始分布，以进行无偏评估。
• 评估指标：
  • 判别能力：ROC-AUC（受试者工作特征曲线下面积）、PR-AUC（精确率 - 召回率曲线下面积）。
  • 校准性能：Brier 分数（均方误差）、校准截距（Calibration Intercept，理想值为 0）、校准斜率（Calibration Slope，理想值为 1）、校准图。

3. 关键发现与结果 (Key Results)

3.1 判别能力 (Discrimination)

• 总体结论：重采样技术未能带来具有普遍意义的判别性能提升。
• 具体数据：
  • 与原始数据训练的模型相比，重采样模型的 ROC-AUC 变化极小且不一致。
  • 聚合分析显示：ROS 导致 ROC-AUC 平均下降 0.002，SMOTE 下降 0.01，RUS 无显著变化（p>0.05）。
  • PR-AUC 在所有重采样策略下均显著下降（ROS/RUS 下降约 0.1，SMOTE 下降 0.03），表明在稀有事件预测中，重采样反而降低了精确率。
  • 例外：仅在“电子 ICU 低血糖预测”的大样本数据集中，RUS 使 ROC-AUC 从 0.88 微升至 0.91，但代价是 Brier 分数大幅增加（校准变差）且 PR-AUC 下降。

3.2 校准性能 (Calibration)

• 总体结论：重采样技术显著损害了模型的校准性能。
• 具体表现：
  • Brier 分数：所有重采样策略均导致 Brier 分数显著升高（恶化），范围从 0.029 到 0.080（p<0.05），意味着预测概率的准确性降低。
  • 校准截距与斜率：重采样导致截距和斜率偏离理想值（截距 0，斜率 1）。
    • 模型倾向于系统性高估或低估风险。例如，某些模型在重采样后出现截距大幅负偏（高估风险）或斜率显著小于 1（预测过于极端）。
  • 判别与校准的解耦：研究发现，尽管重采样可能维持了排序能力（ROC-AUC 不变），但预测的绝对概率值（Absolute Risk）变得不可靠。

4. 主要贡献 (Key Contributions)

1. 大规模实证验证：突破了以往仅基于模拟研究（Simulation）的局限，在10 个真实世界临床数据集和8 种不同模型架构上验证了类别不平衡校正的负面影响。
2. 聚焦校准问题：明确指出了在临床风险预测中，过度关注 ROC-AUC 而忽视校准的风险。证明了重采样虽然可能调整分类阈值下的敏感性，但会破坏概率估计的可靠性。
3. 提供临床指导：基于证据提出，在需要准确概率估计的临床场景中，默认使用重采样是有害的。

5. 意义与建议 (Significance & Recommendations)

学术与临床意义

• 重新审视重采样：研究结果表明，类别不平衡本身并不是必须通过重采样来解决的“问题”。在临床决策支持系统中，准确的概率估计（校准）。
• 避免误导：使用重采样训练的模型可能给出看似“平衡”的分类结果，但其输出的风险概率（如“患者有 30% 死亡风险”）可能是严重失真的，这可能导致不必要的医疗干预或错误的安慰。

实践建议

作者针对临床风险建模提出以下具体建议：

1. 优先使用原始数据：在可能的情况下，直接在原始数据分布上训练模型，以获得最佳的校准性能。
2. 必须评估校准：在报告模型性能时，除了 ROC-AUC，必须报告 Brier 分数、校准斜率和截距，并在独立验证集上验证。
3. 通过阈值调整优化：如果目标是提高特定阈值下的敏感性或特异性，应通过后处理调整决策阈值（Threshold Tuning）来实现，而不是重新训练模型。
4. 若必须重采样：如果确实使用了重采样，必须在独立数据上进行重新校准（Recalibration），并在部署前严格验证其概率准确性。

总结：该论文有力地证明了在临床风险预测中，盲目应用类别不平衡校正技术（如 SMOTE, RUS, ROS）不仅无法提升模型的判别能力，反而会严重破坏预测概率的校准性，从而降低模型在临床决策中的实用性和安全性。