🤖 AI

When Single-Dataset Conclusions Fail: A 45-Task Study of Threshold Tuning and Resampling for Imbalanced Classification

本研究表明，在不平衡分类任务中依赖单一数据集的评估具有误导性，因为一项涵盖 45 个任务的全面分析显示，阈值调优和 SMOTE 等重采样技术在不同不平衡比例下均能显著提升性能，这与在流行但缺乏代表性的信用卡欺诈数据集上观察到的无效结果截然不同。

原作者： Diyorbek Musaev

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Diyorbek Musaev

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在机器学习的世界里，计算机经常被要求做出二元选择：这封邮件是垃圾邮件还是不是，这笔交易是欺诈性的还是合法的，这张医学影像显示的是疾病还是健康状态。当一种结果比另一种结果常见得多时，这些任务会变得非常困难。如果一家银行每天处理一百万笔交易，而其中只有几百笔是欺诈交易，那么计算机看到的是一座由正常活动构成的“大山”，以及一个微小到几乎不可见的欺诈“高峰”。这被称为类别不平衡（class imbalance）。为了帮助计算机识别这些稀有事件，研究人员开发了标准工具。他们可能会人为地创造更多稀有事件的样本以平衡训练数据，或者可能会调整计算机内部的决策线。在默认情况下，计算机通常只有在确定度超过百分之五十时才会判定一个事件为正向。在不平衡的世界里，那条百分之五十的界限可能太高了，导致计算机完全错过那些稀有事件。因此，标准的做法是降低这条线，让计算机更愿意发出警报。

多年来，科学界一直依赖于一个著名的信用卡交易数据集来测试这些工具。它是该领域使用最广泛的基准，包含数十万笔真实交易，其中欺诈比例极低。当研究人员在这一特定数据集上测试其方法时，他们经常得出结论：标准工具是不必要的。他们发现，一个简单且经过良好校准的计算机模型可以完美地检测欺诈，而尝试调整决策线或平衡数据实际上会让情况变得更糟。这一发现成为了一个广泛接受的经验法则，暗示对于表现良好的模型，整个处理不平衡的机制都是多余的。

一项新的研究挑战了这一规则的安全性。来自昆士兰科技大学的研究人员提出了一个简单但深刻的问题：从一个特定数据集得出的结论是否适用于世界上的其他部分？他们首先通过一种严格的、无信息泄漏（leakage-free）的协议对那个著名的信用卡欺诈数据集进行了严谨的重新测试，确保测试结果中的信息不会意外影响训练过程。他们的结果证实了旧有的说法。在这个特定的数据集上，一种名为随机森林（Random Forest）的标准模型在其默认设置下表现最好，任何试图调整决策阈值或在训练集中添加合成数据的尝试都没有带来收益。事实上，在这一数据集上，这些调整反而使模型表现略微下降。

然而，研究人员并未止步于此。他们采用了完全相同的测试协议，并将其应用于由45个不同的二元分类任务组成的更广泛的集合中。这些任务范围广泛，从识别手写数字到诊断乳腺癌，既包括现实世界的数据，也包括精心构建的合成场景。这些新集合中的不平衡比例差异巨大，从1比1.5的轻微差异，到1比178的严重差异不等。当他们在这一多样化的套件中运行模型时，情况发生了逆转。

在信用卡数据集上奏效的结论，原来只是一个异常现象，仅针对那一个数据集和那一个模型。在45个任务中，那个在欺诈数据上不需要任何帮助的相同随机森林模型，实际上从决策阈值的调整中获益最多。那些在信用卡数据集上产生负面影响的调整，在更广泛的套件中却变得大有裨益。同样，一种被称为SMOTE的技术（即人工生成稀有类别的样本），在信用卡数据集上被发现是有害的，但在大多数其他任务中却显著提升了性能。研究人员发现，调整决策阈值的收益并不是一条随着数据不平衡程度增加而不断改善的直线。相反，这种收益遵循一个倒U型曲线：当不平衡程度较轻时，收益微乎其微；在中间范围的不平衡程度下达到顶峰；而在不平衡变得极端时，收益又会再次下降。

这一发现解释了为什么信用卡欺诈数据集（其不平衡比例高达1比577）是一个研究此类问题的糟糕场所。它处于调整收益最低且最难可靠测量的区域。研究还测试了一个常见的直觉：即研究人员可以通过观察模型的校准效果有多差，来决定是否根据校准情况调整阈值。他们发现这一直觉是错误的。模型的校准误差与它从调整中获得的帮助程度之间没有可靠的联系。一个模型可能校准得很差却从调整中获益甚微，也可能校准得很好却能从调整中获得大量收益。

这项研究对任何构建这些系统的人来说，其意义都是明确的。认为单一数据集可以为如何处理稀有事件提供通用规则的想法是不安全的。一种在某个数据集上表现完美的方法，可能会在另一个数据集上失效甚至适得其反。研究人员建议，从业者应该针对每一个新任务，都在验证集上常规测试不同的决策阈值，而不是假设默认设置就足够了，或者假设某种特定的调整总是必要的。他们还建议不要依赖校准诊断来做决定，因为这些指标无法预测结果。研究结论指出，虽然内部有效性（确保单个实验没有错误）很重要，但外部有效性（确保研究结果在不同数据间成立）同样至关重要。一个在单一数据集上方法论完美的实验，仍可能导致错误的普遍结论；而了解什么才是有效的唯一途径，就是通过广泛多样的情况进行测试。

技术总结：当单数据集结论失效时

1. 问题陈述

关于处理二分类任务中类别不平衡问题的文献，经常基于单一基准数据集的性能评估来得出普遍性结论。这种做法假设，针对某一特定数据集所观察到的干预措施（如重采样或决策阈值调整）的有效性，是该方法本身的属性，而非特定数据分布产生的伪影。

作者指出，**外部有效性（external validity）**存在一个关键缺口：即使一项单数据集研究在方法论上是严谨的（无数据泄露），其结论也可能无法推广到其他任务。具体而言，本文研究了“经过良好校准的集成模型不需要处理不平衡问题”这一共识，是否在更广泛的类别比例和模型族谱中依然成立，还是仅仅是针对被高度基准测试的 Kaggle 信用卡欺诈数据集的一个特例。

2. 研究方法

评估协议

本研究采用严格的、**无泄露嵌套交叉验证（leakage-free nested cross-validation）**协议，以确保内部有效性：

外层划分： 分层 $k$ -折划分（对于欺诈数据集为 5 折，对于 45 个任务套件为 3 折）。
内层划分： 将外层训练集进一步划分为内层训练集和内层验证集（比例为 80/20 或 75/25）。
预处理： StandardScaler 仅在内层训练集上进行拟合。如果使用合成少数类过采样技术（SMOTE），则仅应用于缩放后的内层训练集。验证集和测试折均不使用来自测试集的统计量进行重采样或缩放。
阈值选择： 对于经过调优的策略，决策阈值是在内层验证折上选取的，以最大化 F1 分数。测试折绝不用于阈值选择。
报告： 指标（F1、AUPRC、ROC-AUC、校准误差）是在独立的测试折上计算的。

研究设计

研究由两个截然不同的研究组成：

研究 A（信用卡欺诈）： 对标准基准进行复现，使用 Kaggle 信用卡欺诈数据集（284,807 条交易，正类占比 0.172%，不平衡比例为 1:577）。测试了五类模型家族：随机森林（Random Forest）、梯度提升树（Gradient Boosting）、多层感知机（MLP）、逻辑回归（Logistic Regression）和自动编码器（Autoencoder）。
研究 B（45 个任务套件）： 在 45 个二分类任务上进行全面评估，不平衡比例从 1:1.5 到 1:178 不等。
- 构成： 15 个真实世界任务（包括来自 digits、breast cancer 和 wine 的 14 个标准任务，以及 1 个通过对乳腺癌样本进行降采样得到的稀疏任务）和 30 个通过 make_classification 生成的合成任务，旨在系统性地改变不平衡度、类别分离度和维度。
- 规模： 涵盖四个模型家族（逻辑回归、随机森林、直方图梯度提升、MLP）和四种策略（原始模型、阈值调优、类别均衡+阈值调优、SMOTE+阈值调优）的 2,025 次模型拟合。

核心指标

关注的核心指标是配对 F1 差异 ( $\Delta F1$ )：
$\Delta F1 = F1(\text{阈值 } t^*) - F1(\text{阈值 } 0.5)$
这通过将调优后的模型与在相同测试折上的默认阈值模型进行比较，从而隔离出阈值调优的效果。

3. 关键结果

单数据集异常现象（研究 A）

在信用卡欺诈数据集上，使用默认 0.5 阈值的纯随机森林实现了 0.861 ± 0.021 的 F1 分数。

阈值调优： 未提供任何收益 ( $\Delta F1 = -0.002$ )。
重采样 (SMOTE)： 导致性能下降（F1 下降了约 2.3 个点）。
仅凭研究 A 的结论： 对于经过良好校准的集成模型，在严重不平衡的情况下，处理不平衡是不必要的，甚至可能是有害的。

泛化失败（研究 B）

当相同的协议应用于 45 个任务套件时，针对随机森林的结论发生了逆转：

随机森林： 成为整个套件中从阈值调优中获益最多的模型家族 ( $\Delta F1 = +0.101 \pm 0.134$ )。
其他模型： 逻辑回归、直方图梯度提升和 MLP 复现了它们在欺诈数据集上的行为（收益微小或中性），使得随机森林成为了欺诈数据集中的特例。
SMOTE： 虽然在欺诈数据集上有害，但在整个套件中平均而言是有益的 ( $\Delta F1 = +0.076, p = 2.7 \times 10^{-17}$ )，尽管其收益具有高度的模型依赖性（例如，MLP 为 +0.170，而逻辑回归仅为 +0.005）。

非单调关系

阈值调优的收益与不平衡比例之间不是单调关系。它遵循一个倒 U 型分布：

轻度不平衡 (< 1:5)： 调优略微有害 ( $\Delta F1 \approx -0.009$ )。
中度不平衡 (1:15 – 1:40)： 调优效果达到顶峰 ( $\Delta F1 = +0.120$ )。
极端不平衡 (> 1:100)： 收益下降 ( $\Delta F1 = +0.045$ )。
启示： 信用卡欺诈数据集（1:577）处于该曲线的“下降”尾部，使其成为研究阈值选择时一个不具代表性的场所。

校准诊断的失效

论文测试了这样一个启发式假设：模型的校准误差（在验证集上）可以预测阈值调优的收益。

结果： 该假设被拒绝。预期校准误差（ECE）与 $\Delta F1$ 无相关性 ( $r = -0.087$ )。Brier 分数仅显示出微弱的正相关性 ( $r = +0.137$ )，解释了不到 2% 的方差。
结论： 从实践者无法利用校准指标来预先判断阈值调优是否值得。

4. 贡献

证明了非泛化性： 提供了一个具体的证据，证明在最常被基准测试的不平衡数据集（信用卡欺诈）上得出的结论无法推广，特别是关于随机森林在处理不平衡必要性方面的结论发生了反转。
刻画了可泛化的趋势：
- 阈值调优平均而言是有益的，但具有高度的模型依赖性。
- SMOTE 平均而言是有益的，但对逻辑回归无效。
发现了倒 U 型关系： 识别了阈值调优收益与不平衡比例之间的非单调关系，解释了为什么极端不平衡的数据集会产生关于阈值选择的误导性结果。
对诊断工具的否定结果： 通过实证拒绝了“验证集校准误差可以作为决定是否调优阈值的代理指标”这一观点。

5. 意义与主张

本文认为，外部有效性与机器学习研究中的内部有效性同样重要。

对于从业者： 阈值调优应作为验证折上的常规步骤进行，因为其计算成本低廉且平均而言是有益的。然而，从业者不应依赖校准诊断来跳过这一步，也不应假设重采样是普遍有害或有益的，而不考虑特定的模型家族。
对于研究人员： 如果仅基于单一数据集，那么关于不平衡处理方法有效性的普遍性陈述（例如，“方法 X 对于模型 Y 是不必要的”）是不安全的。作者建议，支持此类主张至少需要包含跨越两个数量级不平衡度的十几个任务。
对于评审人： 对论文的评估不应仅止于检查是否存在数据泄露；评审人必须质疑单数据集结论是否经过了泛化性测试。

作者明确指出，其工作并非声称阈值调优总是有效的，而是强调其有效的（或无效的）条件是复杂且依赖于数据集的，这使得单数据集的“经验法则”变得危险。