📊 statistics

Exact Reformulation and Optimization for Direct Metric Optimization in Binary Imbalanced Classification

本文引入了一种精确的约束重构与优化（ERO）框架，该框架能够在不依赖平滑近似的情况下，实现对二分类不平衡任务中精确率、召回率和 F1 分数的直接且有效的优化，并在多个基准数据集上展示出优于现有最先进方法的卓越性能。

原作者： Le Peng, Yash Travadi, Chuan He, Ying Cui, Ju Sun

发布于 2026-08-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Le Peng, Yash Travadi, Chuan He, Ying Cui, Ju Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在机器学习的世界里，计算机学习将事物分类，就像图书管理员按流派整理书籍一样。这种被称为“分类”的过程是现代技术的基石，驱动着从医疗诊断到欺诈检测的一切应用。然而，现实世界很少呈现出完美的类别平衡。在许多关键场景中，某一类别的规模远小于另一类。银行可能会看到数百万笔合法的交易，但可能只有寥寥数笔欺诈交易；医院可能会治疗数千名健康的患者，但只有极少数患有罕见疾病的患者。这种不平衡为标准的计算机程序制造了一个陷阱。如果一个系统仅仅通过每次都猜测多数类来运行，它会因数量庞大而显得准确率极高，却会在其最重要的任务上彻底失败：即发现那些稀有的、关键的案例。

为了解决这个问题，科学家们长期以来一直试图教导计算机更加关注稀有群体。他们开发了各种衡量成功的方法，这些方法超越了简单的准确率，转而关注系统发现稀有项的能力（一种称为“召回率”的指标）以及系统在声称发现稀有项时的确定程度（一种称为“精确率”的指标）。挑战在于，这些目标往往是相互冲突的。一个过于谨慎的系统可能会为了避免误报而错过许多稀有案例；而一个过于热情的系统可能会捕捉到每一个案例，但也可能标记过多的无辜对象。几十年来，研究人员一直致力于构建能够直接优化这些特定目标的算法，特别是在需要保证一定性能水平时，例如确保捕捉到至少 95% 的欺诈行为，同时保持较低的误报率。由于这些决策背后的规则是锯齿状且不连续的，所需的数学工具一直难以使用，因为它们无法进行大多数计算机学习所依赖的平滑、逐步式的改进。

现在，一组研究人员开发了一种新方法，能够穿透这种数学上的困难，直接解决这些问题。他们并没有像以往的方法那样通过平滑处理来抹平粗糙的边缘，而是找到了一种重写问题的方法，让计算机能够精确地应对这种锯齿状的地形。他们的工作专注于三个对现实世界应用至关重要的特定场景：在确保高确定性的同时最大化对稀有项的发现；在确保高发现率的同时最大化确定性；以及在两者之间寻找最佳平衡点。通过对这些任务进行精确的数学重构，他们使得使用此前无法处理这种决策的尖锐、二进制性质的强大优化工具成为可能。

研究人员在多种现实世界的数据集上测试了他们的新方法，包括医学图像、文本记录和金融交易日志。在这些测试中，他们将自己的方法与目前现有的最佳工具进行了对比。结果令人瞩目。旧方法往往无法满足设定的严格要求——有时甚至产生在实践中数学上无法使用的解——而新方法则始终能找到满足约束条件的解。例如，当被要求在保持高精确率的同时寻找至少 90% 的正例时，新方法在旧方法失败的地方取得了成功，交付了既可行又高效的模型。在以平衡精确率和召回率为目标的场景中，新方法再次表现优于竞争对手，找到了更可靠的权衡方案。

这一成功的核心在于研究人员如何处理“指示函数”（indicator function），这是一种根据预测是否正确而开启或关闭的数学开关。以往尝试解决此类问题的方法是用平滑的曲线近似来替换这个尖锐的开关，类似于试图画出一个“方圆”来简化计算。虽然这降低了数学难度，但也引入了误差，导致最终结果不可靠，尤其是在涉及严格规则时。新方法完全避开了这个陷阱。它引入了一组辅助变量，作为一座桥梁，让计算机能够在不丢失计算梯度（即改进方向）能力的前提下，处理这些尖锐、精确的规则。这使得算法能够朝着最优解攀升，而不会因为近似误差而陷入停滞或偏离航向。

该团队还证明了其方法在不同类型数据上的鲁棒性。无论是处理骨骼图像、描述医学状况的文本，还是信用卡使用记录，该方法都表现稳健。在许多情况下，旧方法产生的模型在理论上看起来不错，但在面对未见的测试数据时却无法满足基本要求。相比之下，新方法保持了其性能，找到的解不仅对训练数据是最优的，而且在应用于新情况时依然稳固。这表明该方法不仅仅是寻找一种拟合数据的数学技巧，而是真正学习到了更可靠的决策方式。

尽管研究人员承认他们目前的工作是确定性的，且可能需要进一步开发以扩展到大规模数据集，但呈现出的结果是向前迈出的重要一步。他们展示了直接优化这些困难的现实指标是可能的，而无需依赖于近似值的脆弱基础。这为在涉及错过稀有事件或引发误报可能导致严重后果的高风险领域中，构建更可靠的 AI 系统打开了大门。通过提供一个能够处理这些问题精确、非平滑特性的框架，这项工作为构建可以被信任、并能按照预期执行任务的智能系统提供了更清晰的路径，即使在数据严重倾斜且风险极高的环境下亦是如此。

技术摘要：针对二分类不平衡场景下直接指标优化的精确重构与优化

问题陈述
在二分类不平衡分类（IC）中，标准的度量指标（如准确率）往往具有误导性。虽然现有方法通常优化平衡准确率或使用平滑近似来处理精确率（Precision）、召回率（Recall）和 F1 分数等非微分指标的特性，但这些方法面临显著的局限性。具体而言，当类别重要性发生变化或必须保证特定指标水平时（例如，在确保召回率 $\ge$ 95% 的同时最大化精确率），平滑近似可能会由于数值差异和梯度消失导致不可行解或次优运行点。

本文解决了二分类 IC 中的三个直接指标优化（DMO）问题：

FPOR： 固定精确率，优化召回率（在满足精确率 $\ge \alpha$ 的条件下最大化召回率）。
FROP： 固定召回率，优化精确率（在满足召回率 $\ge \alpha$ 的条件下最大化精确率）。
OFOS： 优化 F1 分数（直接最大化 F1 指标）。

核心技术挑战在于这些指标涉及指示函数 ( $1\{f_\theta(x) > t\}$ )，其在几乎所有地方的梯度均为零，使得标准的基于梯度的优化无法应用。此外，FPOR 和 FROP 中的约束是非凸且非线性的，这使得寻找可行点变得困难。

方法论
作者提出了一种**精确重构与优化（ERO）**框架，该框架完全避免了平滑近似。该方法由三个主要部分组成：

精确连续重构：
与其使用 Sigmoid 函数来近似指示函数，作者引入了辅助连续变量 $s \in [0, 1]^N$ ，并基于分段线性函数的创新等价关系对指示约束 $s_i = 1\{f_\theta(x_i) > t\}$ 进行重构。
- 他们建立了一个等价关系：对于 $a \neq t$ ，条件 $s = 1\{a > t\}$ 等价于 $s + [s + a - 1 - t]_+ - [s + a - t]_+ = 0$ ，其中 $[\cdot]_+ = \max(\cdot, 0)$ 。
- 这种变换将不连续的指示函数替换为一个连续的分段线性函数 ( $H_t$ )，该函数在几乎所有地方都具有非零梯度，从而能够使用基于梯度的方法。
- 为了确保计算稳定性并避免 $f_\theta(x_i) = t$ 处的奇异点，将等式约束放宽为不等式约束，并在目标函数中添加了基于交叉熵的屏障式正则化项，以促使 $s$ 与 $f_\theta$ 在极端值（0 或 1）处保持一致。
理论等价性：
论文证明，在温和条件下（特别是非奇异情况，即 $f_\theta(x_i) \neq t$ ），重构问题的全局解与原始 DMO 问题的全局解是等价的。这确保了优化重构问题能得到原始指标约束的有效解。
精确惩罚优化：
为了求解所得的有约束优化问题，作者采用了带有 $\ell_1$ 型惩罚函数的精确惩罚法。不同于可能仅在渐近意义上保证可行性或需要特定乘子条件的二次惩罚法或拉格朗日法（如 TFCO 框架中所使用的），精确惩罚法确保了对于足够大的（但有限的）惩罚参数，可以获得可行解。该算法迭代地使用投影梯度方法（如 ADAM）求解无约束子问题。

核心贡献

新颖的重构方法： 首个针对 DMO 问题实现的精确约束重构，它无需平滑近似即可处理指示函数，并在几乎所有地方诱导出非平凡梯度。
理论保证： 证明了原始 DMO 问题与重构版本之间的等价性，确立了一个问题的全局解对应于另一个问题的全局解。
算法框架： 一个使用精确惩罚法解决非凸、非线性约束的统一优化框架，能够可靠地找到可行点。
经验优越性： 在涵盖图像、文本和表格数据的四个基准数据集（Eyepacs, MURA, ADE-Corpus-V2, CreditCard）上进行了广泛实验。

结果
将 ERO 方法与最先进（SOTA）的方法进行了比较，包括使用平滑近似和拉格朗日法的 TensorFlow Constrained Optimization (TFCO) 库，以及各种基于损失或基于采样的基准方法（WCE, Focal Loss, LDAM 等）。

优化性能： ERO 在寻找满足指标约束（例如精确率 $\ge 0.9$ ）的可行解方面，始终优于所有竞争方法。相比之下，非 DMO 基准方法通常无法产生可行解，而 TFCO 则经常保持不可行状态，尤其是在 FPOR 任务中。
泛化能力： ERO 在所有任务的测试集上都取得了最佳或接近最佳的性能。虽然存在泛化差距（这是 IC 中的常见问题），但 ERO 在目标函数与约束之间保持了最具竞争力的权衡。
具体发现：
- 在 FPOR（固定精确率）任务中，ERO 是唯一能在所有数据集上一致实现可行性的方法。
- 在 FROP（固定召回率）任务中，ERO 在可行解中实现了最高的客观值。
- 在 OFOS（优化 F1）任务中，ERO 在训练期间持续获得最高的 F1 分数，并在测试集上也保持顶尖水平。

意义与主张
论文声称，通过消除对易产生数值差异和梯度消失的平滑近似的依赖，ERO 框架代表了对现有 DMO 方法的重要进展。通过提供精确重构，该方法确保了优化的指标严格遵循用户定义的约束，这是医疗保健和金融等高风险应用中的关键要求。

作者指出，虽然目前的工作侧重于二分类 IC 和三种特定指标，但其底层技术可以推广到其他指标（如准确率、NDCG、precision@k）和其他学习场景（多分类、目标检测）。他们确定了未来的研究方向，包括将这些方法扩展到大规模数据集的随机优化，以及理解过参数化模型下约束深度学习的泛化特性。代码已开源以促进进一步研究。

类似论文