📊 statistics

Cost-Sensitive Evaluation for Binary Classifiers

本文引入加权准确率（WA）作为一种成本敏感评估指标及通用重加权框架，以将二分类器优化与总分类成本最小化相一致，并论证了在单位成本下最大化 WA 等价于最小化成本，且该指标在多种不平衡与成本场景下均保持稳健。

原作者： Pierangelo Lombardo, Antonio Casoli, Cristian Cingolani, Shola Oshodi, Michele Zanatta

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Pierangelo Lombardo, Antonio Casoli, Cristian Cingolani, Shola Oshodi, Michele Zanatta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名经理，正在招聘一名新员工来分拣邮件。你的目标不仅仅是让尽可能多的信件在一般意义上被“正确”处理；你的目标是省钱。

在机器学习的世界里，这就是计算有多少答案正确（准确率）与计算你所犯错误的实际总成本之间的区别。

这篇论文指出，大多数公司正在使用错误的标尺来衡量他们的 AI 模型。他们使用的是“准确率”，这种指标将每一个错误视为同等重要。但在现实世界中，一个方向的错误（例如漏掉欺诈警报）可能花费 10,000 美元，而另一个方向的错误（例如标记一笔安全的交易）可能只花费 10 美元。

以下是该论文解决方案的简明解释。

1. 问题：“一刀切”的标尺

想象你是一名医生。

错误 A：你告诉一名健康患者他生病了（假阳性）。代价是什么？他会稍微担心一下，并做一个便宜的检查。
错误 B：你告诉一名生病患者他健康（假阴性）。代价是什么？他得不到治疗，病情会加重。

如果你使用标准的“准确率”分数，计算机并不关心哪种错误更糟糕。它只是计算正确与错误答案的总数。如果你有 1,000 名健康患者和仅 1 名生病患者，那么一个声称“所有人都健康”的计算机将拥有 99.9% 的准确率。但它未能完成其最重要的工作：找到那个生病的人。

论文指出："停止使用准确率。它正在向你撒谎，让你误以为你损失了多少钱。"

2. 解决方案：“加权准确率”（WA）

作者提出了一种名为**加权准确率（Weighted Accuracy, WA）**的新指标。

把这想象成一个加权投票系统。

在正常的选举中，每张票的权重都是 1。
在这个新系统中，来自“高风险”群体的选票权重更高。

如果漏掉一名生病患者（错误 B）的代价是让一名健康患者担心（错误 A）的 9 倍，那么系统就会给予“生病患者”的选票9 倍的权重。

通过使用这种加权分数，计算机被迫优先考虑代价高昂的错误。论文从数学上证明，如果你最大化这种加权准确率，你就会自动最小化你的总成本。 这就像寻找通往出口的最短路径；如果你遵循加权准确率地图，你就保证能省下最多的钱。

3. 陷阱：“重采样”（平衡行动）

许多数据科学家试图通过重采样来解决“数据不平衡”（即一个群体巨大，另一个群体极小）的问题。

类比：想象你有一个袋子，里面有 100 颗红弹珠和 1 颗蓝弹珠。你想要训练一个模型来找到那颗蓝弹珠。重采样就像是扔掉 90 颗红弹珠，或者复制那颗蓝弹珠 90 次，以便让袋子看起来是平衡的（50/50）。

论文警告：这是危险的。
仅仅因为你平衡了袋子，并不意味着现实世界也是平衡的。如果现实世界仍然有 100 颗红弹珠和 1 颗蓝弹珠，你的模型就会感到困惑。它可能会开始忽略那颗蓝弹珠，因为它认为红弹珠同样重要，从而导致巨大的财务损失。

作者提出了一种更好的方法：重新加权。
与其扔掉或复制弹珠，你只需告诉计算机：“嘿，当你看到蓝弹珠时，要格外注意。当你看到红弹珠时，保持正常关注。”你保持数据原封不动，但改变了每个数据点的重要性。这既让模型对现实世界保持诚实，又教会它关注那些罕见但代价高昂的错误。

4. “现实世界”测试

作者不仅仅在纸面上进行数学推导；他们在两个混乱的现实世界场景中测试了这种方法：

流失预测：预测哪些客户会停止使用服务。（失去一个大客户的代价比失去一个小客户更高）。
信用评分：预测谁会违约贷款。（借给富人导致贷款损失的代价比借给穷人更高）。

在这些测试中，错误的“成本”不是一个固定数字；它取决于客户是谁。

结果：新的加权准确率指标始终与省钱的目标完美契合，即使成本是混乱的且因人而异。
失败：大多数其他流行指标（如 F1 分数、Kappa 或 ROC-AUC）都感到困惑。它们会选择在纸面上看起来“不错”但实际上让公司损失大量资金的模型。

5. “长尾”警告

有一个陷阱。论文发现，如果成本极度偏斜——例如，99% 的总风险资金仅来自一个特定客户——那么即使新指标也会变得有点模糊。

类比：想象一个游戏，99 个人各押注 1 美元，而一个人押注 1,000,000 美元。如果你错过了那 1,000,000 美元的赌注，你就输掉了一切。如果你的模型不知道确切是哪一个人，它可能会感到棘手。
然而，论文表明，对于几乎所有正常的商业情况，新指标都能完美运作。

总结

不要使用准确率：它将所有错误视为同等重要，这在商业中很少是真的。
不要仅仅重采样数据：扔掉数据以使其“平衡”往往会破坏模型处理现实世界的能力。
使用加权准确率（WA）：这是一种简单的方法，可以告诉计算机：“这种类型的错误代价更高，所以优先修复它。”
结果：通过使用 WA，你可以确保你的 AI 实际上是在优化**投资回报率（ROI）**并省钱，而不仅仅是在电子表格上看起来不错。

技术摘要：二分类器的成本敏感评估

1. 问题陈述

为二分类器选择合适的评估指标对于模型比较、超参数优化和部署决策至关重要。然而，该领域尚未就一种明确与**总分类成本（TCC）**最小化相一致的范式达成共识，而 TCC 是商业应用和医疗保健中投资回报率（RoI）的主要驱动力。

当前的挑战包括：

指标错位：标准指标（如准确率、F1 分数、ROC-AUC）以不可控的方式隐式定义了单位分类成本（UCCs）。例如，准确率假设假阳性和假阴性的成本相等，而 ROC-AUC 对应于可变的成本分布。更改指标往往会导致选择不同的“最优”分类器。
类别不平衡与成本敏感性：类别不平衡常被视为需要通过重采样（过采样/欠采样）来修正的问题。然而，单纯修正不平衡本身可能与 TCC 最小化不一致，特别是当少数类并不承担最高的误分类成本，或者目标数据集分布与开发数据集分布不同时。
现有成本敏感方法的局限性：虽然某些指标明确纳入了成本（如 C-score、H-measure、MSU），但它们存在诸如缺乏有界性（阻碍跨数据集比较）、依赖于特定数据集属性，或依赖于在现实世界、依赖示例的成本场景中可能不成立的假设等问题。

2. 方法论

2.1 加权准确率（WA）

作者引入了**加权准确率（WA）**作为二分类器的一种新评估指标。它被定义为标准准确率的加权版本：

$WA = \frac{w \cdot TP + (1-w) \cdot TN}{w \cdot P + (1-w) \cdot N}$

其中 $TP $和$ TN $分别为真阳性和真阴性，$ P $和$ N $分别为实际正例和负例的总数，$ w$ 是分配给实际正例的归一化权重。

权重 $w$ 源自偏移后的 UCC 比率：
$w = r_C = \frac{C_{FN}}{C_{FN} + C_{FP}}$
这里， $C_{FN}$ 和 $C_{FP}$ 分别代表假阴性和假阳性的偏移成本。

理论等价性：本文证明，在独立于示例的 UCC条件下，最大化 WA 在数学上等价于最小化 TCC。与其他成本敏感指标不同，WA 被归一化到区间 $[0, 1]$ ，使其适用于跨不同数据集的模型比较。

2.2 通用重加权框架

作者提出了一个处理类别不平衡和成本敏感性的通用框架，无需诉诸重采样技术。该框架适用于任何可表示为依赖示例的量的线性组合的指标或损失函数：
$K = \frac{\sum_a v_a k_a}{\sum_a v_a}$

该框架引入了一种重加权方案，根据以下因素调整每个示例的权重 $v_a$ ：

类别不平衡：调整权重以反映目标类别分布（例如，平衡的数据集）。
成本敏感性：根据 UCC 比率 $r_C$ 调整权重。
目标数据集差异：调整权重以考虑开发数据集（训练/验证）与目标部署数据集之间的差异。

通过结合这些因素，该框架推导出了一个统一的权重 $v^{t, UCC}_a$ ，使得即使类别分布和成本结构不同，也能利用开发数据集的数据在目标数据集上进行一致的指标估计。

2.3 期望加权准确率（EWA）

为了应对确切 UCC 比率不确定的场景，作者通过在一个表示成本比率不确定性的概率密度函数 $u(w)$ 上积分 WA，定义了期望加权准确率（EWA）。这作为 H-measure 的一种概率替代方案。

2.4 依赖示例的成本

本文承认，在许多现实场景中，UCC 依赖于特定示例（例如，流失预测中特定客户的收入）。作者扩展了 TCC 的定义，以包含依赖示例的偏差（ $\delta_a, \epsilon_a$ ），并分析了当存在这些波动时 WA 的鲁棒性。

3. 主要贡献

加权准确率（WA）的定义：一种新指标，提供了作为成本加权准确率的直观解释。作者证明了在独立于示例的成本条件下，其与 TCC 最小化的等价性。
通用重加权框架：一种通过权重调整而非数据重采样来处理类别不平衡和成本敏感性的形式化方法。该框架使得在不同类别分布和成本结构的数据集之间进行有意义的比较成为可能。
重平衡一致性的条件：本文推导出了标准重平衡技术（如平衡类别）与 TCC 最小化保持一致的具体条件（ $r_C \approx 1 - r_+$ ）。它表明，超出此条件时，重平衡可能导致误导性的评估。
实证鲁棒性分析：通过在两个具有依赖示例成本的现实用例（流失预测和信用评分）上进行广泛实验，作者证明了 WA 在几乎所有考察场景中（包括成本波动显著的场景）都与 TCC 保持稳健的相关性。

4. 实验结果

作者使用两个数据集，将 WA、EWA 以及一系列现有指标（准确率、F1、MCC、Kappa、ROC-AUC、C-score、H-measure 等）与 TCC 进行了评估：

流失预测：成本取决于客户收入和客户保留措施的有效性。
信用评分：成本取决于客户债务和利润损失。

主要发现：

与 TCC 的相关性：WA、EWA 和"H informed"指标在整个正例比率（ $r_+$ ）和成本比率（ $r_C$ ）网格中，与 TCC 表现出最强且最一致的相关性。
标准指标的失效：许多广泛使用的指标（如准确率、MCC、Kappa、G-Mean）在特定范围内表现出与 TCC 的相关性差，甚至呈现负相关，特别是当成本比率与类别不平衡比率不一致时。
重平衡的局限性：旨在修正不平衡但未明确考虑成本的指标（如 Informedness、Markedness）仅在 $r_C \approx 1 - r_+$ 的对角线附近与 TCC 一致。
依赖示例的鲁棒性：尽管存在依赖示例的成本波动，WA 在测试场景中仍与 TCC 保持稳健一致。仅在极端情况下（即极小比例的“巨额”示例占据了总成本的绝大部分，即高度偏斜分布）差异才变得显著。
经济影响：在模型选择模拟中，使用 WA 进行超参数调优导致的 $\Delta TCC$ （经济损失）显著低于使用其他指标。在多种场景中，替代指标导致了可观的 RoI 损失。

5. 意义与主张

本文主张，加权准确率（WA）结合所提出的重加权框架，为二分类中的成本敏感评估提供了一种有原则的、可解释的且鲁棒的解决方案。

实用价值：WA 允许从业者直接针对 RoI（最小化 TCC）优化模型，而无需复杂的重采样，也无需假设必须修正类别不平衡。
理论基础：该工作为确定标准准确率和重平衡技术何时有效、何时失效提供了理论依据，弥合了成本敏感学习与标准评估指标之间的差距。
现实世界适用性：实证分析表明，独立于示例的近似（忽略特定示例成本）在现实场景中仍然可靠，验证了即使在成本技术上依赖示例的情况下，使用基于混淆矩阵的指标（如 WA）也是可行的。
指导：作者提供了估算权重 $w$ （通过成本比率或模型排序约束）以及在模型训练（通过重加权损失函数）和验证期间应用该框架的实用指南。

作者得出结论，WA 既适用于比较在不同数据集上评估的模型，也适用于基于验证的超参数调优，为成本敏感和不平衡环境中的现有指标提供了更优越的替代方案。