🤖 machine learning

Reducing Class-Wise Performance Disparity via Margin Regularization

本文介绍了 MR $^2$ ，这是一种具有理论依据的边际正则化方法，它根据类间特征变异性动态调整逻辑值（logit）和表示（representation）边际，旨在有效减少深度神经网络中的类间性能差异，同时提高整体准确率。

原作者： Beier Zhu, Kesen Zhao, Jiequan Cui, Qianru Sun, Yuan Zhou, Xun Yang, Hanwang Zhang

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Beier Zhu, Kesen Zhao, Jiequan Cui, Qianru Sun, Yuan Zhou, Xun Yang, Hanwang Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

问题：“学霸”与“差生”

想象一个教室，一位老师（AI 模型）正在教授 1,000 门不同的学科（类别），范围从“识别一只猫”到“识别一种特定的稀有兰花”。

即使老师对每门学科都投入了同样多的学习时间（数据平衡），奇怪的事情还是发生了。老师在简单的学科（如“猫”）上变成了天才，但在困难的学科（如“稀有兰花”）上却表现得很糟糕。在论文的例子中，AI 在最简单的图像上达到了 100% 的准确率，但在最难的图像上仅有 16%。

这是不公平的。如果你在现实世界中部署这个 AI，它可能在某些任务上表现出色，但在其他任务上会发生危险的失败。论文将这种现象称为类间性能差异（Class-Wise Performance Disparity）。

旧方法：“一刀切”（以及为什么它会失败）

以前，研究人员尝试通过以下方式来解决这个问题：

给困难学科布置额外的作业：（重加权/Reweighting）。但这往往会导致老师忘记了简单的学科。
改变测试题目：（逻辑值间隔/Logit margins）。但这些方法通常是为某些学科学生人数极少（长尾数据）的情况设计的，而不是针对学科本身“难度”本身的问题。

论文指出，真正的问题不在于每个学科的学生人数，而在于学生的多样性（Variability）。

简单学科： 学生们（图像特征）看起来非常相似。他们坐得紧凑、整齐，像一个规整的小圈。很容易画一条线把他们圈起来。
困难学科： 学生们散落在房间各处。他们既多样又混乱。很难画出一条既能捕捉所有学生，又不会误抓其他班级成员的线。

解决方案：MR2（“聪明教练”）

作者提出了一种名为 MR2（用于减少性能差异的间隔正则化）的新方法。把 MR2 想象成一位聪明的教练，他会针对简单和困难的学科制定不同的比赛规则。

MR2 使用了两个具体的工具来解决问题：

1. “宽容的边界”（逻辑值间隔/Logit Margin）

想象老师正在每个学生群体周围画一个安全区（间隔），以保护他们免受其他群体的干扰。

对于简单学科： 学生们已经紧密地聚集在一起了。教练说：“你们不需要太大的安全区，一个小小的就行。”
对于困难学科： 学生们散得很开。如果教练画一个很小的安全区，会漏掉很多学生。因此，教练会动态地扩大这些困难群体的安全区。

类比： 这就像是在波涛汹涌的大海中（困难类别），给一群人提供比在平静湖面中（简单类别）更大的救生艇。论文在数学上证明了，给这些分散的群体提供这些“更大的救生艇”（间隔）可以降低出错的概率。

2. “集合口令”（表示间隔/Representation Margin）

即便有了更大的救生艇，如果“困难”组的学生仍然到处乱跑，他们可能还是会掉下去。

MR2 增加了第二条规则：让学生们靠拢在一起。
如果“困难”学生之间离得太远，它会对 AI 进行惩罚。它迫使 AI 去学习一种表示形式，让“困难”图像看起来彼此更加相似，从而更容易将它们归为一类。

类比： 如果“困难”班级是一个混乱的音乐会人群，MR2 不仅仅是给他们围上一圈更大的栅栏，还会告诉他们：“站得靠近一点，这样我们才能保护好你们。”

实际应用中的运作方式

研究人员在七个不同的数据集（包括庞大的 ImageNet）和各种类型的 AI 模型（从标准的神经网络到像 CLIP 和 MAE 这样的先进“基础模型”）上进行了测试。

结果：

“困难”类别得到了极大提升： 困难类别的准确率显著提高（例如，在 ImageNet 上从 56% 提升到了接近 60%）。
“简单”类别并未受到影响： 与其他通过破坏简单任务来修复困难问题的办法不同，MR2 实际上也略微提升了简单类别的表现。
差距缩小了： 表现最好的类别与表现最差的类别之间的差距大幅缩小。

大局观（无需数学公式）

这篇论文的核心洞察很简单：并非所有类别都是平等的。 有些类别天生就是杂乱且多样化的。用同样的严格规则对待它们，会导致 AI 在处理这些杂乱的任务时失败。

MR2 是一个系统，它说：“嘿，这个群体很混乱，很难定位。让我们给他们一个更大的缓冲空间，并告诉他们靠拢在一起。” 通过这样做，AI 变得更加可靠，确保它不仅能处理简单的任务，也能应对复杂、真实的场景。

简而言之： MR2 是一个 AI 的公平性工具，它阻止了 AI 成为一个只会回答简单问题的“学霸”，而是将其培养成一名全能的学生，能够以同等的技能应对简单和混乱的挑战。

技术摘要：MR2（用于减少性能差异的边际正则化）

问题陈述

即使在训练集类别平衡的情况下，深度神经网络也经常表现出显著的类间准确率差异。实证研究（例如 Cui 等人，2024）表明，“困难”类（准确率较低的类）通常比“容易”类具有更大的特征变异性。这种不平衡威胁着深度模型的可靠且公平的部署。虽然先前的研究探索了诸如数据增强或表示学习等经验性补救措施，但对于为何这些差异持续存在，以及如何通过有原则的正则化来缓解这些差异，仍缺乏理论层面的理解。现有的基于边际（margin）的方法主要针对长尾（类别不平衡）分布设计，并且在类别先验均匀时往往会退化为标准的交叉熵，无法解决平衡设置下的差异问题。

方法论：MR2

作者提出了 MR2，这是一个具有理论依据的框架，通过在**逻辑值空间（logit space）和表示空间（representation space）**中动态调整边际，来减少类间性能差异。该方法构建于一种新颖的类敏感泛化界限之上，该界限将每类的特征变异性与泛化误差联系起来。

1. 理论基础

作者推导出了一个基于边际的、类敏感的学习保证（命题 1）。该界限揭示了泛化误差受每类特征变异性（具体为特征均值的平方和与均方偏差）与类特定边际平方比值的共同影响。

核心洞察： 特征变异性较大（即“困难”类）的类别对泛化误差界限的贡献更大。为了最小化该界限，应为这些类别分配更大的边际。
最优边际： 理论分析（推论 1）表明，类别 $y$ 的最优边际 $\gamma_y$ 应与 $(\|\hat{\mu}_y\|_2^2 + \|\hat{s}_y\|_2^2)^{1/3}$ 成正比，其中 $\hat{\mu}_y$ 是经验特征均值， $\hat{s}_y$ 是经验均方偏差。

2. 逻辑值边际正则化 ( $\ell_{\gamma,ce}$ )

MR2 在交叉熵损失中引入了类相关的边际。边际 $\gamma_y$ 不是一个固定的超参数，而是根据每个类别的特征分布动态计算的：
$\gamma_y = \bar{c} \cdot K \frac{(\|\hat{\mu}_y\|_2^2 + \|\hat{s}_y\|_2^2)^{1/3}}{\sum_{k=1}^K (\|\hat{\mu}_k\|_2^2 + \|\hat{s}_k\|_2^2)^{1/3}}$
这种自适应机制为“困难”类（高特征变异性）分配更大的边际，从而收紧其泛化界限，同时保持平衡的平均边际 $\bar{c}$ 。

3. 表示边际正则化 ( $\ell_{\bar{s}}$ )

为了进一步收紧泛化界限，MR2 惩罚过度的类内特征扩散。表示损失通过将平均均方偏差 $\bar{s}$ 视为边际约束，来鼓励类内紧凑性：
$\ell_{\bar{s}}(f, x, y) = \ln \left[ 1 + \sum_{x^+ \in D_y \setminus \{x\}} \exp(\|\phi(x) - \phi(x^+)\|_2^2 - 2\bar{s}) \right]$
该损失作为一种可微的松弛约束，强制类内成对距离保持在 $2\bar{s}$ 以下，从而有效地减小了泛化界限中的分子部分。

4. 对余弦分类器的推广

该框架可扩展到使用余弦分类器（如 CLIP）的模型，在这些模型中特征是经过 $L_2$ 归一化的。在这种情况下，特征的标准 $L_2$ 范数变为常数。作者建议使用替代的 $L_p$ 范数（例如 $p=3$ ）来恢复类相关的变异性度量，使边际正则化保持有效。

核心贡献

理论分析： 本文提供了一个新颖的、非渐近的、类敏感的泛化界限，它明确地将每类特征变异性与泛化误差联系起来，阐明了即使在类别先验均匀的情况下，类相关边际的必要性。
MR2 框架： 一种双重边际正则化方法，能够根据特征分布动态调整逻辑值边际，并惩罚表示方差，适用于标准分类器和余弦分类器。
实证验证： 在七个数据集（包括 ImageNet、CIFAR-100 和细粒度数据集）以及多种架构（ResNet、ViT、MAE、MoCov2、CLIP）上的广泛实验表明，MR2 显著降低了性能差异。

实验结果

作者将 MR2 与 14 种基准方法进行了对比，包括重加权方法（LfF、JTT）、基于边际的方法（LDAM、EQL）、对比学习（SupCon）以及分布鲁棒优化（DRO、FairDRO）。

差异缩减： MR2 在“困难”类上的改进最为显著。例如，在 ResNet-50 的 ImageNet 上，MR2 比基准方法提高了 3.2% 的“困难”类准确率，而其他方法通常表现出微不足道的收益或权衡（即以牺牲“容易”类为代价来提升“困难”类）。
整体性能： 与许多通过牺牲“容易”类性能来提升“困难”类的去偏方法不同，MR2 在缩小易难类间差距的同时，还提升了整体准确率。
泛化性： 该方法在不同的骨干网络（CNN、Transformer）和预训练范式（从头开始训练、在冻结特征上进行线性探测、微调基础模型）下均表现稳健。
消融实验： 结果证实了逻辑值边际（类相关 $\gamma$ ）和表示边际（ $\ell_{\bar{s}}$ ）都是必要的；使用统一边际或移除表示损失会导致结果变差。

意义与主张

本文声称 MR2 提供了一个有原则的解释，用于说明类间性能差异，超越了经验性的启发式方法。通过将泛化界限与特征变异性联系起来，作者证明了“困难”类需要更大的边际才能达到与“容易”类相当的泛化性能。

MR2 的意义在于其能够：

在无权衡的情况下减少差异： 它在不降低“容易”类性能的前提下，提升了“困难”类的性能，这是现有去偏技术的常见失效模式。
理论支撑： 它提供了数学证明，解释了为什么即使在类别先验均匀的情况下，类相关边际也是必要的，这使其区别于长尾学习方法。
广泛适用性： 它在包括 CLIP 和 MAE 在内的各种现代架构（包括基础模型）中都能有效运行，表明它是提高大规模深度学习系统公平性的可行策略。

作者得出结论，虽然神经坍缩（Neural Collapse, NC）表明在终端阶段特征方差应趋于消失，但大规模数据集上的实证证据显示，显著的、具有类相关性的变异性仍然存在。MR2 通过正则化这些残余扩散来应对这一现实，以确保均衡的泛化能力。