🤖 machine learning

A Strong Balanced-Softmax Classifier-Retraining Baseline for Long-Tailed Recognition

本文介绍了 BS-cRT，这是一种两阶段重训练基准方法，它通过冻结经过平衡 Softmax 训练的骨干网络并在平衡批次上仅重新优化分类器，显著提高了长尾识别中的少样本准确率，同时也分析了像 CBRM 这样基于边界的方法的局限性。

原作者： Juan Terven, Diana Margarita Córdova Esparza, Julio Alejandro Romero Gonzalez, Edgar Arturo Chávez Urbiola, Francisco Javier Willars Rodriguez, Juan Bautista Hurtado Ramos, Alfonso Ramirez Pedraza

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Juan Terven, Diana Margarita Córdova Esparza, Julio Alejandro Romero Gonzalez, Edgar Arturo Chávez Urbiola, Francisco Javier Willars Rodriguez, Juan Bautista Hurtado Ramos, Alfonso Ramirez Pedraza

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在主持一场规模宏大的选秀节目，评委们必须从数千名参赛者中选出获胜者。但这里有一个转折：99%的参赛者来自一个超级热门的城市（“头部”类别），而剩下的1%则来自微小且默默无闻的村庄（“尾部”类别）。

在正常的选秀节目中，评委们会对热门城市的风格习以为常，以至于他们开始忽略来自村庄的独特天赋。他们可能会因为熟悉感而给热门城市的歌手打出满分，而村庄的歌手即使表现惊艳，也会被判低分。这就是人工智能中的**长尾识别（Long-Tailed Recognition）**问题：计算机变得对常见事物过于精通，却对稀有事物表现糟糕。

第一幕：公平地教导评委

论文首先研究了一种叫做**平衡Softmax（Balanced Softmax）**的方法。把它想象成一个训练营，在这里，评委们被迫去关注那些村庄的歌手。他们学会了欣赏稀有的风格，这很棒！但作者提出了一个简单的疑问：任务完成了吗？

他们发现，即使经过了这种公平的训练，评委们（AI的“分类器”）仍然存在一点偏差。评委们在主训练期间学会了识别村庄风格的“技能”，但他们的最终评分习惯仍然受到“看到热门城市次数更多”这一事实的影响。

重大发现：只需重新训练评分卡

论文的主要发现是一个令人惊讶地简单的修复方法，叫做 BS-cRT。

想象一下，你已经完成了整个选秀节目的训练。评委们已经掌握了知识。与其重新教他们如何唱歌或跳舞（重新训练整个AI大脑），你只需要告诉他们：“好了，忘掉过去。让我们进行一轮快速、最后的练习赛，在练习赛中，我们把一个热门城市的歌手和每一个村庄的歌手混合在一起，且比例完全相等。”

这就是分类器重训练（Classifier Retraining）。你冻结了大脑（“骨干网络”），这样它就不会忘记所学到的知识，你只通过这些完美平衡的练习赛来微调最后的评分表（“分类器”）。

结果如何？
这个微小的调整对稀有类别产生了神奇的效果：

在 CIFAR-100-LT 数据集上，AI识别稀有项目的能力提升了 +5.15 分。
在 CIFAR-10-LT 上，提升了 +5.83 分。
在巨大的 ImageNet-LT 数据集上，它获得了 +6.92 分 的增益。
在 Places-LT（一个关于场景的数据集）上，它飙升了 +9.78 分。

论文对此非常有信心：在他们运行的所有测试中，这个简单的“评分卡微调”始终能让AI在识别稀有事物的表现上变好，同时又不破坏其识别常见事物的能力。这是一个低成本、高回报的技巧，任何人都可以使用。

情节转折：什么方法“失效了”

作者并没有止步于此。他们想知道，如果通过创建虚假的练习场景，在评委决策的边缘进行训练，是否能做得更好。他们称之为 CBRM。

想象一下，试图通过创建一个“虚假”的参赛者来帮助评委，这个参赛者处于村庄歌手和热门城市歌手之间的中间地带，正好处于评委感到困惑的界限线上。其核心思想是强迫评委在这些棘手的“边界”案例上进行练习。

论文明确排除了这一点。
他们尝试了这种方法，但失败了。事实上，它让情况变得更糟了！

当他们使用“最难”的虚假样本（即最容易与热门城市混淆的样本）时，AI在稀有村庄类别的表现下降了约 4 分。
为什么？因为在一个长尾世界里，村庄歌手“最难”的样子其实就是热门城市歌手的样子。所以，通过试图在这些困难的边界上进行练习，评委们反而被拉回到了热门城市的风格中。这些虚假的练习环节被锚定在了错误的位置。

作者确信这种失败并非偶然的故障，而是这些“最难负样本”（hardest-negative）探测器在不平衡数据中存在的一个根本性问题。他们建议，如果你想使用虚假的边界样本，必须非常小心，不要让热门城市“劫持”了练习过程。

总结

那么，对于一个好奇的青少年来说，教训是什么呢？

不要过度复杂化： 有时候，修复一个忽视稀有事物的AI，最好的办法不是构建一个巨大的新大脑，而只是给最后的决策者进行一次快速、公平的练习赛。
小心“困难”的样本： 如果这些“困难”案例实际上是伪装的热门事物，那么试图在它们身上进行训练可能会适得其反。
数据说话： 这个简单的方法（BS-cRT）在不同数据集上始终为稀有类别增加了 5 到 10 个百分点 的准确率。这是一个可靠、稳健的基准，研究人员在尝试任何花哨的方法之前都应该先使用它。

论文并未声称这解决了所有问题（AI首先仍需学习那些困难的内容），但它证明了对最后一步进行简单的、平衡的重新调优，是一个隐藏在显而易见之处的强大工具。

技术摘要：一种针对长尾识别的强平衡 Softmax 分类器重训练基准线

1. 问题陈述

长尾识别旨在解决视觉类别遵循偏斜频率分布的问题：少量的“头部”类别占据了训练集的大部分，而许多“尾部”类别出现的频率极低。标准的经验风险最小化会导致模型将过多的决策空间分配给头部类别，从而导致整体准确率较高，但在稀有且通常关键的类别上表现不佳。

虽然现有方法通过损失重加权、边界调整或解耦训练（将表示学习与分类器学习分离）来解决这一问题，但仍存在一个特定的空白：在使用像 Balanced Softmax 这样具有强先验意识的损失函数进行表示学习后，还残留了多少尾部误差？ 此外，仅在平衡暴露下重训练分类器是否可以减少这种误差？合成边界监督（例如，在决策边界附近的探测器）是否能进一步提高尾部性能？

2. 方法论

本文提出了 BS-cRT (Balanced Softmax Classifier Retraining)，这是一个极简的两阶段过程，并评估了 CBRM (Counterfactual Boundary Risk Minimization) 作为诊断性扩展。

2.1 BS-cRT：核心基准

BS-cRT 将分类器重训练从表示学习中分离出来。

阶段 1（表示学习）： 使用 Balanced Softmax 损失在原始不平衡数据流上对骨干网络（ $f_\theta$ ）和余弦分类器进行端到端训练。该损失将经验类别先验（ $\pi_c = n_c / \sum n_{c'}$ ）纳入 Softmax 分母，以纠正标签偏移。
阶段 2（分类器重训练）： 骨干网络被冻结。仅对余弦分类器的权重进行重训练。
- 采样： 训练使用平衡的逐情节批次 (episodic batches)。每个批次在不重复的情况下均匀采样 $P$ 个类别，每个类别包含 $K$ 个样本。
- 损失： 保留 Balanced Softmax 损失，并使用原始的经验训练先验（ $\pi_c$ ），而非均匀先验。这确保了目标仍然具有先验意识，同时保证了类别的暴露是平衡的。
- 推理： 预测使用原始余弦逻辑值（ $\ell_c(z) = s \cdot \hat{w}_c^\top z$ ），而不添加训练时使用的 log-prior 项。

2.2 CBRM：诊断性边界监督

本文评估了 CBRM，以测试在决策边界附近的合成探测器是否能在 BS-cRT 之上提高尾部性能。

机制： 它维护多原型类别记忆。对于一个样本，它识别出最难的负类，在正原型和负原型之间构建特征空间探测器，并通过正交噪声使该探测器增厚。
修正： 作者发现了原始 CBRM 实现中的一个关键失效模式：边界/尺度不匹配 (margin/scale mismatch)。原始方法将余弦边界目标应用于缩放后的逻辑值，导致梯度大约比 Balanced Softmax 锚点大 30 倍。修正后的版本直接在余弦边界空间中计算违规情况。
失效模式分析： 即使使用了修正后的损失，使用最难负采样 (hardest-negative mining) 的 CBRM 也未能优于 BS-cRT。分析表明，对于尾部样本，其“最难负类”通常是一个头部类。因此，合成探测器会变得以头部类为锚点 (head-class anchored)，将尾部分类器的方向拉回到头部类的区域，从而有效地抵消了平衡重训练带来的收益。

3. 核心贡献

匹配检查点评估： 本文提供了一种严谨的评估方法，通过使用相同的阶段 1 检查点，将分类器重训练的效果从表示学习中分离出来，从而评估 Balanced Softmax 的效果。
证明了残余偏差的存在： 本文证明了即使在第一阶段使用了强大的先验意识损失，分类器方向仍然受不平衡训练流的影响。在平衡暴露下重训练分类器可以一致地恢复尾部准确率。
CBRM 诊断： 本文识别并修复了边界探测方法中的数值不稳定问题（边界/尺度不匹配），并揭示了一个几何失效模式：在长尾设置中，最难负采样探测器会强化头部类偏差，而非缓解它。

4. 实验结果

该方法在 CIFAR-100-LT、CIFAR-10-LT、ImageNet-LT 和 Places-LT 上进行了评估，不平衡因子 (IF) 分别为 50、100 和 200。

4.1 性能提升

BS-cRT 相比于匹配的 Balanced Softmax 检查点，一致地提高了少样本 (尾部) 准确率：

CIFAR-100-LT (IF=100)： 少样本准确率提升了 +5.15 个百分点 (19.91% $\to$ 25.06%)，同时保持/提升了 Top-1 准确率 (40.73% $\to$ 41.07%)。
CIFAR-10-LT (IF=100)： 少样本准确率提升了 +5.83 个百分点 (64.34% $\to$ 70.17%)，Top-1 提升了 +2.17 个百分点。
ImageNet-LT： 少样本准确率提升了 +6.92 个百分点 (38.21% $\to$ 45.13%)，尽管这伴随着 Top-1 的权衡 (-1.64 个百分点)。
Places-LT： 少样本准确率提升了 +9.78 个百分点 (18.61% $\to$ 28.39%)，Top-1 提升了 +0.74 个百分点。

4.2 CBRM 结果

原始 CBRM： 由于边界/尺度不匹配，导致训练不稳定（损失激增）和准确率崩溃。
修正后的 CBRM (最难负采样)： 稳定了训练，但与 BS-cRT 相比，在 CIFAR-100-LT 上降低了约 4 个百分点的少样本准确率 (25.06% $\to$ 20.70%)。
随机负采样： 一种使用随机负采样作为诊断的变体并未显示出同样的尾部性能下降，这支持了以下假设：最难负采样会导致头部类锚定效应。

5. 意义与主张

本文将 BS-cRT 定位为并非复杂表示学习方法的替代品，而是一个必要的、低复杂度的基准线。

方法论意义： 作者认为，任何声称通过原型、对比学习或合成数据实现尾部性能提升的长尾方法，都必须首先与匹配的 Balanced-Softmax 分类器重训练基准线进行比较。如果没有这个对照，将增益归功于复杂的机制可能仅仅是因为重新估计了平衡暴露下的最终分类器。
实际应用价值： BS-cRT 提供了一种部署友好的方式，可以在不重新训练骨干网络或增加推理时模块（延迟/内存开销）的情况下提高尾部准确率。它特别适用于骨干网络固定或重训练成本高昂的场景。
边界监督洞察： 本文得出结论，合成边界监督并不自动产生益处。在长尾设置中，负类锚点的选择至关重要；使用“最难”负类往往会无意中强化正是重训练试图纠正的偏差（头部类主导）。

总之，本文断言，分类器重训练是长尾识别领域一个强大且常被忽视的杠杆，而 BS-cRT 为评估更复杂的干预措施提供了标准参考点。