🤖 machine learning

Rethinking Loss Reweighting for Imbalance Learning as an Inverse Problem: A Neural Collapse Point of View

本文提出了一种面向长尾分类的新型逆视图损失重加权策略，该策略受神经坍缩启发，通过动态推断类别权重以实现理想的各类别损失均等目标，从而减轻损失不平衡并超越现有基线方法。

原作者： Jinping Wang, Zixin Tong, Zhiwu Xie, Zhiqiang Gao

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Jinping Wang, Zixin Tong, Zhiwu Xie, Zhiqiang Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位老师，正在为一次期末考试给全班学生打分。然而，这个班级有一个奇怪的问题：90% 的学生是“头部学生”，他们反复学习了相同的 10 个章节；而剩下的 10% 是“尾部学生”，他们只学习了 1 或 2 个章节。

在标准课堂（平衡数据集）中，老师会平等对待每个人。但在这个长尾课堂中，如果老师仅根据总分来评分，“头部学生”将主导讨论。老师会自然地关注那 90% 的学生，因为他们出现得更频繁，而“尾部学生”则会被忽视，尽管他们对班级的整体成功同样重要。

在人工智能领域，这被称为长尾学习。AI 模型在识别常见事物（如“狗”或“汽车”）方面表现出色，但在识别罕见事物（如“树懒”或“特定种类的甲虫”）方面却表现糟糕。

旧方法：猜测权重

为了解决这个问题，研究人员尝试了损失重加权。将“损失”想象成 AI 犯错时获得的分数。

旧策略：研究人员试图猜测应该给“尾部学生”的分数“提升”多少。他们可能会说：“好吧，既然树懒学生很罕见，让我们将他们的错误乘以 10，这样老师就会更多地关注他们。”
问题：这些方法大多是猜测（启发式方法）。它们并不真正知道完美的最终分数分布应该是什么样子。它们只是不断尝试不同的乘数，直到找到某种有效的方法，而没有明确的目标。

新想法：“完美课堂”蓝图

这篇论文引入了一种受神经崩溃（Neural Collapse）现象启发的新思维方式。

想象一下，当一名学生准备得完美无缺时，他的知识会变得超级有序。在人工智能领域，神经崩溃是一种 AI 大脑完美组织自身的状态：

所有“狗”的样本紧密地聚集在一起。
所有“猫”的样本紧密地聚集在一起。
“狗”簇与“猫”簇之间的距离完全对称。

作者发现了一条优美的规则：在这种完美有序的状态下，每一个类别（狗、猫、树懒、甲虫）都应该具有完全相同的平均“分数”（损失）。 如果 AI 真正平衡，它就不应该在某个群体上比另一个群体更吃力。

解决方案：逆向推导（逆问题）

作者决定逆向推导，而不是猜测应该给罕见学生多少提升。

设定目标：“我们希望 AI 达到一种状态，即每个类别的平均损失完全相同。”
逆问题：“既然我们希望损失相等，那么我们需要现在应用哪些具体的乘数（权重）来实现这一目标？”

他们将此视为一个数学谜题（逆问题）。与其说“我认为我们需要权重 5"，不如解方程：“为了获得相等的损失，权重必须是 X。”

他们发现了一个简单的闭式公式（直接的数学配方），可以精确计算出在训练过程的每一步中每个类别所需的权重。

两部分策略

该论文提出了一种两步“教师”策略来实现这一目标：

微观调整（按批次）：每次 AI 查看一小群学生（一个“小批量”）时，它会精确计算需要给该特定组中的罕见学生提升多少，以平衡当前的分数。这就像老师根据当天在教室里的人，即时调整测验的难度。
宏观调整（频率）：有时，“尾部学生”（罕见类别）在这些小组中出现的频率根本不够高。即使在他们确实出现时给予提升，他们在总体上获得的练习时间仍然较少。因此，作者增加了第二层：跟踪每个类别出现的频率。如果一个类别很罕见，就给予其一个永久的“奖励”，以补偿其出现频率较低的事实。

结果

当他们测试这种“逆重加权”方法时：

更好的平衡：AI 不再忽视罕见类别。常见类别和罕见类别的“分数”（损失）变得更加平等。
完美的几何结构：AI 的内部大脑结构看起来更像“完美有序”的神经崩溃蓝图。
更高的分数：在标准测试（如 CIFAR-100 和 ImageNet）中，该方法击败了几乎所有其他现有方法，在许多情况下取得了最佳结果（最先进水平）。

总结

可以这样理解：旧方法就像一位老师猜测，“我会给那些安静的学生额外的加分，因为他们看起来很害羞。”而新方法则像一位老师说：“我知道目标是让每个人的平均分相同。让我计算出每个学生现在需要多少确切的帮助来实现这一目标，并且我会每天都进行调整。”

通过将问题转化为一个具有明确目标（相等损失）的数学方程，作者创造了一个系统，能够自然地引导 AI 达到完全平衡的状态。

技术摘要：将不平衡学习中的损失重加权视为逆问题

1. 问题陈述

深度神经网络在 ImageNet 等平衡数据集上取得了显著成功，但现实世界场景通常表现出长尾分布，即头部类别主导样本空间，而尾部类别样本稀少。这种不平衡导致模型过度偏向头部类别，从而在尾部类别上泛化能力较差。

尽管损失重加权是一种通过调整类别权重来缓解此问题的广泛使用策略，但现有方法通常是启发式且目标无关的。它们缺乏一个明确定义的、训练结束时类别损失分布应呈现的理想目标。因此，当前的策略依赖于临时设计（例如逆频率、有效样本数），而没有严格的理论目标来指导重加权过程。

2. 方法论

本文提出了一种新颖的框架，通过神经坍缩（Neural Collapse, NC）的视角重新思考损失重加权，并将其表述为一个逆问题。

2.1. 理论基础：神经坍缩（NC）

作者利用了在平衡数据集训练末期观察到的神经坍缩现象，其中：

类内变异性坍缩：同一类别的特征收敛到其类均值。
单纯形 ETF 几何结构：类均值形成理想的等角紧框架（Equiangular Tight Frame, ETF）。
自对偶性：分类器权重与去中心化的类均值对齐。
最近中心：分类简化为寻找最近的类均值。

关键理论洞察：本文确立了在 NC 几何结构（特别是 NC1-NC3）下，所有类别必须具有相同的平均损失。作者证明，如果损失不平衡系数（ $\rho$ ）保持非零，网络就无法收敛到理想的 ETF 结构。因此，长尾学习中重加权的理想目标是强制相等的每类平均损失，以促进收敛到与 NC 一致的几何结构。

2.2. 逆问题表述

作者没有启发式地规定权重（“前向”视角），而是将重加权视为一个逆问题：

目标：理想状态是每个类别的有效损失等于全局平均损失（ $\bar{L}$ ）。
推断：给定当前的类别平均损失 $L_c(W)$ ，该方法推断出能将系统推向此平衡状态的最优类别权重 $w_c$ 。

这被表述为一个Tikhonov 正则化逆问题：
$\min_{w_c} (w_c L_c(W) - \bar{L})^2 + \alpha (w_c - w_c^{(0)})^2$
其中：

$L_c(W)$ 是类别 $c$ 当前的平均损失。
$\bar{L}$ 是全局平均损失。
$w_c^{(0)}$ 是先验权重（例如来自现有方法或均匀分布）。
$\alpha$ 是正则化系数。

2.3. 闭式解

该优化问题允许最优权重 $w_c^*$ 的闭式解：
$w_c^* = \frac{\bar{L} L_c(W) + \alpha w_c^{(0)}}{L_c(W)^2 + \alpha}$
这允许一种即插即用的实现方式，其中权重在每次训练步骤中动态推断。

2.4. 两级重加权策略

为了解决尾部类别在小批量中零星出现（导致累积优化强度弱）的问题，该方法结合了两个组件：

批量逆重加权：使用闭式解计算当前批次中存在的类别的权重 $w_c^*$ 。
宏观级重加权：引入频率感知补偿因子 $\beta_c \propto (B_c)^{-\gamma}$ ，其中 $B_c$ 是类别 $c$ 出现的小批量数量。这确保了尾部类别在整个训练过程中获得足够的累积优化强度。

最终的有效权重为 $\hat{w}_c = \beta_c \cdot w_c^*$ 。

3. 主要贡献

识别缺失的目标：本文指出当前的重加权策略缺乏定义的理想损失分布。它提出了相等的每类平均损失作为理论目标，该目标源自神经坍缩的几何约束。
逆问题视角：它将长尾重加权表述为逆问题，推导出闭式解以动态推断满足等损失目标的类别权重。
即插即用算法：所提出的方法被实现为基于批次的闭式算法，可集成到现有的长尾学习框架中。
理论依据：作者提供了证明，表明持续存在的损失不平衡会阻碍收敛到理想的 ETF 几何结构，从而为等损失目标提供了动机。

4. 实验结果

该方法在标准的长尾基准上进行了评估：CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT 和 iNaturalist。

与重加权基线的性能对比：在 CIFAR-100-LT（IF=100）上，所提出的方法达到了 47.88% 的准确率，优于标准交叉熵（41.62%）以及其他重加权策略，如 Inv-Freq、CB、Focal 和 IB。它在不同的不平衡因子（50、100、200）下均表现出一致的改进。
神经坍缩指标：该方法展示了更优越的 NC 几何结构恢复能力。与基线相比，它实现了更低的 NC2（到单纯形 ETF 的距离）和 NC3（到自对偶性的距离）值，表明学习到的特征和分类器更接近理想的对称结构。它还实现了最低的类别损失不平衡系数（ $\rho$ ）。
最先进（SOTA）性能：当与强基线（如 GLMC、ETF-DR）结合时，该方法 consistently 提升了性能，在 CIFAR-100-LT（GLMC+Loss+LR 达到 63.9%）和 ImageNet-LT（GLMC+Loss+LR 达到 57.6%）上取得了 SOTA 结果。
消融研究：实验证实，批量逆组件和宏观级补偿是互补的，两者的结合产生了最佳结果。

5. 意义与主张

本文主张，通过明确定义相等的每类平均损失作为重加权的目标，该方法为启发式设计提供了一种原则性的替代方案。其意义在于：

理论一致性：将重加权直接与神经坍缩的几何属性联系起来，基于重加权策略驱动系统走向 ETF 结构的能力，清晰地解释了某些策略为何有效（或失败）。
实际效率：闭式解引入了可忽略的计算开销，使其与需要辅助网络或复杂元学习过程的方法相比具有极高的效率。
通用性：该方法作为一个通用的重加权模块，可应用于各种现有的长尾学习框架（例如对比学习、两阶段方法）以提升其性能。

作者得出结论，在不平衡设置中实现理想的 NC 几何结构，强制损失平衡是一个基本要求，而他们的逆视角策略有效地实现了这一目标。