技术摘要：面向长尾分类的学习动态感知损失函数

问题陈述

计算机视觉中的深度学习模型经常在长尾数据集上表现不佳，这类数据集中的少数多数类（头部类）占据主导地位，而许多少数类（尾部类）则严重代表性不足。这种不平衡导致了有偏的模型，使其在尾部类上的表现不佳，这在现实场景中是一个关键问题，例如稀有物种识别、医学影像和制造故障检测。

现有的解决方案通常分为三类：信息增强（IA）、模块改进（MI）和类别重平衡（Class Re-balancing）。

• IA 和 MI 方法（例如数据过采样、解耦训练、集成学习）往往会引入新的偏差，需要复杂的架构更改，或产生显著的计算成本。
• 类别重平衡方法，特别是依赖于静态类别频率的方法（例如平衡 Softmax、Focal Loss），根据固定的数据集统计量来惩罚误差。本文认为，这些静态方案未能考虑到学习的动态特性。具体而言，它们忽略了学习某一类别的内在难度是随时间波动的；尽管某些尾部类样本量低，但它们可能是“易于学习”（ETL）的；而某些头部类虽然样本多，却可能是“难以学习”（DTL）的。静态先验无法适应这些细微差别，从而导致泛化性能欠佳。

方法论：学习动态感知损失 (LDAL)

作者提出了 LDAL，一种全新的目标函数，其核心关注点从静态样本计数转向了动态学习进度。LDAL 完全在损失层面运行，不需要架构修改或多阶段训练流程。它与标准交叉熵损失集成，并由三个核心组件组成：

1. 动态类别重要性 ($\gamma_i$)

LDAL 不使用固定权重，而是基于每轮（epoch）计算的两个实时指标分配动态重要性权重：

• 语义规模 ($S_i$)： 衡量已学习特征表示的强度，定义为累积 Logit 向量平方平均幅值的强度。
• 学习难度 ($H_i$)： 通过模型对某一类别的预测的**香农熵（Shannon entropy）**来量化。高熵表示不确定性（DTL），而低置信度则表明该类别已被充分学习（ETL）。

权重 $\gamma_i$ 的公式为：
$$\gamma_i = \min\left( \frac{S_i}{1 + \max_j(S_j) \cdot H_i}, \tau \right)$$
这种公式确保了具有高熵（难以学习）的类别获得较低的权重，以防止过度惩罚，同时让具有强特征和低熵（已学好）的类别获得更高的权重，从而迫使模型专注于剩余的困难类别。

2. 软预测计数 ($\tilde{N}_i$)

LDAL 使用可微的软预测计数而非硬性的 argmax 计数。这保持了计算图，允许优化器通过分子进行反向传播，并在不破坏梯度流的情况下，主动惩罚头部类的过度预测。

3. 轮间正则项 ($r_i$)

为了防止模型过早收敛到由头部类主导的局部最优解，LDAL 引入了一个轻量级的惩罚项，用于追踪连续轮次之间目标少数类的预测偏移。

• 如果某一少数类的累积硬预测计数相比上一轮有所减少，则应用正向惩罚。
• 如果计数增加，则应用负向奖励。
  这强制执行了稳定的优化，并确保模型不会在尾部类上停滞不前。

总损失函数结合了标准交叉熵 ($L_{CE}$) 与 LDAL 惩罚项 ($L_{LDAL}$)：
$$L = L_{CE} + \frac{1}{C} \sum_{i=1}^{C} \frac{(\gamma_i \tilde{N}_i + r_i)^2}{\frac{1}{BC}\sum_{b,k} (sg(z^{(b)}_k) - (e_i)_k)^2 + \epsilon}$$

核心贡献

1. LDAL 框架： 一种新型损失函数，能够根据运行中的预测频率、语义规模和基于熵的难度动态调整类别权重，超越了传统的静态加权。
2. 轮间正则项： 一个轻量级项，通过连接连续训练轮次来强制实现稳定性，并防止陷入由头部类主导的局部最优。
3. 即插即用集成： 该方法完全在目标层级运行，计算开销极低，能够与现有架构及其他分类损失无缝集成。
4. 广泛评估： 通过全面的基准测试证明，LDAL 优于现有的先进类别敏感型损失函数。

实验结果

作者在具有不同不平衡比例 ($\rho$) 的多个基准数据集上评估了 LDAL：CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT 和 iNaturalist-2018。

• 纯类别敏感学习 (CSL) 对比：
  • 在 CIFAR-100-LT ($\rho=100$) 上，LDAL 实现了 49.79% 的 Top-1 准确率，超过了之前的 SOTA 类别敏感方法 AREA (48.83%)，并显著优于基线方法 CE+CB (45.32%)。
  • 在 CIFAR-10-LT ($\rho=100$) 上，LDAL 达到了 80.19%，优于 AREA (78.88%) 和 Meta-Weight-Net (80.06%)。
• 大规模数据集：
  • 在 ImageNet-LT 上，LDAL 达到了 50.10%，超过了 AREA (49.53%)，并且比基线 Cross-Entropy 提升了 +11.22%。
  • 在 iNaturalist-2018 上，LDAL 达到了 67.10%，比 CE 基线提升了 +9.8%。虽然略低于 LDAM-DRW (68.00%)，但作者指出 LDAM-DRW 使用了专门的延迟重加权 (DRW) 调度，而 LDAL 在标准训练条件下即可达到极具竞争力的结果。
• 消融研究：
  • 移除任何组件（熵、语义规模或正则项）都会导致性能下降，证实了所有组件的必要性。
  • 梯度流分析确认了软计数公式在整个训练过程中保持了非零梯度。
  • 敏感性分析显示，正则项强度 ($\alpha$) 在不同数据集上都具有鲁棒性，$\alpha=1.0$ 取得了最优结果。

意义与主张

论文声称，LDAL 通过解决静态重加权的根本局限性（即无法适应网络的动态学习进度），提供了准确性与泛化能力之间的最佳权衡。

• 效率： 不同于需要复杂流水线的模块密集型方法（如集成学习或解耦训练），LDAL 提供了一种轻量级的、目标层级的解决方案，能够有效地扩展到大型复杂数据集，且无需重新调整超参数。
• 鲁棒性： 轮间正则项确保了稳定的收敛，防止模型陷入由头部类主导的局部最优。
• 理论洞察： 该工作验证了香农熵是衡量内在类别难度的强有力代理指标，且独立于样本数量，这使得模型能够区分“稀有但容易”和“常见但困难”的类别。

作者总结道，LDAL 为纯损失函数在长尾分类领域建立了一个极具竞争力的基准，为构建针对现实世界不平衡数据的鲁棒模型提供了一条切实路径，且无需承担复杂架构变更带来的计算负担。未来的工作拟将此机制扩展到目标检测和基于 Transformer 的骨干网络中。