💻 computer science

CARE: Class-Adaptive Expert Consensus for Reliable Learning with Long-Tailed Noisy Labels

本文提出了 CARE，这是一个参数高效框架，它利用基于类别的专家共识机制，借助视觉 - 语言模型信号，通过对尾部类别施加更严格的共识要求、对头部类别采用更宽松的共识要求，从而有效应对长尾分布与噪声标签交织的复合挑战。

原作者： Mengke Li, Haiquan Ling, Lihao Chen, Yang Lu, Yiqun Zhang, Hui Huang

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Mengke Li, Haiquan Ling, Lihao Chen, Yang Lu, Yiqun Zhang, Hui Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一名新学生（一个 AI 模型）如何从一本巨大的相册中识别动物。但这本相册存在两个大问题：

“长尾”问题：相册里充满了狗和猫的照片（“头部”类别），但像霍加狓或穿山甲这样的稀有动物，却只有寥寥几张模糊的照片（“尾部”类别）。
“噪声标签”问题：给照片写名字的人犯了错。他们把狗标成了猫，或者把稀有的穿山甲标成了常见的松鼠。

大多数以往的方法试图分别解决这些问题。它们要么试图平衡照片数量，要么试图找出并修正错误的名称。但论文指出，这种“一刀切”的方法是行不通的。这就像用同一套严格的规则手册去要求一个精通所有狗类知识的学生，和一个第一次见到穿山甲的学生。严格的规则会让初学者感到困惑，而宽松的规则则会让专家犯下粗心大意的错误。

解决方案：CARE（基于专家类的自适应校正）

作者提出了一种名为 CARE 的新方法。不妨将 CARE 想象成不是单一的老师，而是一个由三位专家法官组成的评审团，他们共同投票决定每张照片里是什么。

以下是这三位“专家”的工作方式：

文本专家：这位法官读过所有关于动物的书籍。它看着照片说：“根据对‘穿山甲’的描述，这看起来像穿山甲。”它利用语言知识来推测标签。
图像专家：这位法官是一位视觉艺术家，研究过成千上万张照片。它观察形状和颜色，然后说：“从视觉上看，这与穿山甲相符。”
原始标签专家：这就是照片上原本写着的、有缺陷的标签。尽管它经常出错，但它仍包含一些有用的线索，尤其是对于像狗这样的常见动物。

秘诀：“类自适应共识”

CARE 的魔力不仅仅在于拥有三位法官，更在于他们如何投票。

对于常见动物（“头部”类别）：有数千张狗的照片。法官们可以稍微放松一些。如果文本专家和图像专家都同意这是狗，他们就会接受，即使原始标签写的是“猫”。他们不需要 100% 确定，因为有海量数据作为后盾。
对于稀有动物（“尾部”类别）：穿山甲的照片寥寥无几。这些情况很棘手。如果原始标签说是“松鼠”，那么文本专家和图像专家必须极其自信且彼此达成一致，才能推翻该标签。如果他们哪怕有一丝不确定，CARE 就会保留原始标签或对其持谨慎态度。

类比：
想象一个城镇会议，决定一条新街道的名字。

头部类别（常见）：如果有 100 个人说“主街”，而一个人说“橡树街”，我们会相信那 100 个人。我们不需要极其严格的投票计数。
尾部类别（稀有）：如果房间里只有 3 个人，其中 2 人说“橡树街”，但第 3 个（原始标签）人说“主街”，我们就不能简单地跟随多数派。我们需要非常小心。也许第 3 个人是对的，也许那 2 个人是对的。CARE 会说：“只有当那 2 位专家大声达成一致时，我们才更改名字。如果他们只是低声细语，我们就坚持原名或等待更多证据。”

为什么这更有效

以往的方法试图同等地修正所有错误的名称。这往往会让稀有动物的情况变得更糟，因为 AI 会被噪声搞糊涂，从而完全停止学习它们。

CARE 通过以下方式解决了这个问题：

过滤噪声：它忽略了穿山甲照片上的“松鼠”标签，因为文本专家和图像专家强烈反对它。
保护稀有：除非证据确凿，否则它不会激进地更改那几张稀有照片的标签。这防止了 AI“过度修正”并失去原本仅存的一点真实性。

结果

论文在合成数据（人为制造的噪声数据集）和现实世界的混乱数据（如来自互联网的照片）上测试了这种方法。

结果：CARE 始终优于现有的最佳方法。
提升：它将准确率提高了高达 3.0%。在 AI 领域，这是一个巨大的飞跃。
证明：当他们查看“噪声率”（剩余的错误标签数量）时，CARE 在清理稀有类别方面比其他方法做得更好，而其他方法通常会让稀有类别充满错误。

总结

CARE 是一个智能系统，它知道何时该严格，何时该灵活。它利用文本、图像和原始标签的综合智慧来清理混乱的数据。关键在于，它对稀有物品给予了额外的呵护，确保 AI 能够识别“长尾”中的稀有事物，而不会被噪声搞糊涂。这是一个“即插即用”的工具，能让 AI 在从不完美、现实世界的数据中学习时变得更加可靠。

技术摘要：CARE：面向长尾噪声标签可靠学习的类自适应专家共识

1. 问题定义

现实世界的机器学习应用经常面临一个复合挑战：长尾类别分布（即“尾部”类别样本少，“头部”类别样本多）与噪声标注（标签错误）同时存在。现有方法通常孤立地解决这些问题。长尾学习方法往往假设标签是干净的，这可能会加剧稀缺尾部类别中的误标问题。相反，噪声标签学习方法通常假设类别是平衡的，导致有价值的尾部样本被丢弃，或对头部类别进行过度正则化。

作者的一个关键观察是，类无关的标签校正是不够的。标准方法通常对所有类别应用统一的噪声率或校正策略。这未能考虑到尾部类别由于数据稀缺和标注困难而往往表现出更高噪声水平的现实。应用统一校正可能导致：

尾部类别校正不足，使其保持高噪声率和低性能。
头部类别过度正则化，导致有价值的信息被丢弃或过度校正。
整体性能下降，实验表明，降低全局噪声率并未转化为准确率的提升，特别是在尾部类别上。

2. 方法论：CARE 框架

作者提出了带专家的类自适应校正（CARE），这是一个参数高效的框架，旨在从长尾噪声数据中稳健地学习，且无需为校正机制本身引入额外的可训练参数。CARE 利用源自视觉 - 语言模型（VLMs，特别是 CLIP）的三个互补监督源：

2.1 三个专家源

文本专家（TE）： 利用冻结的 CLIP 文本编码器生成语义先验。它将类别标签嵌入到共享的视觉 - 语义空间中，基于文本 - 图像对齐提供置信度分数，无需微调。
图像专家（IE）： 使用通过AdaptFormer（一种参数高效方法）针对特定下游任务微调的 CLIP 图像编码器。这提供了针对目标域定制的视觉 - 语义置信度分数。
基础专家（BE）： 依赖于原始观测到的（噪声）标签。虽然这些标签可能不可靠，但它们保留了有价值的类别指示信息，特别是对于拥有丰富数据的头部类别。

2.2 类自适应专家共识

CARE 的核心创新是一个类感知共识机制，该机制根据类别频率（ $n_c$ ）动态调整校正策略。

自适应 Top-K 投票： 与全局阈值不同，CARE 为每个类别 $c$ $c$ 从文本和图像专家中选择前 $K_c$ $K_{c}$ 个预测。 $K_c$ $K_{c}$ 的值与类别频率成正比（ $K_c \propto n_c$ $K_{c} \propto n_{c}$ ）。
- 头部类别（高频率）： 分配较大的 $K$ 。这允许更宽松的共识，保留高置信度标签并避免过度过滤。
- 尾部类别（低频率）： 分配较小的 $K$ 。这强制执行更严格的共识，要求专家之间有更强烈的共识才能验证标签，从而抑制数据稀缺类别中由噪声引起的干扰。
频率累积： 该框架将来自所有三个专家（TE、IE、BE）的置信度分数聚合成累积频率分布 $F_c$ $F_{c}$ 。
- 如果观测标签出现在专家的 Top-K 列表中，则该专家的置信度会增强该标签。
- 如果观测标签不在 Top-K 中，该专家仅贡献其 Top-K 预测，防止强化潜在的噪声标签。
标签校正： 样本的校正标签由累积频率最高的类别决定。此过程迭代地细化标签分布，降低噪声率并逼近内在的干净分布。

2.3 与长尾校准的集成

一旦标签被校正，CARE 便与标准的长尾学习技术（如Logit 调整 (LA)）集成，使用从校正标签推导出的新估计类别先验。这确保了模型针对校正后更准确的分布进行了校准。

3. 主要贡献

识别关键差距： 作者证明，仅通过类无关方法降低全局噪声率无法在长尾分布下提升性能。他们强调，尾部类别需要特定的、更严格的校正策略，以避免性能下降。
参数高效框架： CARE 统一了噪声标签校正和长尾校准，且未在校正模块中添加可学习参数。它利用了预训练的 VLM 和轻量级微调策略（AdaptFormer）。
类感知共识机制： 提出了适应类别频率的动态 Top-K 共识。这在理论上平衡了尾部类别严格抑制噪声的需求与头部类别保留信号的需求。
实证验证： 在合成（CIFAR-100-LTN）和现实世界（WebVision-50, Food101N, ImageNet-LTNr）基准测试上的广泛实验表明，其表现一致优于最先进的方法。

4. 实验结果

该论文报告了在各类噪声类型（对称、非对称、联合）和不平衡因子（IF = 10, 50, 100）下的显著性能提升。

合成基准（CIFAR-100-LTN）：
- 在联合噪声且 IF=100、NR=50% 的情况下，CARE 实现了**76.7%**的准确率，比 CLIP+LA 高出 1.4%，比 CLIP+RLA 高出 10.0%。
- 在对称噪声（IF=10, NR=60%）下，CARE 达到79.2%，比 CLIP+LA 高出 3.2%。
现实世界基准：
- WebVision-50： CARE 实现了**85.3%**的 top-1 准确率，在比较的方法中最高。
- Food101N： CARE 大幅优于 CLIP+RLA（例如在 IF=100 时高出 6.9%），并在最多 0.4% 的幅度上优于 CLIP+LA。
- ImageNet-LTNr： 在中等和严重不平衡下，CARE consistently 提升了相对于 CE 和 LA 基线的性能。
消融研究：
- 移除任意单个专家（TE 或 IE）均无提升，证实了协作共识至关重要。
- 该方法有效降低了所有类别划分的噪声率，特别是尾部类别（在一次实验中，尾部噪声从 72.8% 降低至 53.3%）。
- 该框架在不同骨干网络（ResNet, MLP-Mixer）和 VLM（BLIP）上具有泛化性，表明其鲁棒性源于共识机制而非特定的骨干架构。

5. 意义与主张

该论文声称，CARE 解决了当前学习范式中的一个根本局限性：即假设噪声是均匀的，或者校正策略应该是类无关的。通过引入类自适应专家共识，CARE 有效地将因数据稀缺导致的内在不确定性与标注噪声分离开来。

作者强调，他们的方法：

增强可靠性： 它生成了更可靠的标签分布，特别是对于代表性不足的尾部类别，这通常是现实世界应用中的瓶颈。
提升泛化能力： 通过防止对头部类别的过度正则化和对尾部类别的校正不足，CARE 产生了更平衡的监督信号和更好的整体模型泛化能力。
实际适用性： 该方法即插即用，兼容各种骨干网络和现有的长尾学习损失函数，使其成为从高质量整理不可行的不完美的现实世界数据中进行学习的实用解决方案。

该研究得出结论，从长尾噪声数据中进行有效学习不仅需要噪声减少，还需要类感知校正，以尊重每个类别的具体统计特性。