🤖 machine learning

Noise-Aware Framework for Correcting Corrupted Labels

本文介绍了 CANOLA，这是一个通过显式估计噪声分布并利用谨慎的软标签混合技术迭代优化受损标签，从而增强模型鲁棒性和泛化能力的创新框架，该框架在多个数据集上均实现了较现有最先进方法的显著性能提升。

原作者： Ha-Linh Nguyen, Hong-Anh Nguyen, Minh-Duc La, Phong Lam, Thu-Trang Nguyen, Son Nguyen, Hieu Dinh Vo

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Ha-Linh Nguyen, Hong-Anh Nguyen, Minh-Duc La, Phong Lam, Thu-Trang Nguyen, Son Nguyen, Hieu Dinh Vo

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一名非常聪明的学生如何识别不同的动物。你有一大叠闪卡，但问题是，一个淘气的格伦姆林（gremlin）调换了一些标签。一张猫的照片可能被贴上了“狗”的标签，而一张狮子的图片可能被贴上了“老虎”的标签。

如果你让学生学习这些错误的卡片，他们会感到困惑，学到错误的东西，并最终考试不及格。这就是人工智能中的**“标签污染”（corrupted labels）**问题。

这篇论文介绍了一个名为 CANOLA 的新系统（代表“噪声感知框架”）。你可以把 CANOLA 想象成一个超级聪明的编辑，它不仅能发现错误，还能在学生开始学习之前仔细地修复它们。

以下是 CANOLA 的工作原理，使用了简单的类比：

1. 旧方法的问题

以往尝试修复这些错误标签的方法就像是两种都有缺陷的策略：

“邻居”策略： 这种方法查看一张卡片，然后问：“它旁边的卡片是怎么说的？”如果一张“猫”的卡片被一群“狗”的卡片包围，它就会假设这个“猫”的标签是错的，并将其改为“狗”。
- 缺陷： 有时候，猫确实长得像狗（比如一只蓬松的萨摩耶）。如果你只是随大流，你可能会把正确的标签改成错误的标签。
“早期猜测”策略： 这种方法要求学生在学习阶段开始时快速做一个猜测。由于学生是新手，他们可能会在简单的卡片上运气好而猜对。系统随后利用这些早期猜测来修复标签。
- 缺陷： 如果噪声太高（错误标签太多），学生会立刻感到困惑。他们开始死记硬背错误的答案（就像一个死记答案解析而不是理解数学逻辑的学生）。系统随后根据这些错误的猜测来修复标签，从而使问题变得更糟。

2. CANOLA 如何工作：双阶段编辑

CANOLA 与众不同，因为它扮演的是一个谨慎的、两步走的编辑角色。在它完全确定之前，它不会急于修复任何东西。

第一阶段：“噪声侦探”
在尝试修复标签之前，CANOLA 首先试图理解格伦姆林是如何搞砸事情的。

它使用两个“侦探模型”。一个侦探只观察那些它 100% 确定正确的卡片；另一个侦探则观察所有内容，甚至是混乱的部分。
通过比较这两个侦探所看到的内容，CANOLA 构建了一张**“噪声图”（Noise Map）**。这张图告诉系统：“好吧，当格伦了林搞砸一只‘狮子’时，通常会有 30% 的概率把它变成‘老虎’。”
这张图帮助系统理解错误的模式，而不仅仅是进行猜测。

第二阶段：“谨慎的修复者”
现在系统知道了噪声的模式，它开始修复标签，但它做得非常小心。

“柔和”的处理： CANOLA 不会说“这张卡片肯定是狗”，而是说“这张卡片有 70% 的可能性是狗，还有 30% 的可能性是猫”。它保留了一点不确定性。这防止了系统过早做出永久性的错误决定。
“静观其变”规则： 系统会等待学生（AI 模型）学习足够长的时间，直到其表现趋于稳定。它只在学生变得自信且可靠之后才开始修复标签。这阻止了系统基于学生早期的、困惑的猜测来修复事物。
迭代优化： 它修复一些标签，重新学习，再修复一些，如此循环。这就像擦拭脏窗户：你擦一下，再看一眼，再擦一下，直到它变得晶莹剔透。

3. 结果：更清晰的画面

作者在六个不同的数据集（如衣服、器官和新闻文本的图像）上测试了 CANOLA。他们将其与现有的最佳方法进行了比较。

清洗能力： CANOLA 清理数据的情况明显优于其他方法。平均而言，它将数据集中的错误减少了约 25%。在最糟糕的情况下（即数据非常混乱时），与其他方法相比，它减少了高达 52% 的错误。
更好的学生： 当他们使用这些“清洗后”的数据来训练新的 AI 模型时，这些模型的表现要好得多。事实上，一个使用 CANOLA 清洗后的干净数据进行训练的简单模型，往往能击败那些试图直接从混乱数据中学习而不进行清洗的高科技复杂模型。

核心结论

把 CANOLA 想象成一个数据质量控制检查员。它不是试图用一本充满错别字的教科书来教学生，也不是寄希望于学生能忽略这些错别字，而是花时间先仔细地纠正教科书。

这篇论文表明，清洗数据往往比试图建立一个能忽略错误信息的“超级聪明”的学生更为强大。通过使用噪声感知方法并缓慢且谨慎地修复标签，CANOLA 确保了 AI 学习的是真相，而非噪声。

技术摘要：CANOLA —— 一种用于纠正受损标签的噪声感知框架

1. 问题陈述

高质量的有标签数据是训练可靠机器学习（ML）和深度学习（DL）模型的基础资源。然而，现实世界的数据集经常包含由于人工错误或不完善的自动化标注工具导致的显著比例的受损标签。这些误标实例会严重降低模型的泛化能力，导致预测产生偏差或不可靠。

虽然先前的研究已经通过以模型为中心的方法（设计能够抵御噪声的鲁棒算法）和以数据为中心的方法（检测噪声实例）解决了标签噪声问题，但现有的数据中心方法通常止步于检测阶段。自动标签纠正仍是一个尚未得到充分探索的领域。现有的纠正方法通常分为两类：

基于邻域的纠正： 依赖于相似样本之间的标签一致性（例如多数投票法）。这些方法在决策边界附近表现不佳，因为相似的实例可能属于不同的类别。
基于模型的纠正： 利用模型自身的预测来优化标签，通常依赖于训练早期的迭代。这些方法存在两个主要局限性：(a) 对模型预测的波动高度敏感，以及 (b) 存在“确认偏差”的风险，即模型会放大其早期的错误，尤其是在高噪声场景或处理“困难但干净”的实例时。

2. 方法论：CANOLA 框架

作者提出了 CANOLA（通过噪声感知学习与迭代优化进行受损标签纠正），这是一个将特征学习与标签细化解耦的新颖框架。CANOLA 通过一个由两个不同阶段组成的迭代流水线运行：

第一阶段：噪声转移矩阵构建

其目标是在无法获取真实干净标签的情况下，估计数据集底层的噪声分布。

非对称协同训练： CANOLA 维护两个模型：一个可靠模型 ( $\mathcal{F}_r$ )，它专门在不断增长的疑似干净数据子集 ( $D_c$ ) 上进行训练；以及一个噪声模型 ( $\mathcal{F}_n$ )，它在整个噪声数据集 ( $\tilde{D}$ ) 上进行训练。
干净子集识别： 该过程包含三个阶段：
- 预热（Warm-up）： 两个模型都在完整的噪声数据集上进行训练，以建立基础模式。
- 探索（Exploration）： 在训练早期，使用在全量数据上训练的 $\mathcal{F}_n$ 来识别疑似干净的样本（即预测结果与观察到的标签一致的样本），从而扩大 $D_c$ 。
- 利用（Exploitation）： 在训练后期，应用更严格的一致性准则：只有当 $\mathcal{F}_r$ 和 $\mathcal{F}_n$ 都与观察到的标签一致时，样本才会被添加到 $D_c$ 中。
矩阵估计： 利用在 $D_c$ 上训练的可靠模型 $\mathcal{F}_r$ ，该框架估计噪声转移矩阵 ( $T$ )。该矩阵模拟了干净标签 $c$ 被损坏为噪声标签 $c'$ 的概率 $P(\tilde{y}=c' | y=c)$ 。

第二阶段：受损标签纠正

此阶段训练一个噪声感知模型，以执行谨慎的、迭代的标签细化。

噪声感知训练： 可靠模型 $\mathcal{F}_r$ 在整个噪声数据集上进一步训练。该模型并非直接拟合噪声标签，而是旨在预测干净标签分布。这些预测通过估计的噪声转移矩阵 $T$ 进行投影，以重建预期的噪声分布。损失函数是在该重建分布与观察到的噪声标签之间通过 KL 散度（Kullback-Leibler Divergence） 计算得出的。这迫使模型显式地考虑噪声结构，从而降低不可靠监督信号的权重。
损失稳定触发器： 标签细化并非立即执行。它仅在训练损失趋于稳定后被触发，以确保模型在尝试纠正之前已达到成熟且收敛的状态。
迭代软重标记： 一旦触发，模型的预测将与观察到的标签进行融合，形成软标签（概率分布）而非硬的 one-hot 向量。这种融合由系数 $\alpha$ 控制：
$\tilde{p}^{(t)}_i = \alpha \cdot p_i + (1 - \alpha) \cdot \tilde{p}^{(t-1)}_i$
这种渐进式的软更新策略防止了对潜在错误预测的过早承诺，并减轻了误差传播。该过程重复进行 $\tau$ 次迭代或直到收敛，最终通过最大后验估计将软标签转换为硬标签。

3. 核心贡献

本文概述了三个主要贡献：

构建现实基准： 作者构建了一个包含五个数据集（涵盖图像和文本）的基准，这些数据集使用多种自动化技术（基于 LLM、监督学习、半监督学习和弱监督学习）进行标注，以便在实际的、非理想化的噪声条件下进行评估。他们还包含了现实世界的 Clothing1M 数据集。
CANOLA 框架： 一个将噪声估计与标签细化解耦的新颖纠正框架。它结合了噪声感知深度神经网络（由估计的噪声分布正则化）与损失稳定触发器，以执行谨慎的、迭代的软标签细化。
全面评估： 广泛的实验表明，CANOLA 一致地优于最先进的（SOTA）标签纠正方法，并带来了显著的下游性能提升，即使是在使用纠正后的数据训练简单分类器的情况下也是如此。

4. 实验结果

该框架在六个数据集（FashionMNIST, OrganAMNIST, RESISC45, AGNews, Yahoo! Answer, 和 Clothing1M）以及各种噪声场景下进行了评估。

标签纠正准确率： CANOLA 在所有数据集和噪声类型下均一致实现了最低的错误率。平均而言，它将原始数据集的错误率降低了约 25%。在具有挑战性的条件下（例如弱监督标注），它比原始数据实现了高达 31% 的相对提升。
与 SOTA 的比较： CANOLA 优于现有的纠正方法（DOCTA, SELC, SIDYP），其错误减少的相对提升范围在 19% 到 52% 之间。与某些基线方法（例如在特定高噪声情况下的 DOCTA 或 SIDYP）不同，CANOLA 在任何评估设置中都没有降低数据质量。
下游效用： 在 CANOLA 纠正后的数据上训练的模型显示出实质性的性能增益。平均而言，下游分类器的 F1-Macro 比在原始噪声数据上训练时提高了 10%。在严重的噪声场景下，CANOLA 纠正后的数据使简单分类器的表现优于复杂的以模型为中心的噪声鲁棒方法（如 DivideMix, Co-Teaching, SIDYP），提升幅度达 8% 至 67%。
消融研究：
- 两阶段设计： 研究发现两个阶段都是必要的；第一阶段提供了可靠的基础，而第二阶段实现了鲁棒的噪声建模和稳定的细化。
- 软更新 vs. 硬更新： 软标签细化明显优于硬标签更新，平均降低了约 16% 的错误率。
- 损失函数： 研究发现 KL 散度是训练噪声感知模型最有效的损失函数。
- 敏感性： 该框架对超参数变化具有鲁棒性，在 15–20 个预热轮次（epochs）和约 10 次纠正迭代时表现最佳。

5. 重要性与主张

论文声称 CANOLA 代表了数据中心学习领域的重大进展，因为它显式地解决了标签受损的根本原因。作者强调：

显式清洗优于鲁棒训练： 在高噪声场景下，通过 CANOLA 进行数据清洗所带来的下游收益，要大于仅仅依赖噪声鲁棒训练算法。
稳定性是关键： 通过将学习阶段与纠正阶段解耦并利用损失稳定触发器，CANOLA 避免了困扰早期基于模型的纠正方法的确认偏差循环。
实用性： 该框架计算效率高（处理数据集仅需几分钟到半小时），并且在不同领域（图像和文本）及不同噪声源（自动化流水线和现实世界数据集）中均有效。

作者总结道，CANOLA 提供了一种原则性、稳定且有效的机制来修复受损标签，使其成为提高在不完美现实世界数据上训练的 ML 模型可靠性的有力工具。