🤖 machine learning

Stop Replacing Noise with Noise: Two-Source Reliability Assessment for Label Correction and Sample Reweighting in Label-Noise Learning

该论文介绍了 TRACE，这是一个通过使用不同的可靠性指标来解耦观测标签与伪目标评估的框架，旨在防止噪声标签学习中常见的陷阱，即纠正一个不可靠信号会无意中放大另一个信号。

原作者： Wenxiao Fan, Kan Li

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Wenxiao Fan, Kan Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人识别动物，方法是给它看成千上万张照片。但这里有个陷阱：一个淘气的格林姆林（gremlin）在一些标签上乱涂乱画，写错了名字。一张猫的照片可能被标记为“狗”，而一张狗的照片可能被标记为“猫”。这就是“噪声标签学习”（noisy-label learning）的世界，它是计算机科学中一个棘手的领域，机器在这里试图从错误的老师那里学习真理。

为了解决这个问题，科学家们开发了一种聪明的策略，叫做“翻新”（refurbishment）。把它想象成一个正在考试的学生：如果学生对某个答案不确定，他们不会盲目猜测；而是会查看自己的笔记（模型当前的知识）来看看它认为答案应该是多少。旧的方法是对老师的标签和学生的猜测使用同一个“信任计”。如果这个计数器显示“不要相信老师”，系统就会自动说：“太好了，改相信学生的猜测吧！”它假设如果一个来源不可靠，另一个就一定是可靠的。但如果学生的笔记也是错的怎么办？如果机器人最初从老师那里学到了错误的答案，而现在它正自信满满地重复同样的错误呢？这正是这篇论文所探讨的危险所在。

这项研究背后的研究人员——来自北京理工大学的范文晓（Wenxiao Fan）和李侃（Kan Li）发现，这种“全或无”的信任切换是危险的。他们将这个问题称为“用噪声替换噪声”。想象一位侦探，在意识到一名证人在撒谎后，立即转向信任另一名站在撒谎者旁边、听到了同样谎言的证人。第二位证人并不一定在说实话；他们可能只是在重复第一个人的话。

论文指出，在深度学习中，当模型被噪声标签搞糊涂时，它的“深层”部分（负责复杂推理的部分）会变得混乱并开始相信错误的事情。然而，“浅层”部分（负责观察基本形状和边缘的部分）则保持相对冷静和稳定。旧方法盲目地信任被搅乱的深层网络来修正标签，这往往只会让错误变得更严重。

为了解决这个问题，作者提出了一个名为 TRACE 的新框架。TRACE 不再对所有事物使用单一的信任计，而是使用两个独立的检查机制：

检查老师： 它通过三个线索来观察原始标签：模型的拟合程度、基本形状的稳定性（浅层部分），以及两个不同的“学生”模型是否对答案达成一致。
检查学生的猜测： 它通过一个完全不同的线索来观察模型自身的猜测：模型对该特定猜测的信心程度。

TRACE 的魔力在于，它并不假设如果老师错了，学生就是对的。它会问：“老师错了吗？”以及“学生真的对吗？”如果老师错了，但学生也在胡乱猜测，TRACE 会说：“等等，现在我们谁都不能信任。”只有当学生确实充满信心且可靠时，TRACE 才会利用学生的猜测来修正标签。

团队在多种杂乱的数据集上测试了这个想法，包括合成噪声（即我们故意弄乱标签）以及来自互联网的照片等现实世界中的杂乱数据。他们发现 TRACE 始终优于以往的方法。例如，在一个标签错误率为 50% 的 CIFAR-100 数据集上，TRACE 将现有最佳方法的准确率提高了约 1.16 个百分点。更重要的是，它减少了模型出现“高置信度错误”的情况——即那些机器人非常确定自己是对的，但实际上却错了的时刻。

简而言之，这篇论文表明，在从杂乱数据中学习时，我们不应该只是用另一个不可靠的来源去替换另一个。我们需要独立地检查每一个来源。通过将我们对原始标签的信任与对模型自身修正的信任分开，TRACE 帮助机器人学习真理而不被自己的错误所误导。这提醒我们，在人工智能的世界里，有时修正谎言最好的方法，是不要假设下一个猜测自动就是真相。

技术摘要：TRACE —— 用于标签修正与样本重加权的二源可靠性评估

问题陈述

当前的噪声标签学习方法，特别是基于标签细化（label refurbishment）的方法（例如 DivideMix、SELFIE、RoLR），依赖于一种“一刀切”的控制机制。这些方法通常通过单一的样本级洁净度得分，在观测到的噪声标签与模型生成的伪目标（pseudo target）之间进行插值。这产生了一种隐性耦合（hidden coupling）：降低对观测标签的信任度会自动增加对伪目标的权重。

作者认为，这种耦合存在**“以噪声替换噪声”**的风险。因为伪目标是由在相同受损监督下训练的模型生成的，它可能会继承模型的噪声偏差。因此，当观测标签被认为不可靠时，系统可能会盲目信任一个同样甚至更加错误的伪目标。在 CIFAR-100N 上的实证分析表明，即使在“高洁净度”区间，伪目标仍有 99.7% 的概率遵循噪声观测标签，而其自身的正确率仅为 74.7%，且往往表现出高置信度。

方法论：TRACE 框架

本文提出了 TRACE（Two-Source Reliability Assessment，二源可靠性评估）框架，该框架解耦了两个监督源——**观测标签（observed label）与伪目标（pseudo target）**的可靠性评估。TRACE 不再使用单个标量来控制两个分支，而是计算独立的得分（ $s^{obs}_i$ 和 $s^{pseudo}_i$ ）来确定分支权重。

1. 初步分析与动机
作者提供了表示层面的诊断分析，以证明分离这两个来源的合理性：

深度相关偏差（Depth-Dependent Bias）： 噪声监督对深层网络层的扰动比浅层更强。随着噪声率上升，梯度敏感度和原型翻转（即误标样本向错误类别锚点对齐）在深层显著增加。
浅层稳定性（Shallow Stability）： 浅层关系在噪声下保持相对稳定，能够提供基于损失（loss-based）指标无法捕捉的关于观测标签正确性的信息。
结论： 拒绝一个观测标签并不意味着可以信任一个源自深度、受噪声污染表示的伪目标。相反，浅层结构的稳定性可以用来精炼观测标签的可靠性，但并不能证明伪目标的可靠性。

2. TRACE 算法
TRACE 通过引入特定于源的权重，修改了标准的细化损失函数 $y^{rec}_i = \lambda_i \hat{y}_i + (1-\lambda_i)q_i$ ：
$a_i = s^{obs}_i, \quad b_i = (1 - s^{obs}_i) s^{pseudo}_i$
最终的修正目标为 $\tilde{y}_i = \frac{a_i \hat{y}_i + b_i q_i}{a_i + b_i + \epsilon}$ 。

观测标签可靠性 ( $s^{obs}_i$ )：
该得分结合了三种信号来评估观测标签 $\hat{y}_i$ ：
- 损失拟合度 ( $c^{loss}_i$ )： 标准的小损失先验（即样本为洁净样本的概率）。
- 浅层关系稳定性 ( $c^{str}_i$ )： 衡量跨网络深度的局部关系在浅层中的稳定性。高稳定性表明样本的表示与洁净原型对齐，即使其损失值较高。
- 预测一致性 ( $g^{agr}_i$ )： 一个基于两个网络之间一致性的一致性门控（consistency gate）。
  这些信号被组合成一个加权得分，用以精炼损失后验。
伪目标可靠性 ( $s^{pseudo}_i$ )：
该得分独立地评估伪目标 $q_i$ 。它仅由模型置信度（伪目标的最大概率）导出，并通过幂次 $\rho$ 进行处理，以抑制低置信度的预测。至关重要的是，较低的观测标签得分（ $s^{obs}_i$ ）会产生对修正的需求，但只有当 $s^{pseudo}_i$ 也较高时，伪目标分支才会被激活。

3. 训练过程
框架根据每个样本的权重之和（ $a_i + b_i$ ）调整其监督强度 $w_i$ 。对于两个来源都不可靠的样本，其权重会降低；而可靠的观测标签则保持主导地位。

核心贡献

识别了“以噪声替换噪声”的风险： 本文正式识别并论证了使用单一洁净度得分来同时控制观测标签和伪目标会导致噪声传播，因为伪目标并非外部先验，而是同一受损训练过程的产物。
TRACE 框架： 提出了一种可即插即用的二源可靠性评估机制，实现了观测标签与伪目标的评估解耦。它利用浅层结构稳定性来评估前者，并利用独立的置信度门控来评估后者。
实证验证： 通过广泛实验证明，TRACE 提升了包括合成噪声、人工标注噪声（CIFAR-N）以及大规模真实世界噪声（WebVision, Food-101N, Clothing1M）在内的多种基准性能。

实验结果

合成噪声 (CIFAR-10/100)： TRACE 提升了多种最先进基准方法（DivideMix, RoLR, DISC, ANNE）在对称、配对及实例相关噪声设置下的表现。例如，在具有 40% 配对噪声的 CIFAR-100 上，ANNE+TRACE 的准确率达到 79.3%，高于仅使用 ANNE 的 78.4%。
真实世界噪声： 在 CIFAR-10N 和 CIFAR-100N 上，TRACE 持续提升或达到了已报道的最佳结果。在 Clothing1M 上，DivideMix+TRACE 达到了 77.6% 的准确率，优于基准 DivideMix (74.8%) 及其他插件式方法。
伪目标质量： 分析显示，TRACE 显著提高了用于修正的伪目标的准确率，尤其是在“低洁净度 + 高噪声”的样本上。它降低了高置信度错误（例如在 CIFAR-100 上从 8.93% 降至 6.16%）并降低了校准误差，表明所选的伪目标不仅更频繁，而且更可靠。
消融实验： 取消解耦（回归到单一得分）或移除伪目标置信度门控 ( $s^{pseudo}_i$ ) 会导致明显的性能下降，从而证实了独立评估的必要性。

意义与主张

本文声称，TRACE 通过解决当前细化方法中的根本性失配，为噪声标签学习提供了一个更安全的接口。通过将用于评估观测标签的证据与用于评估伪目标的证据分离，TRACE 防止了系统盲目地用一个不可靠的信号替换另一个。作者强调，该方法不需要新的学习目标或新的伪目标生成器；相反，它作为一个模块化的可靠性过滤器，增强了现有的细化流水线。研究结果支持了以下观点：针对特定来源的可靠性评估对于在存在标签噪声的情况下实现鲁棒学习至关重要。