💻 computer science

Leveraging Dissimilarity Invariance as a Robust Anchor for Learning with Noisy Labels

本文介绍了 NegScale，这是一个利用稳定的“差异不变性”（Dissimilarity Invariance）现象来通过将关注点从脆弱的相似性转向可靠的差异性，进而通过结构化负正交惩罚（Structured Negative Orthogonality Penalty）和差异校准相似性调整（Dissimilarity-Calibrated Similarity Adjustment）来从噪声标签中进行鲁棒学习的新型框架。

原作者： Wenxiao Fan, Kan Li

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Wenxiao Fan, Kan Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人通过看成千上万张照片来识别动物。在计算机科学领域，这被称为“视觉识别”，它是你的手机如何通过人脸解锁，或者应用程序如何自动标记照片中的好友的方式。但问题在于：如果给机器人发闪卡进行教学的老师有点丢三落四怎么办？有时，他们可能会不小心把一张猫的照片贴上“狗”的标签。这被称为“噪声标签”。当机器人试图从这些混乱的指令中学习时，它会感到困惑。它会开始认为猫和狗其实是同一种东西，因为老师一直告诉它它们是。这篇论文解决的正是一个这样的问题：当老师犯错时，我们该如何教机器人去学习真相？这篇论文建立的核心理念是，机器人通过弄清楚哪些事物是“相似的”（比如两只不同的狗）以及哪些是“不同的”（比如一只狗和一只青蛙）来进行学习。通常情况下，当老师弄乱了标签时，机器人会变得非常不擅长区分那些相似的事物。

但是，这篇文章的作者文晓范（Wenxiao Fan）和李侃（Kan Li）注意到，在观察机器人学习的过程中，发生了一些奇特而美妙的事情。他们发现，虽然机器人在弄清楚事物“看起来有多像”方面感到困惑，但它在知道事物“看起来完全不像”方面却保持得惊人地好。即使老师指着一只青蛙大喊“这是一只狗！”，机器人内心深处仍然知道狗和青蛙是完全不同的。机器人的辨别“非相似性”的能力并没有崩溃，即便“相似性”的部分已经变得一团糟。作者们将这种现象称为“差异不变性”（Dissimilarity Invariance）。这就像拥有一种超能力：你可能因为大家的名字都叫得混乱而记不住谁是你的朋友，但你依然能瞬间分辨出猫不是烤面包机。

利用这一发现，团队构建了一个名为 NegScale 的新工具。把 NegScale 想象成机器人的智能教练。教练并不试图直接修复那个混乱老师的标签，而是告诉机器人：“嘿，先忽略那些令人困惑的‘相同’标签。只要专注于这样一个事实：马和汽车绝对不是同一种东西。”这个教练使用了两个主要技巧。首先，它强迫机器人将“不相关”的事物放在完全不同的思维框里（比如把一只鞋子和一个香蕉分别放在遥远的两个房间里）。其次，它充当了一个现实检查员：如果机器人因为一个错误的标签而开始认为两样东西太相似了，教练就会说：“等等，在‘非相似’的世界里，这两样东西离得太远了，不可能是朋友。退后！”

论文表明，这种方法效果非常好。当他们在 CIFAR-10 和 CIFAR-100 等标准图像数据集上测试 NegScale 时（在这些数据集中，我们故意弄乱了标签，有时高达 80% 的标签是错误的！），机器人的学习效果比以前好得多。事实上，它击败了几乎所有科学家尝试过的方法。例如，在一个有 80% 噪声的数据集上，他们的方法达到了约 95.6% 的准确率，而其他顶尖方法很难超过 94%。他们还在现实世界中杂乱的数据（如标签经常出错的网络图片）上进行了测试，结果依然名列前茅。

作者们并不仅仅是靠直觉猜测这行得通；他们通过数学证明了原因。他们展示了当机器人学习时，那些真正不同的事物之间的“距离”保持稳定，即使标签是错误的。但是，那些本应相同的事物之间的“接近度”会变得摇摆不定且不可靠。通过将学习过程锚定在稳定的“非相似”关系上，NegScale 防止了机器人被噪声标签所欺骗。这有点像在波涛汹涌的大海上航行：当地图（标签）破损且混乱时，你不会试图去猜测岛屿在哪里；相反，你只需要确保自己远离那些你明确知道存在的礁石。这种视角的转变——从试图寻找完美的匹配转向避免不可能的错配——在世界变得混乱时，证明是一种更强大的学习方式。

技术摘要：利用差异不变性作为噪声标签学习中的鲁棒锚点

问题陈述
深度学习模型在视觉识别方面取得了高性能，但在训练标签受噪声污染时会遭遇显著的性能退化。现有方法往往失效，是因为噪声标签扭曲了数据的语义结构，特别是学习到的样本间相似性。作者观察到，语义相似性（正样本对）在本质上是脆弱的；错误的标签会严重扭曲成对的相似性，导致错误的亲和力对齐，从而阻碍模型学习有意义的关系。相反，本文识别出一种被忽视的现象：即尽管噪声率增加，无关样本之间的语义差异性（负样本对）仍能保持显著的稳定性。

方法论：NegScale
为了解决相似性的脆弱性，作者提出了 NegScale，这是一个即插即用的框架，它将学习重心从脆弱的相似性转向鲁棒的差异性。该框架通过利用“差异不变性”（Dissimilarity Invariance）作为一种鲁棒锚点来运作。NegScale 由两个主要模块组成：

结构化负向正交惩罚 (SNOP)：
该模块强制要求每个小批量（minibatch）内的负样本对（语义无关的样本）保持正交。其原理是：不相似的样本应占据不同的子空间。SNOP 包含两个组件：
- 全局正交损失 ( $L_{global}$ )：鼓励负样本对之间的归一化差异向量集合趋近于单位矩阵，以确保全局排斥。
- 局部正交损失 ( $L_{local}$ )：一种基于置信度的加权惩罚，直接惩罚负样本对之间的内积对齐。该损失会对涉及低置信度（潜在噪声）样本的样本对施加更高的惩罚，从而在最需要的地方强化差异性约束。
差异校准的相似性调整 (DCSA)：
该模块用于抑制由误标正样本对引起的伪相似性。它利用稳定的差异模式作为锚点，对正样本对的相似性施加软上限。
- 对于每个正样本对，根据其与负样本的接近程度计算一个自适应校准因子 ( $\delta_{ij}$ )。
- 如果一个正样本对与无关样本纠缠在一起（高 $\delta_{ij}$ ），其相似性将被限制。
- 损失函数会惩罚那些相似性超过软上限 ( $1 - \delta_{ij}$ ) 的正样本对，从而防止模型内化错误的关联。

总目标函数结合了原始损失 ( $L_{org}$ ) 以及 SNOP 和 DCSA 损失，并由系数 $\lambda$ 和 $\mu$ 进行平衡。该方法无需外部数据或预训练，可以无缝集成到现有流水线中。

核心贡献

差异不变性：论文正式识别并分析了这样一个现象：在标签噪声下，无关样本间的语义差异性比语义相似性更具稳定性。
NegScale 框架：作者提出了一个新颖的框架，利用这种不变性来建模鲁棒的差异性并抑制伪相似性。
理论分析：论文提供了理论证明，表明在对称噪声下，负样本对的预期变化量小于正样本对。此外，论文建立了界限，证明了 NegScale 能减轻由噪声标签导致的特征扰动和边缘侵蚀。
实证验证：广泛的实验表明，NegScale 在合成噪声基准（CIFAR-10/100）和真实世界噪声数据集（CIFAR-10N, CIFAR-100N, Animal-10N, WebVision）上均一致优于最先进的基准方法。

实验结果

合成噪声：在具有对称、成对及实例相关噪声的 CIFAR-10 和 CIFAR-100 上，NegScale（结合 RoLR 基准）达到了新的领先水平。值得注意的是，在 80% 噪声的 CIFAR-100 上，它比 RankMatch 提升了 3.6% 的准确率。
真实世界噪声：该方法在真实世界噪声数据集上表现出卓越的鲁棒性，在 CIFAR-10N、Animal-10N 和 WebVision 上均优于竞争方法。在 mini-WebVision 和 ILSVRC12 上，其 Top-1 准确率超过了混合方法 UNICON 超过 3%。
即插即用能力：将 NegScale 与其他方法（如 DivideMix, RankMatch, ANNE）集成，能够持续提升其性能，证实了其广泛的适用性。
消融实验：移除 SNOP 或 DCSA 中的任何一个都会导致性能显著下降，尤其是在高噪声比例下，这验证了两个组件的必要性。敏感性分析确认，平衡的正则化权重和精心校准的负样本对选择阈值对于实现最优性能至关重要。

意义
本文声称，通过将关注点从脆弱的相似性转向鲁棒的差异性，模型可以可靠地学习并利用稳定的模式，从而在噪声监督下提高性能。其意义在于为利用“负向”关系作为稳定锚点提供了理论与实践基础，提供了一种简单而有效的机制，在无需复杂样本选择或外部数据的情况下，纠正由标签噪声引起的结构性扭曲。

技术摘要：利用差异不变性作为噪声标签学习中的鲁棒锚点

类似论文