🤖 machine learning

Benchmarking Instance-Dependent Label Noise with Controlled Corruptions

本文介绍了 CILN，这是一个通过显式输入损坏来创建受控的实例相关标签噪声的基准生成框架，它揭示了噪声结构如何显著影响算法性能，并暴露了流行的噪声标签学习方法在传统评分者失误基准中无法发现的失效模式。

原作者： Shadman Islam, Agustinus Kristiadi, Mostafa Milani

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Shadman Islam, Agustinus Kristiadi, Mostafa Milani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一个机器人识别照片中的动物。你给它一张狗的照片，但标签却写着“猫”。机器人感到很困惑。这被称为标签噪声（label noise）。

长期以来，研究人员通过仅仅随机翻转标签来测试机器人处理错误的能力。这就像是在说：“好吧，让我们假定 10% 的狗的照片其实是猫，10% 的猫的照片其实是狗。”但在现实世界中，错误并不是随机发生的。错误可能是因为照片模糊、光线不好或者动物长得奇形怪状。比起清晰锐利的狗，机器人更有可能把一张模糊的狗的照片误认为猫。

这篇论文介绍了一种新的测试机器人的方法，称为 CILN（诱发性损坏标签噪声，Corruption-Induced Label Noise）。与其仅仅随机交换标签，研究人员先故意“破坏”图片，然后观察机器人的反应。

以下是其工作原理及研究发现的简单拆解：

1. 旧方法 vs. 新方法

旧方法（“糟糕的老师”）： 想象一位老师只是因为太累了而犯了一些随机错误。他们看着一张清晰的狗的照片，却不小心在上面写了“猫”。这个错误与图片本身无关；这纯粹是老师那天状态不好。现有的测试就是使用这种方法。
新方法（“损坏的照片”）： 在 CILN 实验中，研究人员不只是改变标签，而是先毁掉照片。他们拿一张清晰的狗的照片，加入静电噪声、使其模糊，或者切掉它的耳朵。现在，这张照片看起来确实有点像一只猫。当他们要求一组“投票者”（一组不同的 AI 模型）对这张受损的照片进行标注时，他们产生了分歧。有人说是“狗”，有人说是“猫”。研究人员利用这种分歧来创建“噪声”标签。

核心区别： 在旧方法中，错误隐藏在老师的大脑里。在新方法中，错误在破碎的照片中清晰可见。你知道机器人为什么会困惑：是因为照片模糊了，而不是因为老师粗心。

2. 他们是如何做的（“受控破坏”）

研究人员提取了干净的数据集（如狗、猫和鸟的照片），并应用了特定的“损坏”：

模糊（Blur）： 使图像变得模糊。
噪声（Noise）： 加入颗粒状的静电噪声。
天气（Weather）： 加入雾或雪。
几何变换（Geometry）： 拉伸或旋转图像。

他们以不同的严重程度进行操作，从“轻微干扰”到“完全无法辨认”。然后，他们要求一个多样化的 AI 模型团队来猜测受损图像的内容。如果团队产生了分歧，该图像就会成为他们“噪声”测试集的一部分。

3. 他们的发现

研究人员在三种不同类型的数据上运行了这些测试：动物照片（CIFAR-10）、手写数字（MNIST）以及成年人收入数据（Adult）。

错误具有模式性： 他们发现，当你以特定方式破坏一张图片时，错误并不是随机的。例如，如果你向一个手写数字“5”添加“脉冲噪声”（类似于盐和胡椒般的静电噪声），空隙会被填补，使其看起来像个“8”。机器人一致地犯了相同的错误（5 变成 8），因为损坏使得它看起来像个 8。这与随机噪声不同，在随机噪声下，一个 5 可能会随机变成 2、7 或 9。
“吸引子”效应（The "Attractor" Effect）： 某些类型的损坏就像磁铁一样。无论原始图片是什么，只要损坏程度足够大，机器人都会开始猜出同一个错误答案。例如，严重的模糊可能会让几乎所有东西看起来都像“猫”或“青蛙”。
“小损失”陷阱（The "Small Loss" Trap）： 许多现代 AI 方法试图通过假设如果一个机器人对某个标签非常确定（低“损失”/low loss），那么它很可能是正确的来修复错误。但 CILN 测试显示了一个陷阱：如果一张图片被损坏到看起来像一只猫，机器人会对它是猫这件事感到“非常确定”，尽管它实际上是一只狗。机器人认为自己是对的，是因为图片坏了，而不是因为它聪明。这导致流行的 AI 方法在这些测试中失败了，而在旧有的“随机错误”测试中，它们从未失败过。

4. 为什么这很重要

该论文认为，我们不能仅仅测量一个数据集有多少错误（“噪声率”），我们还需要测量这些错误是什么样的错误。

类比： 想象测试汽车的刹车。
- 旧测试： 你在开车时随机踩下刹车踏板。有时车停住了，有时没停。
- 新测试 (CILN)： 你把车放在布满冰块的路上，然后再测试刹车。
- 结果： 这辆车在干燥的路面上表现良好（低噪声），但在冰面上会完全失效（高噪声）。旧的测试方法无法告诉你这辆车在冰面上表现挣扎。同样，旧的 AI 测试没有告诉我们 AI 在数据本身受损时会挣扎，而只关注标签是否错误。

总结

这篇论文提出了 CILN，一种通过创建“破碎”数据来测试 AI 的新工具。它表明，当数据以特定方式（如模糊或噪声）受损时，AI 会犯下可预测的、结构化的错误，这与随机错误截然不同。这揭示了当前 AI 安全方法中此前被隐藏的弱点，证明了错误如何发生与发生了多少次错误同样重要。

技术摘要：基于受控损坏的实例相关标签噪声（CILN）基准测试

问题陈述

现代机器学习系统依赖于大规模标注数据集，然而由于标注错误、歧义样本或弱监督，这些标签往往是不完美的。早期的研究主要关注对称噪声和类别条件噪声（CCN），但实际场景通常表现为实例相关标签噪声（IDN），即标注错误的概率取决于真实类别以及输入实例的具体特征。

现有的合成 IDN 基准测试通常通过两种机制生成噪声：

特征空间变换： 应用潜在变换以增加特定样本的损坏概率。
伪标签法： 使用多样化的分类器作为合成标注者，其中分类器之间的分歧引发了不确定性。

局限性： 在这两种方法中，歧义的来源都是隐性的。在特征空间方法中，变换往往难以解释；在伪标签法中，噪声是通过修改标注者属性（如训练过程）来控制的，这使得很难分离出特定的歧义机制（如模糊、遮挡、数据缺失），也难以将标签错误追溯到特定的输入变化。因此，现有的基准测试在系统研究特定数据退化机制如何影响分类器分歧及下游学习行为方面，支持能力有限。

方法论：CILN 框架

作者引入了 CILN（损坏诱导标签噪声），这是一个通过受控输入损坏来创建 IDN 的基准生成框架。与改变标注过程的方法不同，CILN 通过改变输入数据本身来保持语义内容。

核心组件

受控损坏： 该框架对干净实例应用特定类型的损坏（ $c$ $c$ ）以及不同程度的严重度（ $\ell$ $ℓ$ ）。
- 图像数据： 利用来自 CIFAR-C 和 MNIST-C 的损坏家族，包括噪声（高斯、脉冲、射击噪声）、模糊（离焦、玻璃、运动模糊）、天气（雾、霜、雪）以及数字伪影（亮度、对比度、JPEG 压缩）。
- 表格数据： 利用受 Jenga 基准启发设计的损坏算子，包括缺失数据机制（MCAR、MAR、MNAR）和数值损坏（噪声注入、缩放）。
投票池： 一个多样化的模型池（例如 ResNets、Vision Transformers、XGBoost）对损坏后的实例进行评估。
标签生成：
- 每个投票者产生一个预测分布 $p^{(m)}(y|x)$ 。
- 基准测试发布一个聚合标签分布 $\bar{p}_i$ （投票者预测的算术平均值）和单个投票者的分布。
- 对于硬标签实验，随机均匀采样一个投票者来提供训练标签，以模拟 PL-IDN 协议。
干净起始配置（Clean-Start Configuration）： 一种可选模式，通过过滤数据集，仅保留在损坏发生前被所有投票者一致正确分类的实例。这隔离了由损坏引起的确定性与原始数据中预先存在的歧义。

基准构建

该框架在三个数据集上进行了实例化：CIFAR-10、MNIST 和 Adult。

CIFAR-10： 45 个设置（15 种损坏类型 $\times$ 3 个严重度等级）。
MNIST： 30 个发布的设置（11 种连续严重度类型 + 4 种结构类型）。
Adult： 15 个设置（5 种损坏类型 $\times$ 3 个严重度等级）。
总计：涵盖图像和表格领域的 90 个基准设置。

主要贡献

机制受控的 IDN 生成： CILN 提供了一个框架，使歧义的来源（损坏类型）和严重程度都是显式且可控的，从而在输入退化与标签不确定性之间建立了直接联系。
真实的实例相关性： 作者证明了该框架能生成真正的 IDN，其实例相关程度可以通过损坏类型和严重度进行系统性调节。
类人确定性： 在适当的设置下，CILN 生成的标签分布在统计上比现有的合成 IDN 基准测试（特别是 PL-IDN）更接近人类标注的不确定性（通过与 CIFAR-10-H 进行比较得出）。
揭示失效模式： 该基准测试揭示了最先进的噪声标签学习方法（如 Co-Teaching、DivideMix）在高严重度损坏下会表现出失效模式，而这些模式在由评分者易错性模型产生的同等噪声率下并不会出现。

实验结果

1. 实例相关性的强度

作者引入了**噪声转换异质性（ $n_{th}$ ）**来衡量实例相关性。

发现： 所有 CILN 设置都产生了正的 $n_{th}$ 值，证实了真实的 IDN。
控制： $n_{th}$ 的大小随损坏家族和严重度等级的变化而显著不同。对于许多家族，随着严重度增加， $n_{th}$ 会上升，但最终会在高严重度下趋于饱和或下降，因为预测模式趋于收敛。
对比： 在高噪声率下，具有代表性的 CILN 设置在实例相关性上达到或超过了 PL-IDN。

2. 与人类标注不确定性的相似性

使用针对 CIFAR-10-H 的全变分（TV）距离进行分析：

发现： 在所有噪声水平下，CILN 始终比 PL-IDN 更接近人类的不确定性。
损坏特异性： 轻微的损坏（特别是天气和数字家族，如霜、雪、雾、亮度、JPEG）产生的标签分布与人类的分歧最为相似。严重的损坏倾向于偏离人类模式，但仍优于 PL-IDN。
PCA 分析： 在 PCA 空间中，距离 CIFAR-10-H 最近的十个 CILN 设置均为低严重度的天气或数字类损坏；PL-IDN 发布的所有设置均未进入前十名。

3. 下游学习行为

作者在 CIFAR-10 上评估了 ERM、Co-Teaching 和 DivideMix。

低/中度噪声： CILN 和 PL-IDN 呈现相似的性能趋势。
高噪声下的分歧： 在高噪声率下，Co-Teaching 和 DivideMix 在特定的 CILN 设置（如高严重度对比度、像素化、玻璃模糊）下表现出大幅度的性能下降，而在 PL-IDH 上则保持相对鲁棒。
失效机制：
- 吸引类（Attractor Classes）： 某些损坏创造了“吸引类”（如青蛙、猫、卡车），使得许多真实类别的误标样本被拉向同一个错误的类别。
- 损失分布坍缩： 在这些设置中，错误标签与损坏后的输入变得一致。因此，噪声样本产生的训练损失并不一定比干净样本更高。这违反了小损失假设（即干净样本具有较低损失），而 Co-Teaching 和 DivideMix 正是依赖此假设进行样本选择的。
- 干净起始验证： 这些失效模式在 Clean-Start 变体（CILN-C）中依然存在，证实了其困难源于损坏本身的结构，而非预先存在的数据歧义。

意义与主张

论文指出，噪声结构而非仅仅是噪声率，是决定基准测试难度和算法行为的关键因素。

互补性： CILN 通过将重点从噪声是如何产生的（标注者质量）转向为什么产生（数据退化），补充了现有的评分者易错性基准测试（如 PL-IDN）。
可解释性： 通过使歧义机制显式化，CILN 允许研究人员研究特定类型的数据退化（如模糊 vs. 缺失值）如何影响学习动态。
现实性： 该框架证明了受控损坏可以产生比现有合成方法更接近人类不确定性的标签分布，尤其是在低到中度严重度的区间内。
算法洞察： 结果表明，目前的噪声鲁棒方法可能过度拟合了传统基准测试的特定噪声结构（在这些基准中，噪声与输入基本无关），当噪声通过损坏与输入产生结构性耦合时，这些方法可能会失效。

作者总结道，CILN 提供了一个实用、可解释且机制受控的框架，用于评估在多种来源的实例难度下的噪声标签学习，并敦促社区在设计基准时应将噪声结构与噪声率共同考虑。