💻 computer science

Diagnosing Corruption-Induced Reliability Failures in Vision-Language Models

本文介绍了 Bench-C，一个受控测试平台以及鲁棒性对齐分数（RAS）指标，旨在揭示视觉损坏如何即使在 Top-1 准确率看似提升的情况下，仍会悄无声息地降低视觉-语言模型的分布可靠性与结构稳定性。

原作者： Xiangjie Sui, Songyang Li, Hanwei Zhu, Baoliang Chen, Yuming Fang, Xin Sun

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiangjie Sui, Songyang Li, Hanwei Zhu, Baoliang Chen, Yuming Fang, Xin Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正和一个超级聪明的机器人朋友一起参加一场选择题测试。你给它看一张红苹果的照片，并问它：“这是什么颜色？”机器人自信地大喊：“红色！”并获得了一颗金星。但如果这张照片很模糊，或者布满了噪点，或者看起来像是由于雨天拍摄的呢？

大多数人即使在照片有点凌乱的情况下，仍然会说：“这肯定是红色的！”但这里有一个转折：视觉语言模型（VLMs）——即那些观察图片并进行描述的机器人——可能会被一些 ways 误导，而简单的“对或错”评分完全无法捕捉到这些误导。

这正是这篇题为**《诊断视觉语言模型中由损坏引起的可靠性失效》（Diagnosing Corruption-Induced Reliability Failures in Vision-Language Models）**的论文所探讨的核心内容。作者构建了一个特殊的测试场，名为 BENCH-C，旨在窥探机器人的“内部构造”，看看当机器人的视觉被“损坏”（例如变得模糊、多噪点或发生畸变）时会发生什么。

大惊喜：机器人会自我欺骗

主要发现有点违反直觉。通常我们认为，如果机器人答错了，说明它坏了。但本研究发现，有时机器人即便在内部信心完全崩溃的情况下，依然能给出“正确”的答案。

可以这样理解：

无声的崩溃： 机器人看到一张模糊的红苹果照片。它依然说“红色！”（所以得分显示“正确！”）。但在其内部，它的脑海里却在尖叫：“我不确定！它可能是红色的，也可能是橙色的，或者可能是西红柿！”它失去了确定性，但最终答案并没有改变。分数显示“良好”，但可靠性其实已经破裂了。
幸运的猜测： 有时，一张凌乱的照片会让机器人的想法从“蓝色”转变为“红色”（正确答案）。得分显示“太棒了！它进步了！”但本文指出，这可能只是个偶然。机器人并没有突然理解了苹果，它只是在思维摇摆不定时，偶然撞到了正确答案。

作者认为，仅仅观察最终答案（Top-1 Accuracy）就像是只通过结局来评价一部电影。 你可能会忽略掉演员忘词、镜头晃动或剧情直到最后一秒都毫无逻辑的事实。

新工具：BENCH-C 与 “RAS” 分数

为了捕捉这些隐蔽的失效，团队构建了 BENCH-C。想象一个装有 4,000 个问答对的大口袋。其中大部分都是乏味的，因为无论图片变得多么糟糕，机器人都能答对（比如在图片清晰可见是猫的情况下问“这是一只猫吗？”）。

作者将这个口袋过滤到了 849 个“诊断性”问题。这些是棘手的题目，即当图片变得凌乱时，机器人的答案会发生实际变化或变得摇摆不定的题目。他们使用 13 种不同的 VLM 对 19 种不同类型的视觉损坏（如模糊、噪声、天气和数字故障）进行了测试，并设置了 5 个严重程度等级（从“有点模糊”到“无法辨认”）。

为了衡量机器人的“心理状态”，他们发明了一个新分数，叫做 RAS（鲁棒性对齐分数）。

如果机器人答对了且保持信心，RAS 会很高。
如果机器人答对了但感到困惑（或者答错了但表现得超级自信），RAS 就会下降。

他们的发现（“啊哈！”时刻）

论文测量了 13 个模型，并发现了某些奇怪的模式：

轻微的损坏实际上会让得分看起来更好，即便机器人的表现变差了。
有时，给图片增加一点噪声会让机器人的答案从“错误”变为“正确”。得分上升了！但作者认为这并非真正的进步；这只是不稳定行为的表现。机器人正在摇摆，有时它只是在摇摆中偶然撞中了正确答案。
“来源”至关重要。
他们将问题分为两组：一组是图片变乱前机器人答对的，另一组是变乱前答错的。
- 原本正确的： 当这些问题变得凌乱时，机器人往往保留了正确答案，但失去了信心（无声的退化）。
- 原本错误的： 当这些问题变得凌乱时，机器人有时会修正其答案，但这通常只是一种摇摆不定的临时修复。
严重程度改变了游戏规则。
随着损坏程度加剧（从等级 1 到 5），对“原本正确”问题的破坏变得更加严重。但奇怪的是，“原本错误”的问题有时看起来反而“变好”了（更有可能猜对）。作者认为这并不是因为机器人正在学习，而是因为混乱程度的提升让一切都变得动荡不安，从而导致它偶尔通过运气撞中了正确答案，而那些稳固的答案则在崩塌。

他们“没有”发现的内容（“否定”清单）

论文非常谨慎地界定了其结论的边界：

这并非关于这些错误在现实生活中发生的频率。 测试平台（BENCH-C）旨在寻找“敏感”样本，而不是统计现实世界中有多少张照片是模糊的。因此，不要假设这意味着 50% 的照片都是损坏的；它仅仅意味着这些特定的照片非常适合用于测试。
这并非一种神奇的修复方法。 论文并未声称他们解决了问题，也没有说机器人现在安全了。它只是在说：“嘿，我们目前的测试方式遗漏了很多危险。”
这并非关于机器人的大脑是否具有“意识”。 他们研究的是数学（概率分布），而非情感。

总结

作者测量了 80,655 个受损的图像-问题对，并发现可靠性不仅仅是得到正确答案。 一个模型可能在成绩单上表现完美，但其内部逻辑却已分崩离析。

他们建议，在未来，我们不应仅仅训练机器人给出正确答案。我们应该训练它们：在正确时保持自信，在错误时保持不确定，即使面对一团糟的图片也是如此。

简而言之：不要只相信答案。要相信答案背后的信心。 如果机器人大喊“红色！”，但它的内心在颤抖，那么它还不是一个可靠的朋友。

技术摘要：诊断视觉语言模型中由损坏引起的可靠性失效

问题陈述
目前针对视觉语言模型（VLM）在视觉损坏下的评估过度依赖于 Top-1 准确率。然而，作者认为准确率是衡量可靠性的不足指标，因为它无法捕捉底层预测结构的改变。一个模型可能会在保持正确答案的同时失去分布支持（隐性退化），或者可能通过不稳定的、过度自信的偏移从错误转向正确。此外，标准基准测试通常包含低判别性样本，这些样本无论是否受到损坏，其答案都保持稳定，从而掩盖了模型之间的差异。本文识别出了一个“视觉质量悖论”：轻微的损坏有时会提高 Top-1 准确率，但目前尚不清楚这些增益反映的是可靠的修正还是不稳定的行为。

方法论
为了解决这些差距，作者提出了 BENCH-C（一个受控诊断测试平台）和 鲁棒性对齐分数（RAS）（一种衡量分布级可靠性的指标）。

BENCH-C 构建：
- 候选池： 作者从六个多样化的多项选择基准测试（如 SEEDBENCH2+、MMBENCH）中聚合了 4,000 个样本，涵盖了文本丰富型、空间推理型和细粒度推理型任务。
- 损坏协议： 他们应用了 19 种单因子损坏（分为光度、模糊、噪声、天气和数字伪影），并遵循 ImageNet-C 的惯例，设置了五个有序的严重程度等级。
- 诊断性选择： BENCH-C 并非采用随机采样，而是选择对损坏敏感的样本。它通过筛选在不同严重程度下预测发生变化的样本（通过答案轨迹的基尼不纯度测量），并通过对图像和文本嵌入进行贪婪选择来确保语义多样性。
- 最终数据集： 生成的测试平台包含 849 个诊断问题和 80,655 个受损的图像-问题对。
预测结构诊断：
- 作者分析的是选项级的概率分布 $p$ ，而非仅仅是 Argmax 答案。
- 不确定性偏移 ( $\Delta S$ )： 测量为归一化熵的变化，指示分布是变得更平坦（缺乏确定性）还是更尖锐。
- 置信度-正确性对齐偏移 ( $\Delta C$ )： 测量为模型 Top-1 置信度与该预测正确性之间绝对差值的变化。
- 鲁棒性对齐分数 (RAS)： 一个复合指标，定义为 $RAS = -\Delta C - [\Delta C]^+[-\Delta S]^+ - [-\Delta S]^+[\Delta C]^+$ 。该分数会对“过度自信退化”（即在较低熵下与正确性对齐度下降）和“犹豫支持”（即在较高熵下与正确性对齐度上升）进行惩罚，同时奖励改进后的对齐。RAS 的范围为 -2 到 1。
归因框架：
- 来源归因： 变化被归因为“原始正确”（ $Q_c$ ）与“原始错误”（ $Q_w$ ）样本。
- 状态归因： 样本根据干净与损坏后的正确性进一步分为四种状态： $Q_{cc}$ （正确 $\to$ 正确）、 $Q_{cw}$ （正确 $\to$ 错误）、 $Q_{wc}$ （错误 $\to$ 正确）以及 $Q_{ww}$ （错误 $\to$ 错误）。
- 轨迹分析： 作者追踪了变化在五个严重程度等级中是瞬时的还是持续性的。

关键结果
对 13 个 VLM 的实验表明，由损坏引起的可靠性失效比准确率所显示的更具结构性：

准确率与结构的错位： 高的干净样本准确率并不保证鲁棒性。例如，Qwen2.5-VL 拥有最高的干净准确率，但却经历了最大的准确率损失和最负的 RAS。相反，一些干净准确率较低的模型有时表现出更好的结构鲁棒性（RAS）。
隐性退化： 在原始正确的样本（ $Q_{cc}$ ）上，模型往往能保持正确的答案，但失去了分布支持（负 RAS），这表明存在隐性退化。
反直觉的增益： 表观上的准确率提升通常源于“错误到正确”的转换（ $Q_{wc}$ ）。然而，这些增益往往与原始正确样本的显著退化并存。论文指出，更强的损坏可以使原始错误的答案看起来更正确（正向结构偏移），同时使原始正确的预测变得不稳定。
严重程度趋势： 随着损坏严重程度的增加，对原始正确样本的破坏变得更加负面，而对原始错误样本的结构性改善则变得更加正面。这表明，严重的损坏诱发的是预测结构的失稳，而非鲁棒的修正。
损坏类型： 模糊被识别为对原始正确样本破坏性特别大的因素，这可能是由于细粒度轮廓和局部定位线索的丢失所致。

意义与主张
本文声称，BENCH-C 和 RAS 提供了一种必要的转变，即从评估“最终答案”转向评估“预测结构”。其意义在于：

揭示隐藏的失败： 识别出模型可以在保持正确答案的同时失去可靠性（隐性退化），或者通过不稳定的机制提高准确率。
归因可靠性变化： 区分了对可靠行为的破坏与对不可靠行为的修正，展示了总体的准确率增益如何掩盖底层的结构性代价。
指导鲁棒性训练： 作者建议，鲁棒性训练不应仅仅奖励答案的不变性，而应旨在保持置信度-正确性对齐以及分布支持，特别是针对细粒度的视觉证据。

研究结论认为，鲁棒性评估必须超越聚合指标，引入来源、状态和严重程度轨迹分析，以准确诊断在视觉降质情况下可靠性变化的发生位置及方式。

大惊喜：机器人会自我欺骗

新工具：BENCH-C 与 “RAS” 分数

他们的发现（“啊哈！”时刻）

他们“没有”发现的内容（“否定”清单）

总结

技术摘要：诊断视觉语言模型中由损坏引起的可靠性失效

类似论文