BRUCE: Benchmarking Robustness Under Corruption Escalation for Scientific Vision-Language Reasoning
本文介绍了 BRUCE，这是一个新颖的框架，它通过采用新的指标来量化性能退化，并对 OCR、空间、符号和语义领域的推理失败进行可解释性分析，从而基准测试科学视觉语言模型在不断升级的图像损坏下的鲁棒性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个超级聪明的机器人通过看照片并回答问题来理解世界。这就是**视觉语言模型（Vision-Language Models, VLMs）**的世界。把这些模型想象成一个读遍了图书馆里每一本书、也能看遍世上每一张照片的学生。当照片清晰完美、光线充足时，他们能出色地回答问题。但在现实世界中，情况并不总是那么完美。照片可能会变得模糊，对比度可能很低，或者图像的一部分可能会被遮挡。科学家们提出的一个大问题是：如果交给这个超级聪明的学生一张略微受损或混乱的照片，他们还能答对吗？还是会彻底崩溃？
这就是**鲁棒性（robustness）**的概念。它不仅仅是指机器人在一切都很容易时有多聪明，而是指它在面对一点点混乱时表现如何。通常，当我们测试这些机器人时，我们只检查它们在完美照片上的表现。但本文认为，这就像只在平坦的赛道上测试汽车，却从未让它见过坑洼或雨天。我们需要知道，当视觉信息开始退化时，机器人的推理能力是否依然保持稳定，因为在现实生活中，图像很少是完美的。
“BRUCE”框架：压力测试机器人的大脑
在这篇论文中，研究人员引入了一个新的测试系统，叫做 BRUCE（破坏升级下的鲁棒性基准测试）。把 BRUCE 想象成一个非常严厉、甚至带点恶作剧精神的 AI 模型健身教练。BRUCE 不仅仅是让模型回答问题，它还会开始“折腾”模型正在看的图片。它不只是做一点小小的改变，而是循序渐进地让图像变得越来越糟糕，一步步递增。
这位教练可能会先让图像稍微模糊一点，然后更模糊一点，最后变得非常模糊。或者，它可能会开始裁剪图片，慢慢蚕食边缘，直到只剩下一小片区域。它甚至尝试对图像进行“遍历”（traversing），这就像是从上到下或从左到右缓慢地遮盖图片，通过逐一移除信息，来观察模型究竟在什么时候开始恐慌并放弃。
为了衡量模型处理这种压力的能力，作者创建了两个新的评分卡：
- RCI（鲁棒性破坏指数）： 它衡量随着图像变得越来越乱，模型的性能下降得有多快。它就像是一个“脆弱度计”。
- T-RCI（遍历-RCI）： 这是针对“蚕食”测试的特殊评分。它检查模型在信息从特定方向被移除时是否会崩溃，从而揭示模型是否仅仅依赖图像中的某一个微小部分来解决整个问题。
他们的发现：“聪明”的学生 vs. “稳健”的学生
研究人员在复杂的科学和数学问题（包括化学图表和几何谜题）上测试了七种不同的 AI 模型。以下是他们的发现：
1. “聪明”并不意味着“强壮”
最令人惊讶的发现是，一个模型可以在完美照片上表现得极其聪明，但在照片轻微受损时却表现得很糟糕。例如，GPT-4.1 在处理清晰图像的化学问题时表现出色，但一旦研究人员开始移除图像的部分内容（遍历测试），它的性能就会比几乎所有其他模型都崩塌得更快。事实证明，GPT-4.1 就像一个背下了图表精确布局的学生，但如果缺了一个零件，它就无法理解其中的逻辑。
2. “专家”并不总是最好的
他们测试了 ChemVLM-8B，这是一个专门为化学设计的模型。你可能会认为一个化学专家在处理化学问题时会是最出色的。然而，结果显示它在鲁棒性方面并不一定比通用模型更好。事实上，当视觉证据受到破坏时，它的表现同样挣扎，甚至可能更糟。这表明，仅仅掌握化学知识是不够的；模型还需要具备在噪声中“看清”事物的能力。
3. “稳健”的赢家
有两个模型脱颖而出，表现得最为稳健：InternVL2.5-8B 和 Qwen2.5-VL-72B。这些模型不仅能得到正确答案，即使在图像模糊或缺失大块内容时，也能保持正确率。特别是 Qwen2.5-VL-72B，它拥有最高的干净准确率（87.23%），并且即使在图像受损时也维持了很高的准确率（84.18%）。看起来这些模型拥有一种更具“分布式”的思考方式，它们不会仅仅依赖图像的一个部分来解开谜题。
4. “方向”至关重要
研究发现，如何移除信息是非常重要的。对于某些模型来说，从上到下移除图像没问题，但从右到左移除则会导致它们立即失败。这表明这些 AI 模型在观察图片时存在“盲点”或偏见。它们可能会盯着图像的右侧寻找线索，如果遮住了那一侧，它们就会迷失方向。
5. 核心问题：是推理，而非仅仅是视觉
当图像质量变差时，模型不仅仅是停止了“看到”物体，而是停止了“推理”。研究人员发现，最大的失败类型是符号推理（Symbolic Reasoning）。这意味着模型仍然能看到形状和数字，但它们无法将这些信息联系起来以解决数学或科学问题。这就像一个学生能读出时钟上的数字，但如果指针变得有些模糊，他就不知道现在是几点。
总结
论文得出结论，我们不能只看 AI 在完美测试中的表现。我们需要用混乱、破碎和不完整的图像来对它们进行压力测试，以观察它们的推理能力是否依然稳固。作者认为，为了让 AI 在现实世界中真正发挥作用——在现实中照片往往是模糊或被遮挡的——我们需要的不只是聪明的模型，更是那些足够鲁棒、能够处理现实的混乱而不丢失思路的模型。BRUCE 框架为我们提供了工具，让我们能够分辨哪些模型是真正为现实世界做好准备的，而哪些模型仅仅擅长拍完美的测试照。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。