VLM-RobustBench: A Comprehensive Benchmark for Robustness of Vision-Language Models

本文提出了 VLM-RobustBench 基准，通过涵盖 49 种增强类型和 133 种扰动设置，评估了主流视觉语言模型在多种图像失真下的鲁棒性，揭示了当前模型虽语义能力强但空间脆弱，且低严重度几何扰动（如玻璃模糊）往往比高严重度光度扰动造成更显著的性能下降。

要点

这是一篇关于**“给视觉语言模型（VLM）做体检”**的研究报告。

想象一下，现在的 AI 就像是一群**“超级学霸”**。它们读过海量的书，看过无数的图片，在标准的考试（比如清晰的、完美的图片）中，它们能拿满分，甚至能像人一样推理复杂的科学问题。

但是，这篇论文的作者们觉得：“光在考场上拿高分还不够，得看看它们在‘真实世界’里会不会‘翻车’。”

真实世界是什么样的？

• 照片可能拍糊了（模糊）。
• 可能下雨了、起雾了（天气干扰）。
• 可能手机信号不好，图片被压缩得全是马赛克（数字失真）。
• 甚至可能图片被倒过来了，或者被拉伸变形了（几何扭曲）。

这篇论文就是给这些 AI 学霸们搞了一个**“极端环境挑战赛”**，名字叫 VLM-RobustBench。

---

🏆 核心发现：学霸的“偏科”与“脆皮”

作者们测试了 11 种最顶尖的 AI 模型（包括 Qwen、InternVL 等），让它们在各种“脏乱差”的图片上做题。结果发现了三个让人大跌眼镜的真相：

1. “看着严重”不等于“真的难”

• 比喻：就像一个人脸上涂满了红色的颜料（看起来像受伤了，很严重），但他可能只是化了个妆，脑子依然清醒；而另一个人脸上只有一点点灰尘（看起来不严重），但这灰尘刚好迷住了他的眼睛，让他瞬间瞎了。
• 发现：在 AI 的世界里，“视觉上的严重程度”并不能预测“做题的难度”。
  • 有些看起来非常严重的干扰（比如把图片调得很暗、加很多噪点），AI 居然还能做对。
  • 但有些看起来微不足道的干扰（比如把图片稍微“玻璃化”模糊一下，或者把图片分辨率稍微调高一点），AI 的准确率却断崖式下跌。
  • 结论：AI 对“空间结构”的变化非常敏感，哪怕只是轻微的变形，对它们来说都是致命的。

2. “简单的恶作剧”能毁掉一切

• 比喻：想象你在做数学题，突然有人把试卷上下颠倒了，或者把试卷上的红黑颜色对调了。对于人类来说，这很容易适应，转过来看就行。但对于这些 AI 来说，这简直是**“降维打击”**。
• 发现：
  • 把图片垂直翻转（上下颠倒），AI 的准确率会暴跌 10 个百分点以上。
  • 把图片颜色反转（黑白变反色），AI 也会直接“傻眼”。
  • 这些操作不需要任何复杂的算法，只是简单的“翻转”或“变色”，却比把图片弄得全是雪花点（高严重度噪声）还要让 AI 崩溃。这说明 AI 太依赖“图片必须是正着放的、颜色必须是正常的”这种死板的直觉了。

3. 不同的“学霸”有不同的“死穴”

• 比喻：就像有的学生怕数学，有的学生怕英语。有的 AI 模型特别怕“像素化”（图片变马赛克），有的模型特别怕“拉伸变形”。
• 发现：没有一种模型是完美的。即使是参数最大的模型，也有自己的“阿喀琉斯之踵”。比如，有的模型一遇到“弹性变形”（像把图片放在果冻上抖动）就彻底失效，准确率能掉 30% 以上。

---

🧪 他们是怎么做的？（实验方法）

作者们建立了一个**“魔鬼训练场”**：

1. 题库：用了两个著名的考试卷（MMBench 和 MMMU-Pro），一个侧重看图说话，一个侧重逻辑推理。
2. 干扰项：他们准备了49 种不同的“干扰手段”，从模糊、噪声、天气（雨雾雪），到几何变形（旋转、拉伸）、甚至给图片加个水印或边框。
3. 难度分级：每种干扰还分了低、中、高三个等级。
4. 测试：让 11 个 AI 模型在这些被“污染”过的图片上做题，看它们还能得多少分。

---

💡 这对我们意味着什么？（给开发者的建议）

这篇论文给 AI 开发者敲响了警钟：

1. 别只练“标准题”：现在的 AI 训练太依赖完美的图片了。如果以后要把 AI 用在自动驾驶（路上有雾、有雨、镜头有污渍）或者医疗诊断（X 光片可能有伪影）上，现在的 AI 可能会因为一点小干扰就犯大错。
2. 要练“抗揍”能力：未来的训练必须加入更多**“几何变形”和“重采样”**（比如放大缩小图片）的练习。要让 AI 学会：“不管图片怎么歪、怎么变、怎么模糊，我都能认出这是只猫。”
3. 重新定义“聪明”：一个真正聪明的 AI，不应该只在干净的数据集上拿高分，而应该在混乱、真实、充满瑕疵的世界里依然能稳定工作。

📝 一句话总结

现在的 AI 视觉模型就像“温室里的花朵”，在完美的实验室里是天才，但一旦遇到现实世界中稍微有点“歪”或“糊”的图片，它们就会变得非常脆弱。这篇论文就是给它们做的一次“压力测试”，告诉我们要让它们学会在风雨中生存，而不仅仅是在阳光下绽放。

技术摘要

VLM-RobustBench 技术总结

这篇论文提出了 VLM-RobustBench，这是一个旨在全面评估视觉 - 语言模型（Vision-Language Models, VLMs）在现实世界图像失真下鲁棒性的基准测试。尽管现有的 VLM 在标准高质量数据集上表现优异，但其在真实部署环境中面对各种图像退化（如噪声、模糊、天气变化、几何形变等）时的表现尚不完全清楚。

以下是对该论文的详细技术总结：

1. 研究问题 (Problem)

• 核心痛点：当前的 VLM 评估主要依赖于精心策划的基准测试，这些测试无法反映真实世界中的分布偏移（Distribution Shift）。现实世界的视觉输入常受到光照变化、传感器噪声、压缩伪影、运动模糊以及视角变化（几何形变）的影响。
• 现有局限：
  • 传统的计算机视觉鲁棒性基准（如 ImageNet-C）主要针对单模态图像分类，未充分涵盖多模态推理任务。
  • 现有 VLM 鲁棒性研究缺乏系统性，特别是在不同任务类型（视觉感知 vs. 逻辑推理）和不同严重程度的扰动下。
  • 严重性假设失效：传统观点认为视觉失真越严重，模型难度越大。但论文指出，对于 VLM 而言，视觉上的“严重”并不一定对应模型性能的“严重”下降，反之亦然。

2. 方法论 (Methodology)

2.1 基准测试构建 (Benchmark Construction)

• 扰动类型：构建了包含 49 种 图像增强类型的套件，分为 9 大类：
  • 模糊 (Blur)、噪声 (Noise)、天气 (Weather)、数字伪影 (Digital)、几何形变 (Geometric)、遮挡 (Occlusion)、颜色/色调 (Color/Tone)、分辨率 (Resolution)、VLM 特有扰动 (VLM-specific，如文字覆盖、水印)。
  • 此外还包括 7 种二值变换（如翻转、灰度化、反色等）。
• 严重程度分级：
  • 对于 42 种基于严重程度的扰动，设置了 低 (Low)、中 (Mid)、高 (High) 三个等级。
  • 7 种二值变换无严重程度参数。
  • 总计生成 133 种 不同的 corrupted 设置。
• 评估数据集：
  • MMBench：侧重于视觉感知的基准（Visually grounded）。
  • MMMU-Pro：侧重于专业领域推理的基准（Reasoning-oriented）。
  • 采用分层采样（20% 子集）以确保类别平衡。

2.2 评估模型

• 评估了 4 个主要家族 的 11 个 开源权重模型：
  • Qwen3-VL (4B, 8B, 30B, 以及 Think 版本)
  • InternVL3.5 (4B, 8B, 14B)
  • Molmo2 (4B, 8B)
  • Gemma 3 (12B)
• 主要评估模式为直接回答（Direct Mode），并单独分析了思维链（CoT）和 Thinking 模式。

2.3 评估指标

• 准确率下降 (Accuracy Drop, $\Delta$)：干净图像准确率与扰动后准确率的差值。
• 视觉增益 (Visual Gain, VG)：$Acc_{clean} - Acc_{\emptyset}$（无图像基线），用于量化模型对视觉信息的依赖程度。
• 相对扰动误差 (Relative Corruption Error, RCE)：$\Delta / VG \times 100\%$。用于归一化扰动影响，消除模型对视觉依赖程度不同带来的偏差。
• 尾部风险指标：最坏情况下降 (Worst-Case Drop)、严重失败率 (Severe-Failure Rate)。

3. 关键贡献与发现 (Key Contributions & Findings)

3.1 空间脆弱性发现 (The Spatial Fragility Finding)

• 核心发现：VLM 对空间重采样 (Resampling) 和 几何形变 极度敏感，而对严重的光度退化（如噪声、压缩）相对鲁棒。
• 具体数据：
  • 上采样 (Upsample) 和 弹性变换 (Elastic Transform) 导致模型准确率下降高达 34 个百分点 (pp)。
  • 相比之下，视觉上非常严重的噪声或压缩往往只造成较小的性能损失。
  • 即使是低严重度的 玻璃模糊 (Glass Blur) 也能导致 MMBench 准确率平均下降约 8 pp。

3.2 严重性不匹配 (Severity Mismatch)

• 现象：视觉失真的严重程度与模型难度之间不存在单调关系。
• 反直觉结果：
  • 低严重度的空间扰动（如玻璃模糊）造成的性能下降，往往超过高严重度的光度扰动（如 JPEG 压缩）。
  • 例如，在 MMBench 上，高严重度的亮度降低仅导致 1.6 pp 下降，而低严重度的玻璃模糊导致 8.1 pp 下降。
  • 这意味着仅凭视觉上的“模糊”或“损坏”程度无法预测 VLM 的失败风险。

3.3 二值变换的灾难性影响

• 垂直翻转 (Vertical Flip) 和 颜色反转 (Invert) 这两种无需学习参数的简单变换，在 MMBench 上导致了灾难性的失败（下降 >10 pp）。
• 垂直翻转的破坏力超过了 42 种高严重度扰动中的 39 种，表明 VLM 编码了极强的方向先验（Orientation Priors）。
• 这种效应在 MMBench（视觉感知）上显著，但在 MMMU-Pro（逻辑推理）上较弱，说明感知任务更依赖绝对的空间和颜色关系。

3.4 家族特异性脆弱性 (Family-Specific Vulnerabilities)

• 鲁棒性并非参数量的简单函数。不同架构的模型表现出独特的“脆弱指纹”。
• 例如，InternVL3.5 家族对翻转和像素化特别敏感，而 Qwen 家族对某些噪声更鲁棒。
• 这表明架构选择（如 Vision Transformer 的 Patch 机制）在决定失败模式方面起着决定性作用。

4. 结果分析 (Results Analysis)

• MMBench vs. MMMU-Pro：
  • MMBench 表现出更大的视觉增益 (VG ~46.7)，因此对空间扰动更敏感，尾部风险更高。
  • MMMU-Pro 的视觉增益较低 (VG ~11.9)，模型更多依赖语言先验，因此对某些视觉扰动的绝对下降较小，但相对误差 (RCE) 可能很高。
• 最坏情况：
  • 所有模型在 Upsample (High) 和 Elastic Transform (High) 下均出现最严重的性能崩溃。
  • Qwen3-VL-30B 在 MMBench 上表现出最佳的鲁棒性（mCE 最低），而 InternVL3.5-4B 表现最差。
• 翻转率分析 (Flip Rates)：
  • 空间/重采样扰动导致的“有害翻转”（正确变错误）远高于光度扰动，证实了这些扰动破坏了模型的空间一致性理解。

5. 意义与建议 (Significance & Recommendations)

5.1 理论意义

• 揭示了当前 VLM 是“语义强大但空间脆弱”的。它们擅长利用语言先验进行推理，但在处理空间结构变化（如重采样、几何形变）时存在根本性缺陷。
• 挑战了传统计算机视觉中“视觉失真越严重，任务越难”的假设，指出在 VLM 中，空间一致性比视觉保真度更重要。

5.2 对开发的建议

1. 几何数据增强：训练管线必须超越简单的颜色抖动，纳入重采样（上/下采样）、弹性形变、翻转和模糊等增强，以构建几何不变性。
2. 鲁棒性感知评估：基准测试应报告空间扰动子集的性能，惩罚对简单几何变化脆弱的模型。
3. 视觉依赖评估：模型提供商应提供真正基于视觉的输入结果，以展示其视觉推理能力，而非依赖语言捷径。
4. 家族特定课程：针对不同架构的特定脆弱性（如 InternVL 对翻转敏感）设计针对性的训练策略。

5.3 实际应用

• 对于机器人、自动驾驶和医疗诊断等安全关键领域，VLM 的空间脆弱性可能导致严重的安全隐患。该基准测试为评估和缓解这些风险提供了必要的工具。

总结

VLM-RobustBench 通过系统性地评估 11 个 SOTA 模型在 133 种扰动配置下的表现，揭示了当前 VLM 在空间几何变换面前的脆弱性。这一发现强调了未来 VLM 发展必须从单纯的“语义理解”转向“空间 - 语义联合鲁棒性”的提升，特别是在处理重采样和几何形变方面。