🤖 AI

MMBench-Live: A Continuously Evolving Benchmark for Multimodal Models

本文介绍了 MMBench-Live，这是一个由多智能体自动化流水线驱动的持续演进的多模态基准测试，该流水线在保持分布一致性并缓解数据污染的同时，能够生成具有成本效益的高质量评估实例。

原作者： Yuanzhi Liu, Shousheng Zhao, Bo Zhou, Kongming Liang, Zhanyu Ma

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuanzhi Liu, Shousheng Zhao, Bo Zhou, Kongming Liang, Zhanyu Ma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位正在尝试为一群正在学习如何通过计算机来观察和理解世界的学生（这些被称为视觉语言模型，简称 VLMs）进行评分的老师。

长期以来，老师们一直使用同样的旧试卷（静态基准测试）来给所有人评分。但有一个大问题：这些学生正在学习的内容是互联网，而互联网每秒钟都在发生变化。如果试卷是去年的，学生可能已经背下了答案，因为这些问题出现在了他们的学习资料中（数据污染）。此外，测试也可能已经过时，无法反映出这些学生今天实际具备的能力。

MMBench-Live 是一种全新的、革命性的测试方式。作者并没有制作一张静态的纸并寄希望于它能保持相关性，而是构建了一个自动化的题目生成工厂，不断地生产出新鲜、全新的问题。

以下是它的工作原理，使用简单的类比：

1. “食谱手册”（结构化基准）

首先，团队并没有只是随机抓取图片。他们将原始测试（MMBench）转化成了一本严格的食谱手册。

他们将每个问题拆解为核心成分：这个题目在测试什么技能？（例如：阅读标牌、数物体的数量、理解一个笑话）。
他们识别了原始问题的“风味”（例如：“这些问题通常涉及繁忙的城市街道”或“这些通常涉及菜单上的文字”）。
这份食谱确保了即使新问题是全新的，它们尝起来也和旧的问题一模一样。它们以相同的方式测试相同的技能。

2. “智能侦察兵”（任务感知的数据获取）

接下来，系统会派出一位智能侦察兵去从现实世界（互联网）中寻找新的图片。

问题所在： 如果你只是在搜索引擎中搜索“一张猫的照片”，你可能会得到卡通猫、玩具猫或睡觉的猫。但如果你的测试要求的是“一只正在追逐激光笔的猫”，那么通用的搜索就会失败。
解决方案： 侦察兵有一个特定的任务。他出去寻找图片，然后由一个反馈控制器（一位严格的编辑）来检查这些图片。
循环过程： 如果侦察兵带回了一张睡觉的猫的照片，编辑会说：“不，这不符合食谱。试着搜索‘活跃的猫’。”侦察兵会再次尝试。这个过程会自动进行，直到图片完美匹配原始测试的“风味”为止。

3. “厨师与品鉴员”（问答生成与验证）

一旦找到了合适的图片，系统就需要编写问题和答案。

厨师： 一组 AI“厨师”根据图片编写问题和答案。
品鉴员： 这是最聪明的部分。通常情况下，AI 可能只是在瞎猜答案。但 MMBench-Live 强制要求 AI 编写一个分步步骤（一个可执行的计划）来获取答案。
验证： 一个独立的、“盲视”的机器人（它看不见图片，只能看到文本）会遵循那个食谱。它运行这些步骤。如果食谱说“数一数红色的汽车”，而机器人数出来的结果是 3，但答案解析说是 4，系统就会知道答案是错误的，并将其丢弃。这确保了答案在逻辑和数学上都是正确的，而不仅仅是靠运气猜对。

4. 结果：快速、廉价且公平的测试

该论文声称，这个系统之所以成为游戏规则的改变者，是因为它具备三个优点：

它很新鲜： 它利用来自互联网的真实世界数据创建了 5,900 个全新的测试问题。
它既便宜又快速： 手动完成这一切可能需要花费数千美元并耗时数月。而这个机器人工厂只需 1–2 小时，花费约 30 美元。
它很公平： 因为问题是实时生成的，学生（AI 模型）无法直接背诵答案。论文发现，在这里，“记忆信号”（通过记忆进行作弊）比在旧测试中要弱得多。

核心总结

把 MMBench-Live 看作一场现场烹饪比赛，食材每小时都会新鲜送达，而评委有一份严格的清单，以确保菜肴符合最初的食谱。它证明了我们可以公平且准确地测试 AI 模型，而不必受困于过时的、靠记忆应付或昂贵的测试。这是一种可持续的方式，用来观察 AI 究竟是在变得更聪明，还是仅仅在更好地记忆过去。

技术摘要：MMBench-Live

问题陈述

当前的视觉语言模型（VLM）评估过度依赖静态基准测试。虽然这些测试集对于评估至关重要，但固定的测试集存在时间性陈旧（temporal staleness）、数据污染（即训练语料库与测试数据重叠，从而虚高评分）以及高昂的维护成本等问题。随着 VLM 的规模扩大并基于不断增长的网络语料进行训练，静态基准测试正变得越来越难以作为衡量真实模型能力的可靠指标。

现有的更新基准测试的尝试面临着显著的权衡：

自我演化方法（视觉扰动/语言改写）往往会导致语义漂移并降低可比性。
基于生成的方法在复杂约束下可能会引入分布差异。
现实世界数据更新虽然在新鲜度方面具有前景，但通常缺乏系统性的结构，无法在多样化的多模态任务中保持任务语义、分布一致性和跨版本可比性。

核心挑战在于创建一个能够随时间推移而持续演进的基准测试，使其具备新鲜的实时数据，同时保持与原始静态版本相当的语义连贯性、分布一致性和评估稳定性。

方法论：MMBench-Live 框架

作者提出了 MMBench-Live，这是一个通过多智能体驱动的自动化流水线构建的持续演进的多模态基准测试。该框架将基准测试的演进视为一个任务引导的数据集构建过程，并通过更新原始的 MMBench 来实现实例化。

该流水线由三个主要阶段组成：

1. 结构化基准规范

为了确保一致性，原始 MMBench 被转换为包含四个组件的结构化描述：

评估目的： 高层语义特征（例如：空间理解、组合推理）。
评估格式： 输入/输出模态及响应类型的结构化定义。
任务层级： 从粗粒度任务到细粒度子任务的多级分解。
原子任务： 定义最小操作评估单元的叶层单元。至关重要的是，每个原子任务都包含一个任务特征化（Task Characterization），其中包括：
- 文本部分： 用于澄清语义的问答（QA）示例。
- 视觉部分： 任务相关的视觉模式（并非显式定义，但隐式约束有效实例的循环出现的视觉/语义属性）。这些模式是通过一种数据驱动的过程识别的，即利用 VLM 提取模式，并利用 LLM 进行整合。

2. 任务感知的数据获取

数据采集并非通用的搜索，而是受任务意图和视觉证据的约束。此阶段采用了一个反馈控制循环：

获取规划器（Acquisition Planner）： 生成一个可执行计划 ( $P_t$ )，包括可观测字段、获取策略和查询集。
获取执行器（Acquisition Executor）： 支持三种检索模式：
1. 特定来源的结构化检索： 爬取指定的权威网站。
2. 关键词引导的语义检索： 使用带有 1 年时间窗口的 Google 图片 API 以确保新鲜度。
3. 开放域检索： 从 Flickr API 中采样以获得广泛的自然覆盖。
反馈控制器（Feedback Controller）： 一个轻量级的多模态评判器 ( $J$ $J$ )，根据任务目的 ( $G_t$ $G_{t}$ ) 和视觉模式 ( $B_t$ $B_{t}$ ) 对检索到的候选对象进行评估。
- 如果前 $K$ 个候选对象的接受率 ( $\rho_q$ ) 低于阈值 ( $\tau$ )，控制器会将拒绝样本中的视觉理由进行聚合，以优化搜索查询 ( $q_{m+1}$ )。
- 该循环最多运行三次迭代，以便在最终收集前修正对齐不良的查询。

3. QA 生成与验证

为确保可靠性，系统生成带有可执行推理的问答（QA）对：

生成： 多个多模态模型生成候选 QA 三元组 $(q, a, \pi)$ ，其中 $\pi$ 是一个可执行解决方案计划。通过模型比较和基于规则的检查来选择最佳候选。
可执行推理验证： 为了减轻视觉幻觉，验证过程与直接基于视觉的判断相解耦。
- 解决方案计划 $\pi$ 被视为一系列可执行的操作序列。
- 工具（如目标检测、深度估计、OCR）在图像上执行这些操作，以产生文本形式的中间输出。
- 一个**视觉盲（vision-blind）**语言模型验证器仅根据问题和工具导出的文本来预测答案。
- 只有当生成的答案与验证结果匹配时，该 QA 对才会被接受，从而确保 QA 对具有确定性的验证程序。

核心贡献

MMBench-Live 基准测试： 一个通过多智能体自动化流水线构建的持续演进的多模态基准测试，实现了通过具有时间新鲜度的真实世界数据进行大规模、低成本的更新。
分布一致的更新策略： 一种结合了任务相关视觉模式识别与反馈控制数据获取的新颖方法。这保留了任务语义和视觉特征在不同基准版本间的特性，解决了动态更新中的“语义漂移”问题。
系统化评估： 全面的分析表明，该方法具有高 QA 正确率、低构建成本、稳定的跨版本一致性，并且与静态基准相比，减少了与污染相关的记忆信号。

实验结果

该框架在 MMBench 上实例化，生成了 5.9K 个新的评估实例。

QA 质量： 对跨任务的 10% 样本进行人工验证，得到的答案正确率为 96.06%。
成本与效率： 每个更新周期（1–2 小时）的成本约为 30 美元，与通常耗时数月且成本达数千美元的人工流水线相比，降低了数个数量级。
模型性能： 在代表性的开源 VLM（如 Qwen2.5-VL, DeepSeek-VL）上的评估显示，MMBench-Live 保留了稳定的模型排名。虽然特定模型在不同维度表现优异（例如，DeepSeek-VL 在粗粒度感知方面，Qwen2.5-VL 在细粒度推理方面），但整体相对排序保持一致。
跨版本一致性：
- 任务-模型层面： 皮尔逊相关系数为 0.52，斯皮尔曼相关系数为 0.43，表明在原始基准测试中表现良好的模型倾向于在更新版本中保持性能。
- 模型平均层面： 更强的相关性（皮尔逊 0.89，斯皮尔曼 0.83）证实了全局模型排名得到了保留。
污染分析： 使用 PaCoST 框架测量记忆信号（原始问题与改写问题之间的置信度偏移），MMBench-Live 比原始 MMBench 表现出更弱的记忆相关置信度偏差，这表明其对数据污染的敏感度较低。

意义与主张

论文声称 MMBench-Live 提供了一个实用、可扩展且低成本的持续演进多模态基准测试范式。通过将基准测试更新视为一个结构化的、任务引导的构建过程，而非简单的样本替换，该框架成功平衡了对时间新鲜度的需求与评估稳定性的必要性。

作者强调，在 VLM 快速规模化的时代，他们的方法缓解了静态基准测试的“脆弱性”。引入可执行推理验证和反馈控制获取，确保了基准测试在不产生高昂人工策展成本的情况下，仍能作为模型能力的可靠代理。结果表明，动态基准测试可以在保持跨版本比较完整性的同时，揭示细粒度的能力差异，为社区应对数据污染和时间性陈旧问题提供了一条可行的路径。