🤖 AI

Embodied-BenchClaw: An Autonomous Multi-Agent System for Embodied Spatial Intelligence Benchmark Construction

本文介绍了 Embodied-BenchClaw，这是一个通过五阶段流水线自动化构建可验证、可维护且多样化的具身空间智能基准测试的自主多智能体系统，从而解决了现有评估框架中劳动密集且静态的局限性。

原作者： Baoyang Jiang, Fengchun Zhang, Leyuan Wang, Haotian Li, Yida Wang, Zhe Ji, Jinshan Lai, Xi Ren, Jianwei Hu, Qiang Ma

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Baoyang Jiang, Fengchun Zhang, Leyuan Wang, Haotian Li, Yida Wang, Zhe Ji, Jinshan Lai, Xi Ren, Jianwei Hu, Qiang Ma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人如何在房子里导航、如何开车或如何驾驶无人机。为了做到这一点，你需要一个“测试”（基准测试）来观察这个机器人是否足够聪明。但目前，制作这些测试就像是为每一台新机器人定制建造一栋房子：它需要数月的体力劳动，蓝图杂乱无章，而且当你终于完成时，机器人可能已经学会了如何通过测试，导致测试变得毫无意义。

Embodied-BenchClaw 是一个全新的系统，它充当了这些机器人测试的自动化施工队。它不再依靠人类从零开始构建每一个测试，而是利用一组 AI“智能体”（agents）来自动设计、构建并质检这些测试。

以下是该系统的运作方式，我们使用简单的类比来解释：

1. 三人协作团队

该系统并非只有一个 AI 在做所有事情。它拥有三个专门的工人（智能体），像流水线一样将项目向下传递：

建筑师（规划智能体/Architect）： 你告诉这个工人：“我需要一个针对在多岩石地形上四足行走的机器人的测试。”建筑师会倾听，弄清楚究竟需要测试哪些技能，并绘制出一份蓝图。
建造者（构建智能体/Builder）： 这个工人接过蓝图并开始收集材料。它会调取真实的图片、模拟器中的视频或旧的测试数据。然后，它会组装成实际的测试题目，确保这些题目是基于真实的视觉证据（例如一张关于岩石的照片）而生成的，而不是凭空捏造的故事。
检查员（评估智能体/Inspector）： 这个工人是严格的质量控制经理。在建造者构建测试的过程中，检查员会检查每一步。建造者使用的是正确的照片吗？答案是否真的可以从那张照片中推导出来？如果出了问题，检查员不会把整个项目丢弃，而是会将问题发回给建造者，让其仅修复那一个特定的部分。

2. “乐高”库（技能库/Skill Library）

该论文的一个重大创新是 技能库（Skill Library）。想象一下你在盖房子。与其每次都重新发明如何铺砖或安装窗户，不如拥有一个装满预制、经过测试的乐高积木的盒子。

在 Embodied-BenchClaw 中，这些“积木”就是技能（Skills）。一个技能可能是“计算图像中两个物体之间的距离”，或者是“检查路径是否畅通”。
因为这些技能是预先验证且可重复使用的，系统可以快速构建复杂的测试，而无需每次都重新发明轮子。如果引入了新型号的机器人，团队只需抓取合适的“乐高积木”并将它们拼接在一起即可。

3. “自我修复”过程

通常情况下，如果人类在构建测试时犯了错，他们可能不得不从头开始或花费数小时去修复。Embodied-BenchClaw 拥有 局部修复（Local Repair） 机制。

这就像是一个 GPS，当它意识到你走错了路时，它不会告诉你回到家重新开始开车，而是直接从你当前的位置重新规划路线。
如果系统发现了一个错误的测试题目，它会追踪出错的具体位置（溯源追踪），并仅修复那一个特定的步骤，从而保持其余工作的完整性。

4. 他们构建了什么？

论文展示了该系统成功构建了六种不同类型的“机器人驾驶测试”（基准测试），涵盖了：

室内导航： 机器人在房间内移动。
驾驶： 汽车在街道上行驶。
机械臂： 机器人抓取并移动物体。
四足机器人： 犬类或四足动物在崎岖地形上行走。
无人机： 航拍视角与飞行。
升级旧测试： 将旧有的、“饱和”的测试变得更难、更具体。

5. 结果

作者通过让系统构建一个无人机（UAV）测试来验证其性能。

“盲测”： 当他们在不让 AI 模型看到图像（仅提供文本）的情况下向其展示测试时，模型的得分非常低（约为 30%）。这证明了该测试确实需要观察图片，而不是仅仅根据语言模式进行猜测。
“视觉测试”： 当模型能够看到图像时，它们的得分跃升到了 65% 左右。
结论： 这证明了该系统创建了一个公平、困难且有用的测试，能够真正区分出聪明的机器人和愚笨的机器人。

总结

Embodied-BenchClaw 是一个用于自动化构建机器人测试的系统。它利用 AI 智能体团队、可重复使用的“建筑模块”库以及自我纠错过程，来快速构建高质量的视觉化测试。这解决了测试制作过慢以及容易被“作弊”的问题，确保我们始终能找到新的方法来衡量机器人的智能化程度。

技术摘要：Embodied-BenchClaw

问题陈述

具身空间智能（embodied spatial intelligence）基准测试的构建目前是该领域的一个瓶颈。虽然视觉语言模型（VLMs）和多模态大语言模型（MLLMs）正在飞速发展，但基准测试的创建仍然是劳动密集型、难以复用且难以维护的工作。现有的基准测试通常以静态数据集的形式发布，随着模型能力的提升，这些数据集会迅速趋于饱和或出现过拟合现象，从而降低了区分下一代模型的能力。此外，当前的基准测试往往表现出表示冗余（representational redundancy），即覆盖了模型内部特征空间的相似区域，并且在不进行大量人工努力的情况下，缺乏更新或精炼评估协议的灵活性。因此，迫切需要一个能够根据特定用户意图，自动构建可验证、可执行且可持续更新的基准测试包的系统。

方法论

本文提出了 Embodied-BenchClaw，这是一个旨在自动化构建具身空间智能基准测试的自主多智能体系统。该系统通过由三个专业智能体——规划智能体（Planning Agent）、**构建智能体（Construction Agent）和评估智能体（Evaluation Agent，同时也负责过程质量控制）**协调的五阶段流水线，将高层用户请求转化为可持续更新的基准测试包。

核心组件

五阶段自动化工作流：
- 意图蓝图化（Intent Blueprinting）：将用户请求转换为结构化蓝图，定义目标能力、任务范围和资源计划。
- 数据采集（Data Collection）：从异构来源聚合数据，包括模拟器、真实世界图像/视频、用户提供的数据以及现有的基准测试。
- 结构化与清洗（Structuring and Cleaning）：将原始数据归一化为结构化的证据记录，移除无效样本并组织元数据。
- 基准测试合成（Benchmark Synthesis）：通过将专家模板与经过验证的证据进行绑定来实例化基准测试项，生成问题、参考答案和可执行的评分协议。
- 评估报告（Evaluation Reporting）：执行模型评估，解析响应，计算得分，并生成诊断报告。
分层技能引导执行：
- 系统利用一个技能库（Skill Library），其中技能被定义为基于契约的执行单元（ $Sk = \langle I_k, O_k, E_k, V_k, R_k, \tau_k \rangle$ ）。这些单元具有明确的输入/输出模式、可执行组件（例如 Python 脚本、LLM 调用、模拟器适配器）、验证规则以及可选的修复动作。
- 构建过程通过**阶段性技能 DAG（有向无环图）**进行。系统并非进行自由形式的生成，而是执行预定义的 DAG，其中节点代表技能，边代表人工制品（artifact）的依赖关系。这确保了工作流的可控性、可复现性和可追溯性。
过程质量控制与局部修复：
- 不同于后处理，质量控制被嵌入在工作流之中。**过程质量控制智能体（Process Quality-Control Agent）**在每个阶段都进行基于契约的验证。
- 验证内容包括模式有效性、证据完整性、答案可推导性、评分可执行性以及可追溯性。
- 如果验证失败，系统会使用溯源追踪（provenance tracing）来定位具体的失败节点，并触发局部修复（local repair）（例如重新采集数据、重新生成项目），而不是重启整个工作流。
可复用的知识资源：
- 专家模板（Expert Templates）：为特定的具身场景定义任务模式（提问形式、证据要求、评分约束）。
- 能力卡片（Capability Cards）：描述可用资源（模拟器、数据集、工具）、其调用方法及约束，确保基准测试项植根于可行的证据之上。

核心贡献

Embodied-BenchClaw 框架：一个全自动的多智能体系统，可将用户评估意图转化为完整的、可更新的基准测试包，涵盖规划、构建和评估全过程。
分层技能引导执行机制：利用阶段性 DAG 和契约定义的技能，确保基准测试构建的模块化、可追溯性和可修复性。
过程质量控制：一种结合了可执行验证、溯源追踪和局部修复的新型机制，用于约束智能体行为并确保生成人工制品的可靠性。
基准测试实例化：该系统被用于构建六个具有代表性的基准测试：Indoor-Bench、NavLand-Bench、Drive-Bench、Aerial-Bench、Quad-Bench 和 Manip-Bench，涵盖了多样化的具身载体（室内机器人、无人驾驶汽车、无人机、四足机器人）和空间能力。

实验结果

作者进行了广泛的实验，包括人类评估、基于裁判的质量评估、一致性检查以及在生成的基准测试上的模型评估。

基准测试效用（UAV/航拍视角案例研究）：
- 针对 UAV/航拍视角理解生成了一个包含 5,000 个问题的基准测试。
- 证据依赖性：视觉语言模型达到了 65.39% 的平均分，而盲测（仅文本）得分仅为 29.82%，显著低于随机基准线（33.30%）。这一差距证实了该基准测试需要真正的视觉空间推理能力，而非仅仅依赖语言先验。
- 模型区分度：该基准测试成功区分了不同模型。例如，GPT-5.5 得分为 74.13%，而开源模型如 Qwen3.6-27B 得分为 71.27%。不同模型在不同问题类型（如二元比较 vs. 区间选择）中展现出截然不同的优势。
- 难度层级：基准测试揭示了不同的难度水平，其中区间选择最具挑战性（平均 32.07%），而二元比较最为简单（84.36%）。
构建可靠性：
- 系统在多种场景下展示了构建有效测试包的高成功率。
- 消融实验证实，移除技能库、形式化验证或局部修复等组件，会显著降低生成基准测试的有效产出率和质量。

意义与主张

本文声称 Embodied-BenchClaw 解决了模型快速发展与基准测试构建缓慢之间的严重失配问题。通过使基准测试构建变得可复用、可验证且可维护，该系统支持：

及时评估：能够针对新的模型能力或应用场景快速生成基准测试。
面向生命周期的维护：具备持续刷新和更新基准测试的能力，以防止饱和与过拟合。
诊断价值：生成细粒度的、基于证据的基准测试，能够暴露具身空间智能中的特定失效模式（例如深度推理、遮挡处理）。

作者将 Embodied-BenchClaw 定位为不仅仅是一个问题生成器，而是一个涵盖具身空间基准测试全生命周期管理的综合框架，实现了对 VLMs 和 MLLMs 进行可扩展且可持续刷新的评估。