💻 computer science

Does VLA Even Know the Basics? Measuring Commonsense and World Knowledge Retention in Vision-Language-Action Models

本文介绍了 Act2Answer，这是一种新颖的评估协议，它将视觉语言模型（VLM）基准测试适配为基于动作的桌面任务，以系统地测量和分析视觉语言-动作模型（VLA）中的知识保留情况，并揭示了尽管这些模型保持了基础概念，但与其来源 VLM 相比，它们在更丰富的语义知识方面存在显著差距。

原作者： Nikita Kachaev, Andrey Moskalenko, Matvey Skripkin, Nikita Kurlaev, Daria Pugacheva, Albina Burlova, Mikhail Kolosov, Denis Shepelev, Andrey Kuznetsov, Elena Tutubalina, Aleksandr I. Panov, Alexey K.

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nikita Kachaev, Andrey Moskalenko, Matvey Skripkin, Nikita Kurlaev, Daria Pugacheva, Albina Burlova, Mikhail Kolosov, Denis Shepelev, Andrey Kuznetsov, Elena Tutubalina, Aleksandr I. Panov, Alexey K. Kovalev, Vlad Shakhuro

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢的学生，他读遍了图书馆里的每一本书，对世界了如指掌。你称他为“博学之人”。然后，你雇佣他担任机器人管家。你教他如何拿起杯子、打开门以及移动家具。

核心问题是：在接受了所有关于如何移动双手的训练后，这个机器人管家还记得从书中学习到的知识吗？ 或者说，“如何移动”的训练是否在无意中清空了他的大脑？

由 Nikita Kachaev 及其同事领导的研究人员决定查明真相。他们开发了一种新的测试方法，称为 Act2Answer（动作到回答）。

问题所在：“成功”陷阱

通常，当我们测试机器人时，我们会问：“机器人是否成功拿起了杯子？”

如果机器人拿起了杯子，我们会说：“做得好！”
如果机器人掉落了杯子，我们会说：“做得不好。”

但这就像是在只检查学生是否能写出自己的名字，而不检查他们是否真的掌握了数学题，从而给学生评分。机器人掉落杯子可能是因为它的手很笨拙（运动技能差），而不是因为它不知道那个杯子里装满了热咖啡且不应触摸。旧的测试方法将“笨拙的手”与“空洞的大脑”混为一谈。

解决方案：“动作测验”

为了解决这个问题，研究人员创建了一个名为 Act2Answer 的游戏。

想象桌上有两张图片：

一张悲伤的人的图片。
一张快乐的人的图片。

机器人会收到一个语音指令：“把方块放在悲伤的人身上。”

机器人不需要通过说话来回答“悲伤的人在左边”，而是必须物理性地移动一个方块并将其放置在悲伤人物的图片上。

如果它把方块放在了悲伤的图片上，它就得一分。
如果它把方块放在了快乐的图片上，它得零分。

这是一个“低风险”的测试。机器人不需要走过整个房间或搬动沉重的沙发。它只需要用一个方块进行指向。这隔离了机器人的知识与其笨拙程度。

他们的发现：“简单 vs 复杂”的差距

研究人员测试了 7 种不同的机器人大脑（VLA 模型），并将它们与其“父辈”版本（在训练移动之前，那些聪明的文本和图像模型）进行了比较。

以下是他们数据所讲述的故事：

1. 机器人擅长“是什么”（简单事物）
如果你问机器人：“这是一个红球还是蓝球？”或者“这是一个圆圈还是正方形？”，机器人几乎是完美的。它们仍然能完美地识别颜色和形状。这就像机器人仍然记得如何识别停止标志。

2. 机器人迷失在“为什么”和“是谁”（复杂事物）
但当问题变得更深层时，机器人开始失败。

情感： 它们难以区分“悲伤”的面孔和“快乐”的面孔。
社会规则： 它们似乎不知道如果指令暗示了安全性，就不应该把方块放在婴儿的图片上。
事实： 它们忘记了名人是谁，或者无法正确计算物体的数量。

这就像机器人学习移动手臂学得太好，以至于忘记了如何像人类一样思考。对于非简单的形状或颜色之外的事物，“笨拙的手”训练似乎覆盖了“聪明的脑”训练。

3. “父亲”与“孩子”
研究人员发现“父亲”（聪明的文本模型）与“孩子”（机器人）之间存在巨大的差距。

“父亲”能正确回答 90% 的复杂问题。
“孩子”（机器人）往往会跌落到接近 50%（这仅仅是瞎猜水平）。

这表明，当我们把一个聪明的 AI 变成机器人时，我们往往会丢失大量的常识。

“隐藏知识”之谜

研究人员还窥探了机器人大脑内部（其内部层），以观察知识是真的消失了，还是仅仅被隐藏了。

他们发现，知识在机器人的大脑中间层中依然存在。机器人内部其实“知道”答案。但当它试图将这种知识转化为物理动作（移动方块）时，信号丢失了。

类比： 想象一个人知道谜题的答案，但由于有言语障碍，导致他结结巴巴，无法大声说出来。知识就在那里，但“动作”部分的大脑无法获取它。

总结

论文得出结论，仅仅教聪明的 AI 如何移动机械臂是不够的。我们目前正在训练机器人成为优秀的“执行者”，但在“思考”世界方面却表现糟糕。

要构建一个真正有用的机器人助手，我们需要弄清楚如何在教它们移动的同时，不让它们忘记最初拥有的常识。论文指出，在机器人学习移动的过程中保持其与语言和世界知识的联系，可能是关键，但目前这种平衡是缺失的。

简而言之： 机器人可以拿起杯子，但它们可能不记得杯子是热的，或者不记得拿着杯子的人很伤心。它们是优秀的移动者，但正在忘记如何变得聪明。

技术摘要：VLA 甚至掌握基础知识吗？衡量视觉-语言-动作模型中的常识与世界知识留存

问题陈述

具身视觉-语言-动作（VLA）模型通常是通过在机器人数据上微调强大的预训练视觉-语言模型（VLM）构建而成的。虽然这些模型通常被宣传为具有开放世界的泛化能力，但目前尚不清楚它们在适配控制任务后保留了多少常识和事实性知识。目前的评估范式主要以“以操控为中心”，侧重于导航或物体操纵（例如 LIBERO、CALVIN）中的任务成功率。这些基准测试将知识缺失与低级运动控制、感知或长程规划方面的失败混为一谈。因此，目前缺乏一种原则性的方法来确定一个 VLA 是发生了灾难性的世界知识遗忘，还是仅仅因为控制策略的泛化能力较差。

方法论：Act2Answer

为了解决知识丢失与控制失败之间的歧义，作者引入了 Act2Answer，这是一种轻量级的评估协议，它通过要求智能体通过动作而非文本生成来回答问题，从而使 VLM 的知识基准能够适配 VLA 模型。

核心协议

基于动作的选择（Action-Grounded Selection）： 模型不再生成文本，而是将每个问题转换为一个简短的模拟桌面回合。智能体接收自然语言指令，并必须执行一个简单的单步物体放置动作（移动方块），以在桌面上放置的候选图像中选择正确答案。
减少干扰因素（Reduced Confounds）： 通过将任务限制为单个、短时程的动作，该协议最大限度地减少了复杂运动控制、长程规划和环境动力学的影响，从而隔离了智能体利用知识进行决策的能力。
软成功率（Soft Success Rate, SR）： 性能使用“软成功率”来衡量，该指标考虑了目标答案周围的容差区域。该指标区分了以下三种情况：
1. 指令/感知失败： 智能体将物体放置在界限之外，或始终选择错误的选项（SR < 0.5 - $\Delta$ ）。
2. 无可靠可用知识： 智能体能够执行动作，但无法选择正确的选项，表现接近随机概率（0.5 - $\Delta$ $\le$ SR $\le$ 0.5 + $\Delta$ ）。
3. 存在可用知识的证据： 智能体成功利用内部知识，使动作选择向正确目标倾斜（SR > 0.5 + $\Delta$ ）。

数据策展

作者从现有的 VLM 基准测试（MLLM-CompBench, IconQA, MMBench, OK-VQA, VL-Think）中提取并策划了一个包含 1,720 个独特二元问题 的测试套件，涵盖 12 个知识类别。这些类别被分为七个广泛的领域：

物理（Physical）： 属性、状态、颜色、形状、对称性。
时间（Temporal）： 时间、计数。
定量（Quantitative）： 计数、量级。
生物（Biological）： 生物世界的区别。
社会（Social）： 情绪、意图。
规范（Normative）： 交通规则、公共信息。
文化（Cultural）： 名人识别。

层级意图探测（Layerwise Intent Probing）

为了研究模型架构中知识是在何处保留或丢失的，作者采用了层级意图探测。通过在每个 Transformer 层（包括 VLM 主干网络和动作专家网络）的隐藏状态上训练线性分类器来预测正确答案。这使得研究人员能够量化与答案相关的特征是如何分布的，以及这些特征在从语义表示传递到动作生成过程中是否会衰减。

核心贡献

Act2Answer 基准套件： 一种受控协议，将 VLM 知识任务转换为具身动作选择回合，从而能够在不依赖文本解码的情况下直接探测知识敏感型行为。
系统化的知识分类法： 一个涵盖 7 个领域 12 个类别的策划数据集，便于对具身智能体的常识和世界知识进行细粒度的错误分析。
大规模实证研究： 对 7 种现代 VLA 模型（包括 $\pi_0$ , OpenVLA, Magma, SpatialVLA）针对 9 个强大的 VLM 基准进行了评估，系统地对各知识领域的性能进行了排名。
架构分析： 引入了层级意图探测以定位答案相关信息，揭示了知识留存与动作生成之间的内部动态。

结果

研究揭示了 VLM 能力与其 VLA 对应物之间存在显著差异：

感知与语义差距： VLA 模型在简单的感知类别（如颜色、形状）上表现强劲，但在更丰富的语义类别（如情绪、状态、计数、对称性）上表现出大幅度的性能下降。许多 VLA 模型在这些复杂任务上的表现接近随机概率。
VLM-VLA 差距： 与其在无动作设置下的源 VLM 相比，VLA 模型在大多数知识领域表现出约 20–40 个百分点的性能下降。这表明，针对控制进行微调会显著降低世界知识的可访问性。
VQA 协同训练的作用： 与主要在机器人数据上训练的模型（如 OpenVLA, $\pi_0$ ）相比，采用视觉-语言与机器人监督联合训练的模型（如 Magma, Xiaomi-Robotics-R0）展示了更好的知识留存能力和在知识敏感型任务上的表现。
内部表示瓶颈： 探测结果表明，与答案相关的信息通常存在于 VLM 主干网络的中间层，但在高层和动作专家网络中显著衰减。这表明存在一个瓶颈：模型在内部保留了语义信息，但未能将其转化为正确的动作选择。
微调的影响： 在拾取-放置数据集上进行的额外下游微调（SFT 或 RL）并未一致地提高知识敏感型性能，在某些情况下（如状态、颜色），甚至导致了进一步的退化，这表明模型存在向任务特定优化倾斜的偏差，从而牺牲了通用知识。

重要性与主张

本文认为，仅仅通过在机器人数据上微调 VLM 的范式不足以创建真正的通用目的具身智能体。虽然这些模型保留了对浅层感知线索做出反应的能力，但它们往往失去了区分复杂语义状态（例如，“脏”杯子与“净”杯子，或“悲伤”与“中性”的人）的能力。

作者声称，Act2Answer 提供了一个必要的诊断工具，用于衡量这种“知识侵蚀”。研究结果表明，未来的架构和训练目标必须明确优先考虑主干网络的语义理解与学习到的运动策略之间的对齐。如果没有这种对齐，具身智能体在日常环境中的效用将受到限制，因为在这些环境中，正确的行动取决于丰富的常识和世界知识，而非仅仅是低级控制。论文总结道，防止世界知识的侵蚀仍然是一个开放性挑战，需要诸如多任务学习、表示保持或知识与控制组件的架构解耦等策略。