💻 computer science

VLAs are Confined yet Capable of Generalizing to Novel Instructions

本文证明，通过插值操作内部文本潜在变量，视觉 - 语言 - 动作模型（VLAs）能够克服其在任务外推和空间过拟合方面的困境，该技术在新型指令基准测试中实现了 83% 的成功率，并揭示了隐藏且人类无法阅读的提示注入的潜力。

原作者： Quanyi Li

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Quanyi Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人厨师如何烹饪。你向它展示了两份具体的食谱：

食谱 A：“把奶油奶酪放进碗里。”
食谱 B：“把碗放在橱柜顶上。”

机器人完美地学会了这两个动作。它能执行食谱 A，也能执行食谱 B。但随后，你向它提出了一个新问题：“把奶油奶酪放在橱柜顶上。”

从逻辑上讲，机器人应该能够完成这个任务。它知道如何抓取奶酪，也知道如何够到橱柜。它只需要将已有的两项技能结合起来即可。然而，根据这篇论文，大多数先进的机器人“大脑”（称为视觉 - 语言 - 动作模型，即 VLAs）在此任务上彻底失败。它们会卡住，表现得仿佛从未见过橱柜或奶酪一样，尽管它们刚刚在前面的步骤中使用过这些物品。

问题所在：机器人是“鹦鹉”，而非“厨师”

作者发现，这些机器人并非真正理解世界，而是在记忆特定场景。

这就像是一个死记硬背了练习题答案却不懂数学原理的学生。如果你问"2 加 2 等于几？”，他们会回答"4"。但如果你问“如果数字是用红墨水写的，2 加 2 等于几？”，他们可能会惊慌失措。

在机器人的情况下，它已经学会将“奶油奶酪”与训练期间看到奶酪的那个特定桌面位置关联起来。它并不理解“奶油奶酪”是一个可以移动的物体；它认为“奶油奶酪”就是那个特定的位置。论文将这种现象称为"空间过拟合"。机器人过于关注训练视频中物体曾经所在的位置，以至于忽略了它们在现实时刻实际所在的位置。

解决方案：“魔法食谱卡”（文本潜在变量）

研究人员想知道：机器人内心深处真的聪明吗，还是它只是坏了？

他们在机器人的大脑中发现了一种隐藏的“成分”，称为文本潜在变量（Text Latent）。

类比：想象机器人的大脑是一个巨大的图书馆。当你给它一个指令，比如“把奶酪放进碗里”时，机器人会从内部记忆中提取出一张特定的、看不见的“食谱卡”。这张卡片并非用你能读懂的文字书写，而是一组复杂的电信号模式（向量），它精确地告诉机器人该如何移动。
发现：研究人员发现，如果他们提取出这张关于“将物品放入碗中”的看不见“食谱卡”，并将其注入回机器人的大脑，机器人就能完美地执行该动作——即使你根本没有给它任何文字指令。这张卡片就是指令本身。

突破：混合卡片（文本潜在变量插值）

真正的奇迹发生在他们试图解决“橱柜上的奶油奶酪”这一问题时。

他们提取了任务 A（奶酪到碗）的看不见“食谱卡”和任务 B（碗到橱柜）的卡片。然后，他们创建了一个这两张卡片的平滑混合体。

类比：想象你有两首正在播放的音乐曲目。一首是爵士乐，另一首是摇滚乐。你不是 abrupt 地从一首切换到另一首，而是使用混音器，在淡入摇滚乐的同时慢慢淡出爵士乐。
结果：通过在机器人大脑内部“混合”这两张看不见的食谱卡，机器人成功地将技能结合了起来。它抓起奶酪，将其移动到橱柜，然后放下。

数据：

如果没有这个技巧，机器人（名为π0）在这些新的组合任务中仅能成功9%。
使用“混合”技巧后，成功率跃升至83%。

这证明了机器人内心深处一直拥有这些技能；它只是无法自己弄清楚如何混合它们。“食谱卡”就在那里，但机器人需要人类的帮助将它们融合在一起。

大考："Libero-OOD"基准测试

为了证明这并非偶然，作者创建了一个名为Libero-OOD的新测试。该测试包含 20 个棘手任务，要求机器人以新的方式组合其已知的技能。

结果：他们测试了世界上最先进的机器人大脑（如 UniVLA、OpenVLA 和 π0-fast）。没有一台机器人能够独立完成这些任务。它们的得分均低于21%。
结论：即使是最聪明的机器人，目前也“困”在了其训练数据中。如果没有帮助，它们无法泛化或“跳出思维定势”。

警告：“私人指令”

研究人员还发现了一些有点令人毛骨悚然的事情。由于这些“食谱卡”只是数字模式，你可以将它们还原为文本。

当他们尝试读取某项任务的“食谱卡”时，生成的文本是一堆乱码（例如 QSize、black、plate）。
然而，如果你将这些乱码喂回机器人，它仍然能正常工作！
隐喻：这就像拥有一个只有机器人能理解的秘密代码。你可以将一条秘密指令隐藏在看似正常的句子中，而机器人会照做，其他人却毫不知情。这被称为“后门”，表明这些模型比我们想象的更加神秘。

总结

这篇论文告诉我们，当今最聪明的机器人就像能完美演奏两首曲子却无法即兴创作新旋律的音乐家。它们死记硬背练习课中的确切音符和位置，但当音乐稍有变化时，它们就会失败。

作者表明，如果我们手动混合来自两首不同歌曲的“乐谱”（文本潜在变量），机器人就能演奏出新的旋律。这证明了机器人拥有天赋，但缺乏结合自身技能的能力。该论文引入了一项新测试（Libero-OOD），旨在帮助研究人员构建能够真正学会混合自身技能、而不仅仅是记忆场景的机器人。

以下是 Quanyi Li 所著论文《视觉 - 语言 - 动作模型受限于特定分布却具备泛化新指令的能力》（"VLAs are Confined yet Capable of Generalizing to Novel Instructions"）的详细技术总结。

1. 问题陈述

视觉 - 语言 - 动作模型（VLAs）在使用特定演示进行微调后，在分布内（in-distribution）任务上表现出强劲的性能。然而，它们在分布外（Out-of-Distribution, OOD）任务上表现显著不佳，特别是那些需要外推（extrapolation）（即以新颖方式重组已学技能）的任务。

核心问题： 一个 VLA 可能成功学会“将奶油奶酪放入碗中”和“将碗放在柜子上”这两个独立任务，但在执行外推任务“将奶油奶酪放在柜子上”时却会失败，尽管构成该任务的运动基元（抓取、伸展）已经被学会。
核心问题： VLAs 仅仅是过拟合了演示轨迹，还是学会了支持更广泛泛化的可组合内部表示？
研究空白： 目前缺乏合适的基准来测试这一点，因为现有的 OOD 任务往往要么太难（例如，需要全新的物理知识），要么太简单。作者提出，一个有效的基准应由那些模型本应能够通过组合现有技能解决、但目前尚无法自主完成的任务组成。

2. 方法论

本文引入了一个基于**机械可解释性（Mechanistic Interpretability）**的框架，用于探测和操纵 VLAs 的内部状态，特别关注模型 $\pi_0$ 。

A. 文本潜在变量提取

作者假设特定任务的技能表示被编码在文本令牌（任务描述）的隐藏状态中。

定义： 文本潜在变量（Text Latent, $T$ ） 是一个任务特定的向量，通过对特定任务在所有 Transformer 层和多个演示回合中文本令牌的隐藏状态进行平均而得出。
提取： $T = \frac{1}{K} \sum_{k=1}^{K} \sum_{i \in B_k} h_T(i)$ ，其中 $h_T(i)$ 代表时间步 $i$ 处文本令牌的隐藏状态。
功能： 将 $T$ 注入回模型的残差流（特别是文本令牌的隐藏状态）中，即使没有原始文本提示，也能重建相关的任务行为。

B. 文本潜在变量插值（TLI）

为了实现外推，作者提出混合两个基础任务的文本潜在变量，以创建新的复合行为。

机制： 由于无法对离散的文本令牌进行插值，作者改为在残差流中插值文本潜在变量（ $T_1$ 和 $T_2$ ）。
公式： 在时间步 $i$ ，隐藏状态被修改为：
$h_T(i) = h_T(i) + [(1-\alpha)T_1 + \alpha T_2] - [(1-\alpha)T_2 + \alpha T_1]$
其中 $\alpha = i/\lambda$ 控制从任务 1 到任务 2 的过渡速度。
效果： 这引导模型以任务 1 的行为开始，并平滑过渡到任务 2，有效地将子轨迹“缝合”在一起，以解决新颖的外推任务。

C. Libero-OOD 基准

作者引入了 libero-ood，这是一个新的基准套件，包含 20 个从标准 LIBERO 套件（libero-goal, libero-spatial, libero-object）衍生出的外推任务。

设计： 每个任务都需要结合从一个任务中学到的抓取位置和从另一个任务中学到的放置位置。连接这两点的特定轨迹在训练中从未出现过。
目标： 测试 VLAs 能否自主重组已学的技能表示。

3. 主要贡献

可组合技能表示的发现： 论文证明 VLAs（特别是 $\pi_0$ ）拥有独立但可组合的技能内部表示。虽然模型无法自主组合它们，但可以通过文本潜在变量操纵强制其进行组合。
文本潜在变量插值（TLI）： 一种新颖的推理时干预技术，通过混合任务表示来实现外推，在不重新训练的情况下提高了新任务的成功率。
Libero-OOD 基准： 一个旨在隔离技能重组能力的严格基准。它过滤掉了机器人无法完成的任务，转而关注那些理论上可由模型现有知识库解决的任务。
空间过拟合的识别： 论文揭示了一种关键的失败模式，即 VLAs 将物体名称与训练数据中的固定空间位置相关联，而不是理解物体身份或当前状态。

4. 实验结果

Libero-OOD 上的性能

基线失败： 最先进的 VLAs（ $\pi_0$ , $\pi_0$ -fast, UniVLA, openvla-oft）在 libero-ood 的 20 个外推任务上成功率低于 21%，尽管它们在标准 LIBERO 任务上达到了约 95% 的成功率。
TLI 成功： 对 $\pi_0$ 应用 TLI 后，其在 libero-ood 上的成功率从 9% 提升至 83%。
对比： 没有其他 VLA 在基准测试中取得超过 21% 的成功率，突显了当前架构在外推方面的系统性局限。

任务重建与安全影响

重建： 将文本潜在变量注入空白提示中，使 $\pi_0$ 能够以超过 80% 的成功率完成任务，证明该潜在变量捕捉了关键的任务知识。
去嵌入（Unembedding）： 将文本潜在变量去嵌入为令牌 ID 会产生“晦涩的提示”（通常不可读），但这些提示仍能指导模型。这表明针对私有指令或后门攻击存在潜在漏洞。

失败模式分析：空间过拟合

观察： 当被指示抓取一个被移动到新位置的物体（例如“奶油奶酪”）时，模型经常忽略物体的当前位置，而移动到该物体在训练演示中出现的位置。
证据： 在物体位置被交换的实验中， $\pi_0$ （以及其他 VLAs）一致地移动到物体名称的“训练位置”，而不是实际物体所在的位置。
结论： VLAs 表现出空间过拟合，将物体名称映射到固定坐标，而不是学习真正的物体 - 目标理解。

5. 意义

重新定义 OOD 泛化： 论文认为当前的 VLAs 并非“损坏”而是“被锁定”。它们拥有必要的技能，但缺乏自主重组这些技能的机制。所提出的基准（libero-ood）为衡量这种潜在能力提供了标准。
可解释性作为工具： 通过使用机械可解释性（文本潜在变量），作者证明失败并非源于知识匮乏，而是组合的失败。这将研究重点从收集更多数据转移到改进模型内部组合机制上。
安全与保障： 发现文本潜在变量可以被去嵌入为晦涩提示，揭示了机器人系统中对抗性攻击和后门的新向量。
未来方向： 结果表明，未来的 VLA 架构需要被设计为显式支持已学表示的重组，而不是依赖像 TLI 这样的训练后技巧来释放其潜力。

总之，这篇论文提供了强有力的证据，表明 VLAs 具有泛化的潜力，但目前受到空间过拟合和无法自主组合已学技能的阻碍。libero-ood 和 TLI 的引入既为社区提供了新的基准，也提供了一种探测机器人策略内部“黑盒”的方法。