💬 NLP

Beyond English: Uncovering the Multilingual Gap in Vision-Language-Action Models

本文提出了首个系统性研究，揭示了尽管视觉-语言-动作模型拥有多语言语言骨干网络，但在处理非英语指令时仍存在显著的性能差距，并提出了一种多语言主成分对齐微调策略，以有效缓解这一问题。

原作者： Hanyang Chen, Hongliang Li, Jiarui Cao, Yang Li, Yang Jiang, Haonan Wen, Kaiyu Huang, Shengnan Guo, Huaiyu Wan

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Hanyang Chen, Hongliang Li, Jiarui Cao, Yang Li, Yang Jiang, Haonan Wen, Kaiyu Huang, Shengnan Guo, Huaiyu Wan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：“仅限英语”的机器人

想象一下，你正在教一个机器人做饭。你有一个非常聪明的机器人大脑（一个视觉-语言-动作模型，简称 VLA），它能看到厨房，理解你的话，并移动它的手臂去抓取勺子或打开炉灶。

研究人员发现了一个重大问题：大多数这类机器人就像是在英语环境下学习的学生。 即使机器人的“大脑”（底层的语言模型）懂得如何说法语、中文或阿拉伯语，机器人本身却不知道如何根据这些语言来进行“动作”。

当你用英语下达指令（“Pick up the cup”）时，它表现得完美无缺。但如果你用完全相同的意思用法语表达（“Prends la tasse”），机器人往往会僵住、感到困惑，或者抓错了物体。就好像机器人仅仅因为你更换了语言，就突然忘记了如何移动双手一样。

实验过程：测试机器人的“耳朵”

研究人员想要验证这是否属实。他们采用了现有的机器人训练数据（几乎全是英文），并创建了一个“多语言测试”。

翻译： 他们将英文指令翻译成了四种其他语言：中文、法语、俄语和阿拉伯语。
混合模式： 他们还创建了“语码转换”（code-switching）指令，即句子大部分使用一种语言，但包含几个关键的英文单词（如“cup”或“pick”）。
测试： 他们要求机器人在模拟厨房中使用这些不同的语言执行任务。

他们的发现：“多语言差距”

结果非常明确：存在巨大的差距。

“仅限英语”的大脑： 在英文数据上训练的机器人在被要求使用其他语言时表现极差。它们的成功率显著下降，有时几乎降至零。
“多语言”的大脑： 一些建立在已具备多种语言能力的语言模型（如 Qwen-VL）之上的机器人表现较好，尤其是在处理中文时，但与英文相比仍有差距。
视觉陷阱： 当视觉场景令人困惑时，问题会变得更加严重。如果两个不同的任务看起来完全一样（例如把碗放在盘子上 vs. 打开炉灶），机器人会高度依赖语言。如果语言是外语，机器人就会彻底迷失。
关键词的力量： 有趣的是，如果机器人听到的是法语句子，但其中的单词“cup”仍然是英文，它的表现就会好得多。这就像机器人拥有一个“关键词触发器”，即使它不理解整个句子，也能通过这个词来弄清楚该做什么。

为什么会发生这种情况？（“翻译”问题）

研究人员深入观察了机器人的“大脑”内部，以寻找问题所在。他们发现了两个主要问题：

理解混乱： 有时，机器人根本无法理解外语指令。它听到法语中的“turn on the stove”，却以为你说的是“put the bowl on the plate”，因为视觉场景看起来很相似。
“动作头”（Action Head）不匹配： 这是一个技术性部分，但你可以把它想象成流水线末端的翻译员。机器人的大脑理解了单词，但实际驱动手臂的部分（“动作头”）是针对英文进行微调的。当语言改变时，发送给手臂的“信号”就会变得混乱。
- 类比： 想象一位指挥家（大脑）正对着管弦乐队用法语指挥，但乐手们（机器人手臂）只懂得阅读为英文使用者编写的乐谱。于是，音乐被演奏错了。
- 他们发现，某些类型的“指挥家”（被称为 GR00T 和 π 的特定设计）比其他类型更能处理这种混淆。

解决方案：“主成分对齐”（MPCA）

研究人员不仅指出了问题，还提出了解决方法。他们提出了一种名为**多语言主成分对齐（Multilingual Principal Component Alignment, MPCA）**的方法。

类比： 想象机器人的大脑拥有一张关于“单词如何关联动作”的“地图”。在英语中，这张地图很清晰；而在法语中，地图向左偏移了，导致机器人走错了方向。
修复方法： MPCA 就像一个指南针，它可以重新对齐法语地图，使其指向与英语地图相同的方向。它不需要从头开始重新训练整个机器人，只需提取现有的知识，并将外语数据进行“旋转”，使其适配机器人现有的动作系统。

总结

论文得出结论：我们不能仅仅因为语言模型是多语言的，就假设机器人能在全球范围内工作。如果我们希望机器人在现实的多语言环境中工作，我们需要专门训练并使它们对齐，使它们理解不同的语言应当导向相同的物理动作。

他们展示了通过一个简单的调整（MPCA），我们可以显著提高机器人遵循非英语指令的能力，使其为现实世界做好准备。

技术摘要：超越英语：揭示视觉-语言-动作模型中的多语言差距

问题陈述

视觉-语言-动作（VLA）模型通过整合视觉感知、自然语言理解和动作生成，已成为开发通用机器人策略的一种极具前景的范式。然而，当前的 VLA 系统存在一个关键局限性：它们主要使用英语指令进行训练和评估。尽管底层的语言大模型（LLMs）和视觉-语言模型（VLMs）通常具备多语言能力，但目前尚不清楚这些能力在对齐过程中能否有效地迁移到动作生成空间。

本文解决的核心问题是潜在的“多语言差距”——即当指令以非英语语言提供时，机器人性能出现的退化。这一差距为在全球环境中部署机器人构成了显著障碍，因为在这些环境中，机器人必须能够理解多样化的语言输入。本文研究了 VLA 是否在与机器人动作对齐后仍能真正保留多语言理解能力，并试图找出导致非英语环境下性能下降的根本原因。

研究方法

1. 多语言评估框架

作者提出了一个由三个阶段组成的系统评估框架：

多语言数据集构建： 现有的机器人操控基准测试（LIBERO 和 SimplerEnv）通过将英语指令翻译成四种目标语言进行了扩展：中文（zh）、法语（fr）、俄语（ru）和阿拉伯语（ar）。定义了两种交互设置：
- 多语言指令： 保留原始语义的直接翻译。
- 代码切换指令（Code-Switching）： 混合语言表达，将关键动词和名词替换为英语，模拟常见的多种语言混合交流场景。
- 使用云翻译 API 和 LLM（通过“LLM 作为评判者”进行命名实体识别和语义一致性检查）的流水线来生成高质量的指令变体。
多语言评估适配器： 开发了一个轻量级适配器，可以在不修改模型架构或环境逻辑的情况下，在评估流水线中无缝切换语言输入，从而确保跨语言比较的公平性。
评估协议： 在不同语言下测量任务成功率。使用**相对性能（Relative Performance）**来量化性能，计算方式为多语言设置下的成功率与原始英语设置下的成功率之差。

2. 实验设置

模型： 评估了多个代表性的 VLA 模型，包括 $\pi_{0.5}$ 、OpenVLA-OFT、ABot-M0、Cosmos Policy，以及具有不同动作头设计（OFT、FAST、 $\pi$ 、GR00T）的各种基于 Qwen-VL 的模型。
基准测试： 实验在 LIBERO 和 SimplerEnv 仿真环境中进行，涵盖了物体重排、工具使用和空间操控等任务。

3. 提出的解决方案：多语言主成分对齐（MPCA）

受“多语言指令会导致表示偏移”这一发现的启发，作者提出了 MPCA，一种微调方法。

机制： MPCA 利用主成分分析（PCA）来识别语言嵌入的主成分子空间。随后，它将投影后的多语言表示对齐到该子空间。
目标： 减少英语与非英语指令表示之间的分布偏移，从而提高模型跨语言泛化能力。

关键发现与结果

1. 存在显著的多语言差距

实验表明，主要针对英语训练的模型在处理非英语指令时，性能出现了大幅下降。

基座模型依赖性： 基于以英语为中心的 VLM（如 PaliGemma、Prismatic）的模型表现出严重的退化，其表现往往与没有指令的模型相似。相比之下，基于多语言 VLM（如 Qwen-VL）的模型展现出更好的泛化能力，尤其是在中文方面，尽管与其他语言相比仍存在差距。
视觉上下文放大效应： 在视觉输入相似的环境中（如 LIBERO-Goal），这种差距最为明显，这表明当视觉线索模糊时，语言理解成为了关键的差异因素。

2. 指令结构与动作头的影响

关键词的重要性： 代码切换指令（包含英语关键词）导致的性能下降比全翻译指令更小。这表明关键的动词和名词对于 VLA 理解至关重要。
动作头设计： 动作头的架构显著影响着多语言的鲁棒性。
- 基于扩散的动作头（GR00T 式、 $\pi$ 式）保持了较好的性能，这可能是因为它们保留了来自基座 VLM 的语义信息，并能更好地适应分布偏移。
- 基于 Token 的动作头（FAST 式）表现较差，可能是由于在分词过程中发生了语义信息丢失。
- 基于 MLP 的动作头（OFT 式）表现处于中间水平，难以应对多语言输入引起的分布偏移。

3. 根本原因：表示偏移（Representation Shift）

表示分析（可视化池化嵌入）证实，多语言差距源于表示偏移。

在多语言性能较差的模型中，非英语指令的嵌入在潜空间中远离英语指令的嵌入。
在性能较好的模型（如 Qwen3-VL- $\pi$ ）中，英语和中文的嵌入紧密对齐，这与更好的泛化能力相关联。
失效模式被归纳为：(1) 指令误解（由于语言混淆产生完全错误的动作）和 (2) 执行失败（理解了意图但无法生成正确的动作序列）。

4. MPCA 的有效性

提出的 MPCA 策略有效地缩小了多语言性能差距。通过将多语言表示对齐到主成分子空间，MPCA 提高了非英语设置下的任务成功率，证明了其作为增强多语言鲁棒性的实用方案的潜力。

重要性与贡献

本文声称具有以下贡献：

首次系统性研究： 它是对 VLA 模型中多语言指令遵循能力的首次全面调查，超越了当前研究中普遍存在的仅限英语的假设。
框架与基准测试： 它引入了一个多语言评估框架以及针对 LIBERO 和 SimplerEnv 的数据集扩展，实现了跨语言和不同交互设置的可控比较。
实证见解： 它揭示了当前系统中存在的显著多语言差距，并详细分析了基座模型能力、动作头设计以及指令结构如何影响这一差距。
实用解决方案： 它提出了 MPCA，一种简单且有效的微调方法，利用表示对齐来缓解多语言差距，为开发更具鲁棒性、可全球部署的具身智能体提供了路径。

作者得出结论，虽然 VLA 展现出了前景，但它们的多语言能力目前仍不成熟，需要特定的架构和训练干预，才能达到与其英语对应版本相当的性能。