💬 NLP

When Does Language Matter? Multilingual Instructions Reveal Step-wise Language Sensitivity in Vision-Language-Action Models

本文揭示了视觉-语言-动作模型在非英语指令下会因非均匀的、逐步的语言敏感性而导致显著的性能退化，并提出了一种针对性的推理时干预方法，通过基于这些特定敏感性来对齐表示，从而大幅提升多语言鲁棒性。

原作者： Xuan Dong, Zhe Han, Tianhao Niu, Qingfu Zhu, Wanxiang Che

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Xuan Dong, Zhe Han, Tianhao Niu, Qingfu Zhu, Wanxiang Che

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个非常聪明的机器人助手。你给它一个指令，比如：“拿起红色的杯子，把它放进蓝色的盒子里。”如果你用英语对它说，机器人通常能做得很好。但如果你用西班牙语、中文或日语对机器人说同样的一项任务，会发生什么呢？

根据哈尔滨工业大学这项新研究的结果，机器人突然变得笨拙得多。事实上，当指令不是英语时，机器人的失败率比平时高出 30% 到 50%。

以下是研究人员发现的问题以及他们如何解决问题的简单分解，使用了日常类比。

1. 问题所在：这并非一个“全局性”错误

你可能会认为，如果机器人听不懂外语，它就会全程陷入混乱，就像一个没复习功课的学生。

研究人员发现，事实并非如此。机器人并不是在整个过程中都失败。相反，它是在任务过程中的特定、关键时刻出错。

类比： 想象一次长途自驾游。如果你正在驾驶一辆配备了仅支持英语 GPS 的汽车，而你突然把 GPS 切换到了法语，你不会立即撞车。你会正常行驶一段时间。但是，当你到达一个复杂的交叉路口，GPS 需要准确告诉你该转入哪条车道时，如果因为语言切换导致 GPS 给出了错误的特定指令，你就会错过转弯并迷路。剩下的旅程可能都很顺利，但那一个糟糕的瞬间毁掉了整个行程。

论文发现，在机器人任务中，存在这些“关键路口”（步骤），在这些步骤中，语言的重要性最高。在其他步骤中，机器人更多地依赖于它“看到”的内容（摄像头），而不是它“听到”的内容（语言），因此语言的切换并不会干扰它。

2. 旧方法：“平均化”修复（以及为什么它失败了）

在此之前，其他研究人员试图通过应用“全局修正”来解决这个问题。

类比： 想象你在尝试修复一首歌，其中间有一个音调略微跑调。一种“平均化”的修复方法是，将整首歌的音量整体降低一点点，希望这样能修复那个坏掉的音符。

结果： 这会让那个坏掉的音符稍微好一点，但也让所有原本“好听”的音符变得更糟。它给任务中原本运行良好的部分引入了“噪声”。

论文表明，对机器人运动的每一步都进行统一的修复，实际上会让情况变得更糟，或者起不到足够的帮助。

3. 新方案：“步进式”手术

研究人员开发了一种名为**“逐步干预”（Step-wise Intervention）**的新方法。他们不再是一次性修复整个机器人，而是像外科医生一样，只对生病的特定器官进行手术。

运作方式：

绘制敏感度图谱： 首先，他们分析机器人的“大脑”，以确定任务中哪些步骤高度依赖语言。（例如：“步骤 3：寻找红色杯子”是语言密集型的；“步骤 4：移动手臂向前”则主要依赖视觉）。
针对性帮助： 当机器人接收到外语指令时，系统会等待。它让机器人自主完成那些简单的、基于视觉的步骤。
实施干预： 一旦机器人到达“语言关键步骤”（如寻找物体），系统就会介入。它会临时切换机器人对该步骤的内部理解，使其与英语指令下的表现一致。
恢复正常： 完成该关键步骤后，系统停止辅助，机器人继续自主运行。

类比： 这就像是在餐厅用餐时，有一位翻译只在你即将点一道复杂的菜肴时才在你耳边低语。当你只是走向餐桌或坐下时，翻译保持沉默。但当你需要向服务员表达时，翻译会给出最准确的词汇。这确保了你不会点错菜，同时又不会在整个过程中让你感到厌烦。

4. 研究结果

当他们测试这种“手术式”方法时：

成功率大幅飙升： 机器人在处理外语时的成功率显著提高，缩小了与英语表现之间的差距。
效率提升： 他们还发现，如果在训练机器人，他们只需要将“学习时间”集中在这些关键步骤上。他们不需要重新训练整个机器人，只需要针对语言起作用的具体部分进行训练。

总结

核心结论是：语言鲁棒性不是一个单一的问题，而是一系列微小的、特定的问题。

旧观点： “机器人听不懂外语，所以我们需要修复它的整个大脑。”
新观点： “机器人对理解外语基本没问题，但在特定的决策点上会出错。如果我们只修复这些特定的时刻，机器人就会变得更加可靠。”

这项研究表明，为了让机器人在多语言世界中真正发挥作用，我们不能再把它们视为静态的机器，而应该把它们视为需要在精确时刻提供帮助的动态智能体。

技术摘要：语言何时变得重要？多语言指令揭示视觉-语言-动作模型的逐步语言敏感性

问题陈述

视觉-语言-动作（VLA）模型通过将视觉观测和自然语言指令映射到动作序列，在受语言约束的机器人操控任务中展现了强大的性能。然而，其对语言变化的鲁棒性仍未得到充分理解。虽然多语言鲁棒性在语言和视觉-语言模型中已得到探索，但 VLA 模型面临着独特的挑战：它们在闭环设置中生成连续的动作流，其中由语言引起的误差会随时间累积，从而不可逆转地影响长程执行过程。

目前的 VLA 系统通常假设仅使用英语指令。当翻译成非英语语言时，这些模型表现出严重的性能下降。现有的缓解方法（例如统一的跨语言对齐，如 CLAIM）假设语言偏移在执行步骤中是均匀分布的。本文挑战了这一假设，认为语言的影响在时间上是高度非均匀的，且将多语言鲁棒性视为一个静态、全局的对齐问题对于具身智能体而言是不够的。

方法论

1. 系统性的多语言评估

作者将 LIBERO 基准测试翻译成十种语言（英语、中文、日语、韩语、法语、西班牙语、阿拉伯语、泰语、葡萄牙语和越南语），以对 VLA 模型进行首次系统性的多语言评估。他们评估了两种不同的架构：OpenVLA-OFT 和 $\pi0.5$ 。

2. 逐步语言敏感性分析

为了理解失败发生在何时以及为何发生，作者引入了一个逐步分析框架：

偏差测量： 他们测量了在每个执行步骤中，由非英语指令生成的隐藏表示与由英语指令生成的隐藏表示之间的余弦距离。
基于梯度的敏感性： 为了在推理过程中无需英语参考即可识别语言关键步骤，他们计算了文本-图像梯度比。通过计算预测动作相对于语言 token ( $g_{lang}$ ) 和视觉 token ( $g_{vis}$ ) 的梯度，他们推导出了敏感性得分 $r_t = g_{lang} / (g_{vis} + \epsilon)$ 。
发现： 高梯度比（高语言依赖性）的步骤与表现出偏离英语表示较大偏差的步骤强相关。这证实了语言影响在时间上是局部化的，特定的“热点”驱动了任务失败。

3. 逐步推理时干预

基于敏感性分析，作者提出了一种在推理时运行的逐步对齐策略，无需重新训练：

离线阶段： 构建一个来自英语训练轨迹的隐藏表示参考集，并根据预先计算的语言敏感性得分进行索引。
在线阶段：
1. 检索： 对于给定的非英语步骤，基于余弦相似度检索 $K$ 个最近的英语参考表示。
2. 门控： 通过检查属于前 $K$ 个敏感步骤的检索邻居的比例是否超过阈值 $\tau$ ，来确定当前步骤是否为语言关键步骤。
3. 对齐： 如果该步骤是关键步骤，则计算检索到的英语参考的相似度加权平均值，并更新当前的隐藏表示： $h_{aligned} = h_t + \alpha I_t (\bar{h}_t - h_t)$ 。
4. 执行： 将对齐后的表示传递给后续层以生成动作。

4. 数据高效型训练

作者还探索了使用逐步敏感性来指导微调。他们没有更新所有步骤，而是将参数更新限制在识别出的语言关键步骤上，并将其与全量微调和随机步骤选择进行了对比。

关键结果

多语言性能下降

在没有干预的情况下，VLA 模型在非英语指令下遭受显著的性能下降。在各种任务（空间、物体、目标、长程）中，成功率相比英语下降了 30–50%。例如，在“目标”（Goal）任务中，OpenVLA-OFT 的成功率从 97.9%（英语）降至低至 6.4%（阿拉伯语）。

逐步干预的有效性

推理时： 提出的逐步对齐显著优于基准线。对于 OpenVLA-OFT，在非英语语言下的平均成功率从 ~51.7%（基准）提升至 68.8%（逐步偏移）。对于 $\pi0.5$ ，成功率从 ~56.7% 提升至 80.3%。
比较： 统一对齐（平均偏移）产生的结果不稳定，有时甚至会降低性能。英语思维链（EN-CoT）提供的增益有限且不一致，凸显了将基于推理的提示应用于动作生成策略的难度。
可视化： 隐藏表示分布显示，逐步对齐有效地将非英语表示向英语参考方向移动，但仅限于关键步骤。

训练效率

当应用于微调时，将更新限制在语言关键步骤（50% 的步骤）实现了与全量微调相当的性能（OpenVLA-OFT 的平均成功率分别为 85.5% vs 86.8%），同时需要更少的更新。随机步骤选择的表现明显较差（44.9%），证实了所识别的步骤捕捉到了有意义的语言-动作依赖关系。

失败分析

对 100 个失败案例的分析表明，多语言退化主要由**指令到视觉接地（instruction-to-visual grounding）**的错误驱动。

53% 的失败发生在 导航（Navigate） 原语（识别目标位置/容器）阶段。
18% 发生在 抓取（Grasp） 阶段。
在后期阶段的原语（如放置、打开/关闭或推送）中，失败发生的频率较低。
这表明语言关键步骤与语义目标选择密切相关，而非低层级的运动控制。

意义与主张

本文声称，VLA 模型中的语言鲁棒性本质上是一个逐步控制问题，而非全局表示对齐问题。

时间结构： 作者证明了语言影响是高度非均匀的；某些步骤主导了整体任务失败，而其他步骤则在很大程度上与语言无关。
针对性干预： 统一对齐是不够的，甚至可能有害。在语言敏感步骤进行选择性干预，对于在不引入噪声到语言无关步骤的前提下提高鲁棒性是必要的。
效率： 逐步敏感性分析能够实现有效的推理时纠正和数据高效型训练，使模型能以更少的更新恢复性能增益。
更广泛的影响： 这项工作强调了在未来的具身智能体系统中，需要进行具有时间结构的分析和干预，从而超越对语言鲁棒性的静态、整体式视角。

作者指出了一些局限性，承认实验是在仿真环境中进行的，将这些发现迁移到具有额外噪声和不确定性的现实世界机器人系统中仍是一个开放性问题。他们还建议，随着 VLA 架构的演进，逐步敏感性的性质可能会发生变化，需要未来对这些策略进行适配。