💻 computer science

Reshaping Action Error Distributions for Reliable Vision-Language-Action Models

本文提出将最小误差熵（MEE）目标集成到视觉-语言-动作（VLA）模型中，以重塑动作误差分布，从而在不牺牲推理效率的前提下，增强机器人操控策略在多种设定下的鲁棒性和成功率。

原作者： Shuanghao Bai, Dakai Wang, Cheng Chi, Wanqi Zhou, Jing Lyu, Xiaoguang Zhao, Pengwei Wang, Zhongyuan Wang, Lei Xing, Shanghang Zhang, Badong Chen

发布于 2026-02-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shuanghao Bai, Dakai Wang, Cheng Chi, Wanqi Zhou, Jing Lyu, Xiaoguang Zhao, Pengwei Wang, Zhongyuan Wang, Lei Xing, Shanghang Zhang, Badong Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人做饭。你给它看一段人类厨师切菜的视频，然后机器人尝试模仿这些动作。

在目前大多数机器人训练方法中，老师（计算机程序）扮演着一个严厉的数学导师的角色。每当机器人的手臂移动时，导师都会检查：“你是否精准落在了目标点上？如果你偏离了1毫米，这里就会有一个惩罚。”这被称为均方误差 (Mean Squared Error, MSE)。这就像是通过只看每一道题最终得分来给考试评分。

作者指出，这种“逐一检查”的评分方式忽略了大局。有时机器人可能会在动作开始时犯几个大的、笨拙的错误，但随后能完美地自我纠正。而有时，它可能会犯一些微小的、持续性的错误，并最终导致一团糟。旧的数学导师并不关心这些错误的模式；它只是简单地累加惩罚。

新方法：观察错误的“形状”

这篇论文提出了一种新的机器人教学方法，称为 T-MEE（轨迹级最小误差熵）。

T-MEE 不仅仅检查机器人是否击中了目标，它还会观察机器人在完成整个任务（例如拿起杯子并放入篮子）期间所犯下的整组错误，并追问：“这些错误看起来像是一团散乱、混乱的云，还是看起来像一个紧凑、有组织的集群？”

以下是类比：

旧方法 (MSE)： 想象一位老师正在给100名学生评分。如果学生A得了90分，而学生B得了10分，老师只是把分数加起来。他们并不关心学生A是否表现得始终如一，也不关心学生B是否表现得极其不可预测。
新方法 (T-MEE)： 老师观察整个班级。他们说：“我不只希望每个人都拿到高分；我希望每个人的分数彼此之间是相似的。”如果班级的成绩是10分和90分交织的混乱状态，老师会试图将所有人拉拢成一个紧凑的85分小组。

在机器人的案例中，T-MEE 试图让所有的误差“聚拢在一起”，形成一个紧凑、可预测的集群，而不是散乱各处。它使用了一个来自信息论的概念——熵 (Entropy)（一种衡量混乱或随机性的度量）。其目标是最小化误差的熵，这意味着机器人学习如何犯下一致且可预测的错误，而不是荒诞且随机的错误。

在实践中如何运作

研究人员在许多不同的机器人“大脑”（模型）上测试了它，范围从小型、简单的模型到理解语言和视觉的海量复杂模型。

“聚拢”效应： 当他们使用 T-M EE 时，机器人的错误变得更有组织性。机器人不再是在某些尝试中疯狂乱动而在另一些尝试中表现完美，而是变得始终如一地优秀。
处理噪声： 现实生活是混乱的。摄像头可能会模糊，演示过程可能会摇晃。旧的数学导师会被这些“离群值”（奇怪的巨大错误）搞糊涂。T-MEE 则像是一位睿智的教练，他会忽略机器人偶尔踩到香蕉皮滑倒的情况，而专注于机器人通常是如何移动的整体模式。这使得机器人在情况出错时更加稳健。
利用更少的数据进行学习： 当机器人被展示极少量的示例（少样本学习）时，T-MEE 帮助它比旧方法学得更快、更好。这就像机器人即使没有看上一千遍，也能领悟动作的“神韵”。

结果

论文在计算机模拟（类似于机器人的电子游戏）和真实的物理机器人上进行了测试。

成功率： 在几乎所有的测试中，使用 T-MEE 训练的机器人比使用旧方法训练的机器人成功率更高。
现实世界： 在真实的机器人手臂上，动作变得更加平滑且可靠。
成本： 最棒的是？它并没有让机器人变慢，也没有需要超级计算机。这只是对训练数学逻辑的一个微小改动，却带来了巨大的成果。

局限性（“运行范围”）

论文也发现了一个限制。如果训练数据极其不平衡（例如，机器人看到了某个任务1,000次，但另一个任务只看到了一次），T-MEE 并不能奇迹般地解决缺乏数据的问题。它在适度的不平衡情况下效果很好，但如果机器人对某个特定任务几乎没有任何示例，该方法也无法提供太多帮助。

总结

你可以将这篇论文看作是将机器人的老师从一个严格的计分员（只计算对错答案）升级为一名模式教练（教导机器人要保持一致的稳定与组织性）。通过重塑机器人看待自身错误的方式——关注群体行为而非个体误差——机器人变得更加可靠、更能处理噪声，并且学得更快，而无需增加任何计算能力。

技术摘要：通过重塑动作误差分布提升视觉-语言-动作模型的可靠性

问题陈述

视觉-语言-动作（VLA）模型已成为机器人操控领域的主流范式，利用了大型视觉-语言模型（VLM）的推理与生成能力。然而，连续动作 VLA 模型主要依赖于标准的监督目标，即用于回归的均方误差（MSE）。虽然 MSE 能为单个动作预测提供有效的逐点约束，但它仅在孤立偏差的层面进行操作。

作者认为，动作预测误差不应仅仅被视为孤立的点，而应被视为从底层误差分布中抽取的样本，这些分布随时间和动作维度不断演化。这些分布通常表现出结构化模式——例如离散、偏斜或相关变化——而逐点回归目标无法对这些模式进行调节。因此，误差分布的集体几何结构和不确定性仍未得到优化，这可能限制了学习策略的鲁棒性和泛化能力，特别是在少样本、高噪声或数据不平衡的场景下。

方法论

为了解决这些局限性，本文将**最小误差熵（Minimum Error Entropy, MEE）**引入 VLA 训练流程。MEE 是一种信息论原则，旨在最小化误差分布的熵，促使误差集中成紧凑、结构化的配置，而不依赖于预定义的参数化形式。

核心公式：轨迹级 MEE (T-MEE)

经典的 MEE 通常定义在标量、样本级的误差上。作者将其适配到 VLA 动作预测具有结构化、高维且时间相关性的特性。

聚合： 该方法并非独立处理每个时间步的误差，而是跨批次（batch）、时间步（temporal）和分块（chunk）维度对动作预测误差进行聚合。这些聚合后的误差被视为来自共享误差随机变量的样本。
目标函数： 作者采用二次 Rényi 熵来近似聚合误差分布的香农熵。目标函数定义为：
$L_{T-MEE} = -\log \left( \frac{1}{N^2} \sum_{i=1}^N \sum_{j=1}^N \exp \left( -\frac{\|e_i - e_j\|^2}{2\sigma^2} \right) \right)$
其中 $e_i$ 和 $e_j$ 是误差向量， $N$ 是总聚合样本数， $\sigma$ 是核带宽。
混合损失： 为确保误差分布保持在零附近（由 MSE 提供的锚定效应），T-MEE 目标函数与标准 MSE 相结合：
$L_{total} = L_{MSE} + \alpha L_{T-MEE}$

加权变体

为了实现更细粒度的误差塑造控制，本文提出了两种加权变体：

分块加权 T-MEE (Cw-TMEE)： 通过非对称权重强调可靠的动作分块，同时在不同轨迹间聚合误差。
元素加权 T-MEE (Ew-TMEE)： 基于单个误差样本量级的对称权重。

理论见解

论文提供了表征 T-MEE 优化行为的理论分析：

相似性加权交互： T-MEE 诱导了一种交互机制，即每个误差样本根据其与其他样本的相似程度受到吸引，从而调节误差空间的集体几何结构，而非仅仅惩罚量级。
鲁棒性： 该方法对非高斯噪声和离群值具有天然的鲁棒性，因为基于核的权重能够自适应地抑制极端偏差的影响，不同于 MSE 的线性梯度增长。
多任务耦合： 在不平衡设置下，T-MEE 诱导了由误差分布重叠所驱动的任务耦合。虽然它可以缓解中度不平衡，但在极端不平衡（即少数任务的监督严重不足）的情况下，性能仍可能下降。

实验结果

所提方法在多种 VLA 架构（从小型 BC-RNN/Transformer 到大规模模型如 GR00T, OFT, $\pi_0$ , 和 DS-VLA）以及多种训练机制下进行了评估。

仿真基准测试 (LIBERO & SimplerEnv)：
- 标准设置： 引入 T-MEE 后，所有模型规模的成功率均得到一致提升。对于小型模型（如 BC-RNN），平均成功率提升高达 +13.3%。大规模模型表现出更小幅但持续的增益（如 +0.5% 至 +2.4%）。
- 少样本学习： T-MEE 展示了增强的数据效率，随着训练数据量的减少，性能增益变得更加显著。
- 噪声设置： 在各种干扰（运动模糊、椒盐噪声、柯西噪声、脉冲噪声）下，T-MEE 始终优于 MSE 基线，验证了其对非高斯噪声的理论鲁棒性。
- 不平衡数据： T-MEE 在轻度到中度任务级不平衡下提升了性能。然而，在极端不平衡（比例为 40:1）时，增益减弱，这符合文中关于该方法具有实际适用范围的理论发现。
真实世界机器人：
- 在 Agilex Cobot Magic 平台上进行评估，执行诸如放置物体、擦拭白板和递送杯子等任务。
- 与基线 GR00T 模型相比，T-MEE 实现了更平滑的轨迹、更少的修正动作以及更高的成功率，证明了从仿真到物理系统的有效迁移。
效率： 该方法带来的额外训练成本微乎其微，且不对推理效率产生影响。

主要贡献

分布视角： 本研究从分布视角重新审视了 VLA 模型中的动作误差，超越了逐点回归，转而刻画误差分布的全局结构。
方法论创新： 提出了专门针对连续动作 VLA 训练的轨迹级 MEE (T-MEE) 及其两种加权变体（Cw-TMEE, Ew-TMEE）。
理论表征： 提供了理论分析，解释了为何基于 MEE 的监督是有效的，详细阐述了其相似性加权交互、对离群值的鲁棒性以及在多任务场景下的行为。
全面的实证验证： 通过涵盖多样化架构、模型规模、数据机制（平衡、少样本、噪声、不平衡）以及仿真与真实世界设置的广泛实验，证明了其在提高成功率和鲁棒性方面的持续改进。

重要性与主张

本文声称，通过信息论原则重塑动作误差分布，是增强连续动作 VLA 模型可靠性的原则性途径。通过最小化误差熵，该方法能够在无需强参数假设的情况下，促进紧凑且结构化的误差配置。

作者强调，T-MEE 作为一个鲁棒的正则化项，提高了数据效率以及对噪声和离群值的抵御能力。尽管该方法在广泛的设置下均有效，但论文也谦逊地指出其收益是有界的；具体而言，它无法完全补偿少数任务中由于监督严重不足而导致的极端数据匮乏。这项工作表明，分布级监督是构建更具泛化性和鲁棒性的机器人策略时，对标准逐点回归工具箱的重要补充。