💻 计算机科学

Real-Time Robot Execution with Masked Action Chunking

本文介绍了 REMAC，这是一种通过掩码动作分块（masked action chunking）和前缀保持采样（prefix-preserved sampling）来解决块内不一致性（intra-chunk inconsistency），从而在不增加额外延迟的情况下，实现更鲁棒且更快速的机器人实时执行任务完成的方法。

原作者： Haoxuan Wang, Gengyu Zhang, Yan Yan, Yuzhang Shang, Ramana Rao Kompella, Gaowen Liu

发布于 2026-01-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haoxuan Wang, Gengyu Zhang, Yan Yan, Yuzhang Shang, Ramana Rao Kompella, Gaowen Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机械臂如何倒一杯果汁而不洒出来。为了做到这一点，机器人需要“思考”（处理数据）并同时“行动”（移动它的手臂）。

问题在于，“思考”是需要时间的。等到机器人完成计算并发出移动指令时，世界已经发生了微小的变化。如果机器人等待计算完成后再移动，它会动作迟缓且笨拙；如果它在思考的同时移动，它可能会试图同时做两件不同的事情，从而导致杯子掉落。

这篇论文介绍了一种名为 REMAC 的新方法，旨在帮助机器人即使在“思考”存在轻微延迟的情况下，也能平滑且快速地移动。

两个大问题

作者确定了机器人尝试同时思考和移动时失败的两个具体原因：

“跳跃”问题（块间不连续性/Inter-chunk Discontinuity）：
想象一下，机器人被给予了一组包含 5 条指令的列表，要求它沿平滑曲线移动手臂。它执行了前两条，然后停下来获取一份新的 5 条指令列表。如果新列表与手臂当前的位置不完美匹配，机器人可能会发生抖动或跳变。这就像一名舞者在做完一个姿势的中途停下来询问下一步，然后突然切换到一个完全不同的动作。
“过时”问题（块内不一致性/Intra-chunk Inconsistency）：
这是论文重点关注的更棘手的问题。想象机器人手里拿着一份包含 5 条指令的列表。它开始执行这些指令。但当机器人执行到列表中的第 3 条指令时，机器人的“眼睛”（传感器）已经看到了新的景象。这份指令是基于“旧的视图”制定的，但机器人现在处于“新的情况”中。这就像是在遵循一个 10 秒钟前计算出的 GPS 路线；导航可能告诉你向左转，但你其实已经开过了那个路口。机器人正在尝试做一件对当前的现实情况而言已不再合理的事情。

解决方案：REMAC

作者提出了一个名为 REMAC（带有掩码动作分块的实时执行/Real-time Execution with Masked Action Chunking）的系统来解决这个问题。他们使用了两个主要技巧：

1. “蒙眼”训练（掩码动作分块/Masked Action Chunking）

通常，在训练机器人时，你会展示整个 5 条指令的列表并告诉它：“执行所有这些指令。”但在现实世界中，机器人只能执行其中的前几条，然后就必须停下来获取新指令。

REMAC 改变了这种训练方式。在练习期间，研究人员给机器人的训练数据戴上了一个“蒙眼布”。他们隐藏了列表中的前几条指令，只让机器人从它实际能够执行的指令中学习。

类比： 想象你在教一名学生开车。与其给他们一张全城的地图，不如遮住前几个转弯处，只让他们看到当前正在行驶的路段。这迫使学生学会如何对“当前的道路”做出反应，而不是仅仅死记硬背一条长而僵化的路线，因为那条路线在发生延迟时可能不再适用。

2. “自我修正”循环

该系统还教会机器人观察自己“刚刚做了什么”，并利用这一点来调整下一步动作。这就像一位音乐家通过聆听自己刚刚演奏出的音符，以确保下一个音符能够完美契合，而不是盲目地阅读乐谱。

在现实生活中如何运作

论文通过两种方式测试了它：

在视频游戏中（模拟环境）： 他们创建了 12 个不同的虚拟机器人任务。即使在“思考”延迟增加的情况下，REMAC 也让机器人比其他方法完成任务更快、更成功。
在现实世界中： 他们使用了一个真实的机器人手臂（Franka Research 3）来拿起物体，例如黄瓜甚至魔方。
- 结果： 其他方法要么停顿过多（动作僵硬），要么因为遵循过时的指令而导致物体掉落。即使在网络连接缓慢的情况下，REMAC 仍能保持机器人动作平滑并更高频率地完成任务。

为什么它很特别

大多数先前的方法试图在机器人犯错之后去修复这些问题（作为一种测试时的补丁），而 REMAC 通过从一开始就以不同的方式训练机器人来解决问题。

无额外延迟： 不同于其他通过增加额外步骤来使其平滑的方法（这会减慢机器人的速度），REMAC 的运行速度与原始机器人软件一样快。
即插即用： 它可以添加到现有的机器人大脑中，而无需从头开始重建它们。

简而言之： REMAC 教会了机器人去预见延迟，并学会忽略已经过时的指令，从而使它们能够在混乱的现实环境中平滑且快速地移动。

技术摘要：基于掩码动作分块的实时机器人执行 (REMAC)

问题陈述

对于在动态环境中运行的机器人等信息物理系统而言，实时执行至关重要，因为即使是微小的延迟也可能导致任务失败。虽然视觉-语言-动作（VLA）模型已推动了机器人操控技术的发展，但确保实时响应仍然具有挑战性。

现有方法面临着速度与准确性之间的权衡：

模型级加速通常以牺牲准确性为代价来换取速度。
动作分块（每步预测一个动作序列）提高了效率，但降低了对突发状态变化的反应能力，并在分块边界引入了不连续性。
异步推理（在执行当前分块的同时预测下一个分块）确保了动作的连续可用性，但也加剧了两种特定的失效模式：
1. 块间不连续性（Inter-chunk Discontinuity）： 由于潜在模式的分歧，导致连续动作分块之间出现不连贯的过渡。
2. 块内不一致性（Intra-chunk Inconsistency）： 一个关键且常被忽视的问题，即在一个分块内执行的动作与当前感知部分失配。具体而言，一个分块的前 $d$ 个动作（其中 $d$ 是推理延迟）继承自前一个分块的预测（该预测基于较旧的观测值 $o_{t-h}$ ），从而导致与当前状态 $o_t$ 的不匹配。

以往的方法主要通过测试时优化（例如平滑、补全或梯度修正）来解决块间不连续性问题。然而，这些方法往往依赖于易于失败的启发式算法，或者会引入额外的延迟，并且很大程度上忽略了块内不一致性问题。

方法论：REMAC

作者提出了基于掩码动作分块的实时执行 (REMAC)，这是一种在预训练流匹配策略上学习修正调整的训练时适配策略，且不会产生额外的推理延迟。该方法旨在同时解决块内一致性和块间连续性。

1. 掩码动作分块

为了解决块内不一致性，REMAC 修改了训练目标，以考虑观测与执行之间的延迟。

前缀掩码（Prefix Masking）： 训练损失被限制在“可执行”部分的动作分块上。一个延迟条件的掩码 $m_d$ 排除了前 $d$ 个动作（这些动作是从前一个分块继承的，因此与当前观测不匹配），从而将监督信号排除在外。这迫使策略专注于学习在继承前缀存在不确定性的情况下，如何对剩余动作进行鲁棒预测。
自调节课程学习（Self-Conditioned Curriculum）： 为了在训练期间模拟测试时的条件（即执行中的动作是不可用的），作者引入了一个课程学习，通过一个调度的混合参数 $\sigma$ ，将训练输入从地面真值动作逐渐转向策略自身的预测。这种方法通过混合地面真值分块 $A_t$ 与预训练策略的预测 $\tilde{A}_t$ 来减轻暴露偏差并稳定训练。
残差对齐（ $\Delta$ -matching）： 另一个附加损失项鼓励模型学习相对于预训练策略的残差修正，明确地将诱导的调整与预训练预测与地面真值之间的差异进行对齐。

2. 前缀保留采样

在推理阶段，采样流水线经过调整以与训练过程保持一致：

初始化： 初始潜在动作状态并非抽取自高斯先验，而是使用将在延迟期间执行的动作（即来自前一个分块的“前缀”）进行初始化。
保留执行： 在流匹配采样的积分步骤期间，当前分块与即将到来的分块之间的重叠部分（即已经承诺执行的动作）会被保留，而不会被重新生成。仅对分块的剩余部分进行合成。

3. 实现

参数效率： 该方法使用低秩自适应（LoRA）来微调预训练策略，最多仅增加 1.5% 的参数。这使得模型能够在保留原始模型预测能力的同时，学习延迟感知型的调整。
零延迟开销： LoRA 权重被合并到骨干网络中，且采样过程不需要额外的计算，确保了与基础策略相比不会产生额外的推理延迟。

核心贡献

识别了块内不一致性： 本文强调了在异步推理中，继承的动作与当前感知之间的失配是一个关键的失效模式，这与块间不连续性是不同的。
REMAC 框架： 一种结合了掩码动作分块、自调节课程调度和残差对齐的创新训练策略，用于学习延迟感知型策略。
无延迟适配： 不同于增加计算开销的测试时修正方法（如 RTC、BID），REMAC 不引入额外的推理延迟。
兼容性： 该方法被设计为一种即插即用的增强方案，可以与现有的测试时算法结合使用。

实验结果

作者在 12 个模拟任务（Kinetix）和三个使用 Franka Research 3 机器人的真实世界抓取任务中评估了 REMAC。

模拟环境 (Kinetix)：
- 在所有推理延迟（ $d=0$ 到 $d=4$ ）下，REMAC 的表现始终优于基准方法（Naive Async、双向解码、RTC）。
- 它展示了更高的成功率和更快的任务完成时间。
- 与基准方法相比，随着延迟的增加，其性能下降幅度显著降低。
- 消融研究证实，每个组件（前缀掩码、课程学习、 $\Delta$ -matching）都对最终性能做出了贡献，完整的方法达到了最高的成功率。
真实世界部署：
- 在涉及不同难度物体抓取（例如具有紧密间隙的魔方）的任务中，REMAC 实现了比同步推理、Naive Async、时间集成（Temporal Ensembling）和 RTC 更高的任务完成进度。
- 在注入高达 150ms 延迟（模拟网络/硬件延迟）的情况下，REMAC 保持了鲁棒性，而 RTC 的性能由于其带来的延迟而显著下降。
- 运动学分析表明，与同步方法相比，REMAC 生成的轨迹更平滑，速度和加速度的突变更少。

意义

本文声称，REMAC 通过在训练时进行适配而非依赖测试时的启发式方法，解决了异步推理中导致块内不一致性的根本原因，从而为实时机器人执行提供了一种鲁棒的解决方案。通过使策略能够对预期动作与实际执行之间的失配保持韧性，REMAX 在不增加额外延迟的情况下，促进了在动态环境下更快、更可靠的任务完成。作者将该方法定位为一种通用的骨干网络改进方案，可以无缝集成到现有的 VLA 框架中，并与其他测试时策略结合以获得进一步提升。