🤖 AI

Learning Native Continuation for Action Chunking Flow Policies

本文介绍了 Legato，这是一种面向动作分块视觉语言动作模型的训练时延续方法，它通过重塑流动力学并利用随机调度条件生成更平滑、更一致的轨迹，从而在现实世界操作任务中超越了现有的实时分块方法。

原作者： Yufeng Liu, Hang Yu, Juntu Zhao, Bocheng Li, Di Zhang, Mingzhu Li, Wenxuan Wu, Yingdong Hu, Junyuan Xie, Junliang Guo, Dequan Wang, Yang Gao

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yufeng Liu, Hang Yu, Juntu Zhao, Bocheng Li, Di Zhang, Mingzhu Li, Wenxuan Wu, Yingdong Hu, Junyuan Xie, Junliang Guo, Dequan Wang, Yang Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教机器人执行一项复杂任务，比如将水从一个杯子倒入另一个杯子。为此，机器人使用一个“大脑”（即视觉 - 语言 - 动作模型）来观察场景并决定下一步该做什么。

然而，这个“大脑”反应较慢，无法快到来得及为机器人每一毫秒都提供一条新指令。因此，工程师们采用了一种称为“动作分块”（Action Chunking）的技巧。它不是每次只给出一条指令，而是让“大脑”一次性预测一整段“未来动作块”（例如接下来 2 秒的运动）。

问题所在：“卡顿”

该论文指出了当前将这些动作块拼接在一起的方式中存在一个重大缺陷。

想象你正走在走廊里。你迈出一小步，接着再迈一步。如果你一次性规划接下来的三步，你或许能走得很流畅。但当你完成这三步，需要规划接下来的三步时，你的大脑必须暂停、重新评估，并开始制定新的计划。

在现有机器人中，这种暂停会在一个动作块结束、下一个动作块开始的边界处引发“卡顿”或“抽噎”。机器人可能会：

犹豫（瞬间冻结）。
突然朝不同方向猛 jerk 一下。
改变主意，决定换用另一只手或抓取另一个物体。

论文将这种现象称为“虚假多模态切换”。用通俗的话来说：机器人在过渡点感到困惑，开始在多种可能动作之间摇摆不定，导致动作显得生硬且不自然。

旧方案：“实时分块”（RTC）

此前尝试解决这一问题的方法称为“实时分块”（Real-Time Chunking, RTC），它就像一张“便利贴提醒”。

当机器人完成一个动作块后，系统会查看它刚刚做出的最后几步动作。
它强制要求新的动作块必须从旧动作块结束的确切位置开始。
缺陷：这是一种在机器人已经思考完毕之后才施加的外部规则。这就像告诉一位画家：“确保你下一笔要与上一笔衔接”，但画家并未学会如何自然地衔接它们。机器人内部仍然感到困惑，从而导致犹豫和生硬的动作。

新方案："Legato"

作者提出了一种名为"Legato"的新方法（得名于音乐术语，意为“平滑连贯”）。

Legato 并非仅在末尾添加一条规则，而是教导机器人的“大脑”在学习过程中就学会如何将这些点连接起来。

以下是其工作原理，借助一个富有创意的类比：

1. “带辅助轮训练”类比
想象你正在教一个孩子骑自行车。

旧方法（RTC）：你让孩子骑行，如果他们在转弯结束时摇晃，你就抓住车把强行将其扶直。他们学会依赖你来修正摇晃。
Legato 方法：你教他们在转弯过程中就“感受”平衡。你为他们提供一份“时间表”，说明在转弯的每一秒需要多少支撑。随着他们逐渐完成转弯，你慢慢放手，但全程给予平滑引导。

2. “平滑斜坡”与“坚硬墙壁”
Legato 采用一种“呈日程表形状”的引导。

当机器人开始一个新的动作块时，它确切知道前一个动作块以何种状态结束。
Legato 告诉机器人：“在这个新动作块的初始部分，你必须完全遵循前一条路径。”
接着，它逐渐说：“好了，你可以开始稍微偏离，并做出自己的选择。”
最后：“现在你可以自由规划剩余的运动了。”

这创造了一条平滑的自由度斜坡，而非一道坚硬墙壁，迫使机器人在那里突然切换模式。

3. “原生技能”
Legato 最关键之处在于它改变了机器人内部的“流动”。它重塑了机器人“大脑”内部的数学逻辑，使得连接动作块成为其思考方式的自然组成部分。

它不只是强迫机器人匹配过去的动作；它教导机器人，与过去保持一致是最容易且最合乎逻辑的路径。
这阻止了机器人在不同想法之间犹豫不决或来回摇摆（即多模态切换）。

实验结果

研究人员在真实机器人上测试了该方法，涉及五项不同任务：堆叠碗、倾倒物品、抓取物体、打开抽屉以及折叠毛巾。

更流畅的动作：Legato 驱动的机器人动作如流水般顺畅，而旧方法则像一系列生硬的步伐。
更快完成：由于机器人不再在“动作块边界”处犹豫或冻结，任务完成速度提高了约10%。
更少困惑：机器人坚持既定计划（例如“我将使用左手”），而不再来回摇摆。

总结

可以将“动作分块”想象为机器人拍摄一系列照片来规划其运动。

问题：照片无法完美对齐，导致最终影像显得抖动。
旧方案：你试图在拍摄后编辑这些照片（RTC），但抖动依然存在。
Legato：你教导相机如何拍摄照片，使它们在拍摄过程中自然完美对齐。结果是，机器人动作自信优雅，呈现出一部平滑连贯的影片。

技术摘要：Legato——为动作分块流策略学习原生连续性

1. 问题陈述

视觉 - 语言 - 动作（VLA）模型在现实世界机器人中日益采用动作分块（action chunking）进行部署，这是一种在单次推理步骤中预测一系列未来动作向量的策略。虽然分块摊销了推理成本并实现了高频控制，但它引入了一个根本性缺陷：分块边界处的不连续性。

这些不连续性主要源于两个因素：

推理延迟：计算下一个分块所需的时间，导致当前分块执行与下一个分块生成之间存在间隙。
内在多模态性：基于流的策略通常表现出多模态分布，导致“虚假的多模态切换”，即策略在分块之间突然改变其预期的动作模式。

现有的解决方案如实时分块（Real-Time Chunking, RTC）试图通过在推理时应用图像修复（inpainting）来缓解这一问题，部分约束新分块与之前的动作重叠。然而，RTC 仅是一种在推理时应用的外部机制。由于策略本身并未被训练以处理这种连续性，它仍然容易出现犹豫、方向突变以及轨迹不自然平滑的问题。本文认为，稳定的分块执行需要分块连续性成为策略的原生、习得属性。

2. 方法：Legato

作者提出了Legato，这是一种针对动作分块流式 VLA 策略的训练时连续性框架。Legato 通过在逐步引导（per-step guidance）下重塑学习到的流动力学，将连续性机制内化，从而确保训练与推理之间的一致性。

核心组件

Legato 解决了有效连续性所需的两个关键要求：

逐步引导：引导必须在所有去噪步骤中重复应用，而不仅仅是在初始化时。
训练 - 推理一致性：训练期间学习的动力学必须与推理期间使用的动力学相匹配。

A. 调度整形引导（Schedule-Shaped Guidance）

Legato 在动作分块范围 $H$ 上引入了一个引导调度 $\omega \in [0, 1]^H$ 。该调度由三个参数定义：

$d$ ：推理延迟（全引导前缀）。
$s$ ：每个周期的执行长度。
$r$ ：引导强度递减的斜坡长度。
这些参数满足 $r + s + d = H$ 。

Legato 不使用硬钳位前缀（如训练时 RTC 所做），而是采用平滑调度：它将分块的起始部分锚定在已知动作上（训练时为真实值，推理时为上一个分块的前缀），并逐渐将引导强度斜坡式降低至零。这是通过动作 - 噪声混合实现的：
$\epsilon_{eff} = (1 - \omega) \odot \epsilon + \omega \odot A$
其中 $\epsilon$ 是噪声， $A$ 是参考动作。

B. 重塑流动力学

标准流匹配训练一个速度场 $u_{FM}$ 以将噪声传输到动作。然而，在推理时应用逐步引导会诱导出一个不同的动态系统。为了消除训练 - 测试不匹配，Legato 推导了重复逐步引导所诱导的精确连续时间动力学，并在训练期间重塑目标速度场。

网络被训练以预测修改后的目标速度 $v_{target}$ ：
$v_{target}(t, A, \epsilon, \omega) = (1 - \kappa \odot (1 - t)) \odot (A - \epsilon)$
其中 $\kappa = \omega / \Delta t$ 。这使得策略能够原生支持调度整形引导，而无需在推理时进行外部干预。

C. 随机化调度条件

为了应对不同硬件和运行时优化带来的推理延迟变化，Legato 在训练期间随机化调度参数（ $d, r$ ）。策略显式地以调度 $\omega$ 为条件（作为特征附加）。这使得单个模型能够适应不同的推理延迟，并在推理时控制轨迹平滑度与重叠一致性之间的权衡，而无需重新训练。

3. 主要贡献

Legato 框架：一种训练时连续性框架，通过重塑流动力学来维持严格的训练 - 推理一致性，同时实现逐步、调度整形的引导。
随机化调度条件：一种支持不同推理延迟并提供灵活控制轨迹平滑度的机制，使模型能够泛化到不同的硬件和延迟条件。
实证验证：广泛的现实世界实验表明，将连续性作为原生策略属性进行学习，优于推理时修正方法。

4. 实验结果

作者在双机械臂机器人上，针对五个现实世界操作任务（堆叠碗、倾倒、抓取 - 放置、抽屉开启、折叠毛巾）评估了 Legato。

性能指标

任务完成时间：与 RTC 相比，Legato 始终实现了更短的任务完成时间（约10% 的提升）。
轨迹平滑度：Legato 产生了显著更平滑的轨迹，表现为更低的NSPARC（负谱弧长）和重叠 RMSE值。
虚假多模态切换：Legato 减少了犹豫和方向突变，导致了更一致的抓取目标和机械臂选择。

对比分析

与 RTC 相比：Legato 在所有五个任务的速度和平滑度方面均优于 RTC。
与训练时 RTC 相比：Legato 优于在训练期间应用硬前缀约束的基线。作者将此归因于 Legato 对流动力学的重塑，这更好地与重复引导的有效去噪行为相一致。
泛化性：该方法在不同 VLA 骨干网络（ $\pi_0$ 、 $\pi_0.5$ 、Gr00t N1.6）和不同推理延迟下均表现出鲁棒性。

5. 意义与主张

本文主张，Legato代表了从将动作分块连续性视为外部推理时修正，转变为策略的原生、习得属性的范式转变。

内在平滑性：通过重塑流动力学，Legato 确保策略本质上理解如何在分块之间过渡，减少了与多模态切换相关的“抖动”和犹豫。
效率：犹豫和方向变化的减少直接转化为现实世界场景中更快的任务完成时间。
适应性：随机化调度条件的使用使得单个模型能够部署在具有不同推理延迟的多样化硬件环境中，这是实际机器人部署的关键要求。

作者总结道，虽然当前的公式将去噪步骤限制为训练时指定，但所提出的方法成功证明了学习连续性动力学优于施加硬约束，为实现更平滑、更高效的现实世界机器人控制提供了一条稳健的途径。