💻 computer science

ChainVLA: Chaining Vision-Language-Action Queries through a Unified Execution State for Long-Horizon Manipulation

ChainVLA 是一个拥有 12 亿参数的视觉-语言-动作策略，它通过将连续查询链入一个统一且可修正的执行状态（该状态结合了用于任务进度的循环工作记忆和用于连续动作生成的运动尾随），实现了卓越的长时程操控性能。

原作者： Yuzhi Huang, Weijue Bu, Ziyi Xiong, Jie Wu, Fanding Huang, Jingyan Jiang, Zhi Wang

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuzhi Huang, Weijue Bu, Ziyi Xiong, Jie Wu, Fanding Huang, Jingyan Jiang, Zhi Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人清理你凌乱的房间。你给它一个简单的指令：“把玩具收好。”一个以微小、孤立步骤进行思考的机器人可能会看着地板，拿起一个红色的积木，然后把它放进盒子里。接着，它停了下来。它忘记了自己刚刚拿起了那个积木。它再次看向地板，看到了一个蓝色的积木，然后又把它拿了起来。但如果那个红色的积木原本应该是放在蓝色积木下面呢？或者如果机器人需要记住它已经清理了房间的左侧，所以不应该再回到那里呢？这就是“长程操控”（long-horizon manipulation）的挑战。这不仅仅是移动机械臂的问题；它关乎在双手忙碌时，如何在脑海中维持一个连贯的故事。

在机器人领域，科学家们使用一种叫做视觉-语言-动作（Vision-Language-Action，简称 VLA）策略的东西。把这些看作是机器人的大脑，它通过摄像头观察（视觉），阅读你的指令（语言），并决定做什么（动作）。通常，这些大脑是以短促的爆发式工作的。它们为接下来的几秒钟制定一个计划，执行这些动作，然后立即停止，从头开始制定一个新的计划。这就像是在写小说时，写完一句话，就抹掉对前一句话的记忆，然后仅凭当前这一页的内容去猜测下一句该写什么。问题在于，机器人经常会丢掉故事的线索。它会忘记自己刚刚完成了什么，或者因为它新的计划与正在进行的动作发生冲突而感到困惑。这篇论文提出了一个问题：我们如何让机器人既能记住它的故事，又能保持动作的流畅，同时还能实时观察世界？

拥有记忆与动量的机器人

见见 ChainVLA。这是研究人员设计的一种新型机器人大脑，旨在解决“健忘机器人”的问题。想象一下你在蜿蜒的小路上骑自行车。为了保持平衡，你需要两样东西：你需要记住你走过的路（刚才转弯了吗？前面有坡吗？），并且你需要保持平稳地踩踏，这样才不会摇晃跌倒。ChainVLA 的设计初衷正是为机器人手臂实现这一点。

如今大多数机器人大脑的工作方式就像是一个人：拍一张照片，做一个决定，放下照片，再拍一张新照片，再做一个新决定。它们不会将前一个决定的“感觉”带入下一个决策中。ChainVLA 通过将这些决策串联起来，改变了游戏规则。它创建了一个特殊的“执行状态”，就像机器人背着的一个背包。这个背包有两个非常重要的隔层：

“故事”隔层（进度上下文/Progress Context）： 它保存了机器人已经实现的成就记忆。它就像一个心理清单。如果机器人刚刚把一个积木移到了左边，这个隔层就会记住：“好的，左边已经清理干净了。”它结合了快速的短期记忆（正在发生的事情）和稀疏的长期记忆（过去发生的重要事件，比如“我先移动了红色积木”）。这有助于机器人了解自己在宏观任务中所处的阶段。
“动量”隔层（运动尾迹/Motion Tail）： 这是最酷的部分。当机器人决定移动时，它不仅仅是说“向前移动”。它会预测接下来几秒钟内的一整套动作序列。但在它停下来重新思考之前，它实际上只执行前几个动作。 “运动尾迹”就是那部分尚未完成的预测计划。ChainVLA 保存了这个未完成的计划，并将其反馈到机器人的大脑中进行下一步。这就像一个跑步者，即使在停下来系鞋带后，依然记得自己刚才跑的速度和方向，因此不需要从静止状态重新开始。

实际应用中的运作方式

研究人员在一些棘手的任务上测试了这个想法。其中最难的任务之一叫做“放回积木”（Put Back Block）。想象机器人必须把一个积木移动到一个位置，然后移动另一个物体，最后把那个积木放回原来的位置。问题在于？当机器人准备放回积木时，原来的位置可能已经被新物体挡住了摄像头的视线。普通的机器人会看着摄像头，发现什么也看不见，然后陷入混乱。它会忘记那个位置在哪里。

然而，ChainVLA 使用它的“故事”隔层来记住：“嘿，我刚才把那个积木放在那里了，即使我现在看不见它。”与此同时，它的“动量”隔层确保当它移动去放回积木时，不会因为机械臂指向了一个与刚才动作产生冲突的奇怪新方向而猛烈甩动。

结果非常显著。在一次名为 RMBench 的高难度测试中，ChainVLA 的成功率达到了 62.8%。对比一下其他智能机器人：

如果你拿掉“故事”（进度上下文），成功率会暴跌至 3.0%。机器人完全忘记了任务。
如果你拿掉“动量”（运动尾迹），成功率会降至 11.2%。机器人记住了任务，但动作过于笨拙，导致失败。

这表明这两个部分都是必不可少的。“故事”告诉机器人要做什么，而“动量”帮助它平稳地完成动作，而不至于被自己的脚步绊倒。

为什么这很重要

论文指出，保持“未完成动作”的活跃状态对于记住任务其实至关重要。这有点像跳舞：如果你在每一步之间完全停止舞蹈，你可能会忘记节奏。但如果你保持节奏（运动尾迹），你的大脑会更好地记住编舞（进度上下文）。

当研究人员尝试通过仅仅在机器人已经决定好动作之后再去平滑处理动作（这是其他机器人常用的技巧）来修复机器人的笨拙感时，这种方法并没有奏效。机器人仍然失败了。这证明了秘诀不仅仅在于让动作看起来好看；而是在机器人做出新决定之前，就将下一个动作的“想法”喂给它的大脑。

简而言之，ChainVLA 表明，为了处理长期的、复杂的任务，机器人需要减少像“拍照记录”那样工作，而更多地像一个永远不会在书中迷失方向的讲故事的人，同时还要保持脚步随着音乐的节拍不断律动。这是迈向让机器人能够真正协助我们处理现实生活中繁琐、多步骤家务的一小步，而不会让它们感到困惑或丢三落四。

技术摘要：ChainVLA

问题陈述

长时程机器人操控需要一种连续的执行流，其决策既取决于由先前动作建立的任务进度，也取决于当前正在进行的动作的运动延续性。现有的视觉-语言-动作（VLA）策略通常运行在动作分块（action-chunked）和收缩时界（receding-horizon）的机制下。在这种设计中，策略不断地根据当前的观测、本体感受状态和指令进行重新规划，预测一个有限的动作时界，执行一个严格的前缀，然后丢弃剩余部分。

这种设计在两个层面上造成了不完整的跨查询交接（cross-query handoff）：

任务层面： 早期的任务证据（例如，已完成的子任务或物体的初始布局）可能会离开当前的观测视野。如果没有对这些事件的显式记忆，当当前视图具有歧义时（例如，RMBench 中的“放回方块”任务），策略无法推断出正确的下一步。
运动层面： 重新规划会丢弃前一次预测中未执行的后续部分。这会导致新预测的前缀可能与正在进行的运动不一致，从而在位姿和速度上产生不连续性。由于执行的运动会塑造用于下一次查询的观测流，这些不连续性会降低用于未来任务进度推理的观测质量。

现有解决方案分别处理这些问题：增强记忆的策略保留了任务历史但丢弃了运动连续性；而时间集成（temporal ensembling）或实时执行则保留了运动但缺乏长期任务证据。

方法论：ChainVLA

ChainVLA 是一个 1.2B 参数量的 VLA 策略，旨在通过一个联合且可修正的执行状态（ $s_k = (g_k, u_k)$ ）来链接连续的查询。该状态在查询边界之间保持，允许策略在保留必要上下文的同时，根据最新的观测重新生成动作时界。

1. 执行状态

该状态由两个互补的部分组成：

进度上下文 ( $g_k$ )： 承载由观测推导出的任务进度。它是以下内容的融合：
- 工作状态（Working State）： 对当前执行情况的循环总结，在每次查询时使用来自当前输入的实时 Token 和最近 Token 的有界缓存进行更新。
- 稀疏事件记忆（Sparse Event Memory）： 对稀疏且显著的里程碑（例如阶段转换）的可检索记忆。事件基于阶段标注或周期性规则进行写入，并使用以当前执行估计和年龄编码为条件的查询进行检索。
运动尾部 ( $u_k$ )： 承载前一次预测中未执行的后缀。该组件弥合了已执行前缀与下一次查询之间的鸿沟，为未完成的运动提供了一个“延续先验”（continuation prior）。

2. 查询转换与架构

在每个查询 $k$ ，策略接收当前输入 $x_k$ 和携带的状态 $s_k$ 。

状态更新： 编码器将 $x_k$ 处理为多模态 Token。一个学习到的工作查询库（working-query bank）对这些 Token 以及之前的“工作状态”进行注意力计算，以生成实时 Token ( $L_k$ ) 和一个摘要 ( $\bar{W}_k$ )。该摘要从“稀疏事件记忆”中检索事件证据 ( $Z^e_k$ )。
进度上下文形成： $g_k$ 通过融合 $L_k$ 和 $Z^e_k$ 形成。
运动尾部集成： 进入的运动尾部 ( $u_k$ ) 对“工作状态”进行约束，并初始化动作生成过程。具体而言，它将归一化的后缀与全时界动作表示对齐，以设置解码器状态的初始均值 ( $\mu_{k+1}$ )。
动作生成： 条件流解码器（以 DiT 为骨干）在 $x_k$ 、 $g_k$ 和 $u_k$ 的条件下重新生成全时界动作 $A_k$ 。至关重要的是，解码器不会复制或冻结任何时界位置；它根据最新的观测重新生成每一个位置，确保携带的状态作为一个可修正的先验而非固定的计划。
下一状态： 在执行完前缀后，未执行的 $A_k$ 后续部分成为下一次查询的运动尾部 ( $u_{k+1}$ )。

3. 训练

训练按情节顺序展开执行状态的转换。模型受以下内容监督：

标准的条件流动作目标。
阶段监督（在存在标注的情况下），用于阶段估计和写入目标。
一个重叠一致性正则化项（overlap-consistency regularizer），该项惩罚连续预测时界在时间对齐重叠部分的差异，从而鼓励连贯的交接，而不是在新的时界中固定动作。

核心贡献

识别跨查询状态组件： 本文识别出任务进度和未完成运动是两个互补且不对称的跨查询执行状态组件。消融研究表明，移除其中任何一个组件都会大幅降低性能，且两者的相互作用表明，运动连续性对于维持用于任务进度推理的观测流至关重要。
ChainVLA 策略： 一个 1.2B 参数量的 VLA 策略，通过进度上下文和运动尾部的联合状态来链接查询。与以往工作不同，它在最新的观测下重新生成每个时界，同时保持一个源自前一次预测的可修正先验。
实证验证： 在 RMBench 和 LIBERO 系列上的广泛评估表明，ChainVLA 优于现有的记忆增强型和动作分块基准模型。

结果

RMBench： ChainVLA 在五个依赖记忆的任务中实现了 62.8% 的平均成功率。这显著优于具有完整覆盖能力的强力基准方法（Mem-0 为 52.8%），并且在“放回方块”任务（96% vs. Mem-0 的 90%）中表现尤为出色，在该任务中任务证据会离开视野。
LIBERO： 该策略在四个系列（Spatial, Object, Goal, Long）中实现了 98.8% 的平均成功率，所有系列均超过 98%。
消融研究：
- 移除进度上下文使 RMBench 成功率降至 3.0%。
- 移除运动尾部使 RMBench 成功率降至 11.2%。
- 用观测历史和解码后时间集成代替携带的状态（FIFO Hist. + TE）仅能获得 35.6% 的成功率。
- 解码后平滑控制（线性延续、时间集成）虽然减少了边界不连续性，但未能恢复任务成功率，这表明增益来自于生成过程的模型侧约束，而非仅仅是更平滑的执行。

意义

本文声称 ChainVLA 解决了长时程操控中的一个根本差距：缺乏一种统一的机制来同时处理长期任务证据和短期运动连续性。结果表明，运动连续性不仅是一个控制目标，更是可靠的任务进度推理的前提，因为不连续的运动会改变观测流，从而破坏记忆检索。通过利用联合且可修正的状态来链接查询，ChainVLA 使策略能够在无需单独规划器或世界模型的情况下，在长时程内保持连贯性。