💻 computer science

Ordered Action Tokens for Visuomotor Policy Learning

本文介绍了有序动作标记化（Ordered Action Tokenization, OAT），这是一种学习型方法，它将连续的机器人动作块离散化为结构化、有序的序列，以实现高压缩率和完全可解码性，从而在成本与保真度之间实现灵活的推理时权衡，同时在多种仿真和真实世界任务中持续提升视觉运动策略的性能。

原作者： Chaoqi Liu, Yue Zhao, Haonan Chen, Xiaoshen Han, Jiawei Gao, Ehsan Adeli, Yilun Du

发布于 2026-07-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chaoqi Liu, Yue Zhao, Haonan Chen, Xiaoshen Han, Jiawei Gao, Ehsan Adeli, Yilun Du

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人烹饪一道复杂的菜肴。你不能只告诉它“做意大利面”，并指望它能完成；你必须将任务分解成极其微小、具体的步骤：“拿起锅”、“注水”、“打开炉灶”、“等待水开”。在机器人领域，这被称为视觉运动策略学习（visuomotor policy learning）。这是一个通过学习示例，教机器人观察世界（视觉）并移动其手臂来执行任务（运动控制）的过程。

为了教导机器人，我们通常会使用一种特殊的 AI，叫做视觉-语言-动作（VLA）模型。把这个模型想象成一个超级聪明的机器人大脑，它读过每一本书，也看过每一段视频。但棘手之处在于：现实世界是连续且平滑的，就像一条流动的河流。然而，机器人是数字化的，它们以离散的步骤进行思考，就像一系列静止的照片。为了教导机器人，我们必须将这种平滑的运动之河切成一小块一小块的碎块，并将它们转化为机器人大脑能够理解的语言。我们把这些运动的小块称为“标记”（tokens）。这就像是将一段长句子变成一串乐高积木。如果积木太小，句子就会变得太长而难以构建；如果积木太大或过于混乱，机器人就无法弄清楚如何将它们组合成一个有效的动作。

长期以来，科学家们一直试图寻找一种完美的将机器人运动切分为标记的方法。有些方法切分得过于细碎，产生了一份庞大且难以处理的指令清单；有些方法虽然在理论上看起来很完美，但在机器人实际尝试移动时却会崩溃。核心问题在于：我们该如何切分机器人运动，才能使其既短小易懂，又能始终产生有效的动作？

这时，一篇提出了名为**有序动作标记化（Ordered Action Tokenization, OAT）**这一巧妙解决方案的新论文出现了。来自哈佛大学和斯坦福大学的研究团队意识到，我们切分运动的方式，与其说是切分本身，不如说切分的方式同样重要。他们提出了一种新方法，将机器人动作转化为一个遵循特定且有益顺序的标记序列。

想象一下，你正在通过电话向朋友描述一幅画。如果你先说“它是蓝色的天空，然后是绿色的树，然后是红色的房子”，你的朋友只能得到一个模糊的概念。但如果你从宏观图景开始——“这是一幅风景画，有天空、树木和房子”——然后再添加细节，比如“天空是亮蓝色的”以及“房子有一个红色的屋顶”，你的朋友就能循序渐进地构建出一个更清晰的心理图像。这正是 OAT 对机器人所做的事情。

该团队发现，现有的方法缺失了一个关键要素：顺序。有些方法只是逐一列出运动的每一个微小细节，这太长了；有些方法虽然将运动压缩成了一个秘密代码，但这个代码并没有告诉机器人哪一部分的运动是最重要的。新的 Oط 强制要求机器人先学习动作的“大局观”，然后再填充精细的细节。

以下是它的实际运作方式：

第一个标记是核心概念： 机器人预测的第一个标记会告诉它动作的大致轮廓。例如，“伸手去拿杯子”。
后续标记增加细节： 接下来的几个标记会完善这个想法。“伸手去拿杯子……稍微向左一点……带着轻柔的抓握力”。
“随时解码”的魔力： 这是最酷的部分。因为这些标记是从“大概念”到“精细细节”有序排列的，所以机器人不必等待整个列表全部完成。如果机器人很赶时间，它可以在只经过前几个标记后就停止，并依然获得一个“足够好”的动作来抓取杯子。如果它有更多时间，它可以等待完整的列表，以实现精准完美的抓取。这就像一条短信，即使你只读了前半部分，它依然能表达完整的意思。

研究人员通过两种主要方式测试了这个想法。首先，他们使用 OAT 在计算机模拟中甚至在实验室的真实机器人上，教导简单的机器人大脑进行移动。他们发现，使用 OAT 使机器人在执行任务时比旧方法表现得更好。机器人学习得更快，犯错也更少。

其次，他们在巨大的、功能强大的 AI 模型（即那些能够交谈和观察的模型）中测试了 OAT。即使机器人不是直接使用这些标记来移动，而只是利用它们来辅助 AI 进行“思考”，OAT 依然发挥了作用。事实证明，拥有一个清晰、有序的动作结构有助于 AI 更好地理解目标，就像在动笔写作之前拥有一份清晰的文章大纲一样。

论文还表明，你不能只是简单地混搭这些想法。如果你尝试使用一种“块”方法（即机器人一次预测一整块标记），但使用的却是并非为此设计的标记化工具，机器人会感到困惑并表现得更差。这些标记的“顺序”必须与机器人预测它们的方式相匹配。

简而言之，这篇论文表明，教导机器人的秘诀不仅仅在于压缩数据或缩短长度，而是在于结构。通过将机器人运动组织成一个从“粗略”到“精细”的序列，我们为机器人提供了一个灵活、高效且更易于遵循的路线图。无论是实验室里的机械臂，还是云端的巨型 AI 大脑，拥有一个清晰、有序的方式来描述“如何移动”，似乎都是让它们变得更聪明、更可靠的关键。作者发现，这种方法在从堆叠杯子到打开抽屉等各种不同的任务中，都能持续提升性能，这证明了有时，你讲述故事的方式与故事本身同样重要。

技术摘要：用于视觉运动策略学习的有序动作标记（Ordered Action Tokens）

问题陈述

在现代视觉运动策略中，动作标记化（Action tokenization）是连续机器人控制与序列模型之间的关键接口。然而，现有方法无法同时满足有效策略学习所需的三个基本属性：

高压缩率： 标记序列必须紧凑，以最小化训练难度和推理延迟。
完全可解码性： 策略生成的任意标记序列必须能够可靠地解码为有效的、可执行的连续动作。
有序标记结构： 标记序列必须组织控制相关信息，使得早期的标记捕捉粗略且高影响力的运动，而随后的标记则细化残差细节。这种“由粗到精”的结构符合自回归模型中下一个标记预测（next-token prediction）的归纳偏置，并为视觉语言模型（VLM）提供有意义的监督。

当前的方法虽然满足这些设计目标中的部分子集，但无法同时满足全部。逐维度分箱（Per-dimension binning）具有完全可解码性，但产生的序列过长。频域标记器（如 FAST）提供了顺序性，但由于变长扩展问题缺乏完全可解码性。学习型潜变量标记器（如 QueST, ACodec）提供了压缩能力，但通常缺乏显式的有序结构来将全局控制信息置于早期，从而限制了其作为策略目标的有效性。

方法论：有序动作标记（OAT）

作者提出了 有序动作标记（OAT），这是一种旨在满足上述三个设计目标的学习型标记器。OAT 将连续的动作块（action chunks）离散化为紧凑、完全可解码且有序的标记序列。

架构

OAT 采用带有离散瓶颈的编码器-解码器架构：

寄存器瓶颈（Register Bottleneck）： 编码器使用可学习的“寄存器”标记（受 ViT registers 启发）来对连续动作块中的所有位置进行交叉注意力计算。这些寄存器将时序信息聚合为固定长度的潜状态序列。
有限标量量化（Finite Scalar Quantization, FSQ）： 潜寄存器状态通过 FSQ 被离散化为固定词表，确保每个词表索引都映射到一个有效的连续动作块（完全可解码性）。
解码器： 一个交叉注意力 Transformer 解码器根据量化的寄存器状态重建连续动作块。

训练：有序前缀重建

为了诱导所需的由粗到精的顺序，OAT 在训练期间采用了 嵌套前缀重建（Nested Prefix Reconstruction）：

嵌套 Dropout（Nested Dropout）： 训练目标从一组预算集合（例如 $\{1, 2, 4, \dots, H_l\}$ ）中采样一个重建预算 $K$ 。解码器被训练为仅使用前 $K$ 个标记来重建完整的动作块，并将剩余的后缀掩码掉。
信息分配： 这迫使早期标记携带实现合理动作所需的粗略、全局显著的控制信息，而后续标记则负责细化残射细节。这创建了一种“渐进式”表示，即任何前缀都能解码为一个可执行的动作。
寄存器流约束（Register Flow Constraints）： 作者为寄存器引入了特定的自注意力掩码，以支持不同的生成调度方案。他们定义了两个变体：
- $OAT_{sing}$ （逐标记式）： 使用标准的因果注意力，对每个标记施加严格的依赖顺序。
- $OAT_{pow2}$ （二的幂次式）： 使用块因果注意力（block-causal attention），其中属于同一个二的幂次组内的寄存器不能相互注意，只能关注之前的组。这实现了可扩展的块自回归解码。

策略接口

OAT 在两种主流策略范式中进行了验证：

自回归（AR）策略： 策略按顺序（或按块）生成 OAT 标记，随后将其解离为动作。其有序结构支持可变推理预算，允许系统在推理成本与动作保真度之间进行权衡。
标记协同训练（TC）策略： VLM 被训练来预测 OAT 标记（作为监督信号），而一个独立的流匹配（flow-matching）专家则从分离出的 VLM 上下文中生成连续动作。在此场景下，第一个 OAT 标记充当整个动作块的“类计划（plan-like）”摘要，为 VLM 的预填充（prefill）表示提供强大的全局目标。

可扩展生成

论文引入了一个 块自回归（Block-wise Autoregressive, BAR） 框架，统一了逐标记生成、单次并行解码和中间块调度。具体而言， $OAT_{pow2}$ 变体结合二的幂次生成调度，将序列策略调用深度从 $O(H_l)$ 降低到 $O(\log H_l)$ ，在不牺牲性能的前提下显著提高了推理效率。

核心贡献

形式化设计目标： 论文识别并形式化了高压缩率、完全可解码性和有序标记结构，将其作为动作标记化作为策略接口的三大核心要求。
OAT 算法： 提出了通过基于寄存器的压缩、FSQ 和嵌套前缀训练来实现这些要求的学习型标记器。
可扩展解码框架： 引入了 BAR 框架，统一了各种生成调度，证明了通过二的幂次分组可以大幅减少推理延迟。
全面验证： 在三种策略骨干网络（轻量级 Transformer, PaliGemma2, Qwen3VL）以及超过 60 个涵盖 AR 和 TC 范式的模拟及真实世界任务上进行了广泛实验。

实验结果

率失真（Rate-Distortion）： OAT 描绘了一条平滑的重建误差随标记预算变化的曲线，证明了不同长度的前缀能解码出精度递增的动作。
轻量级策略： 在具有固定 Transformer 骨干的闭环控制中，OAT 始终优于基准方法（Bin, FAST, QueST, ACodec）。其性能随标记预算增加而提升， $OAT_{sing}^{8}$ 在 LIBERO、RoboMimic、MetaWorld 及真实任务中取得了最高的成功率。
自回归 VLM： OAT 提升了大型 VLM（PaliGemma2, Qwen3VL）的成功率。二的幂次变体（ $OAT_{pow2}$ ）在显著减少策略调用次数（例如 5 次调用对比全生成 16 次调用）的同时，达到了与逐标记生成相当的性能。
标记协同训练： 即使在推理阶段不进行解码，OAT 的监督也能带来更优的 VLM 表示。OAT 在 TC 设置中实现了最高的平均成功率，在多个基准测试中超越了 QueST 和 ACodec，验证了“类计划”监督的假设。
消融实验： 去除有序前缀训练（嵌套 Dropout）会导致性能显著下降，证实了由粗到精的结构至关重要。此外，将寄存器注意力结构与生成调度不匹配（例如使用 $O-pow2 $块配合$ OAT_{sing}$）会降低性能，凸显了标记器设计与推理调度对齐的必要性。

意义与主张

论文声称 OAT 为视觉运动策略学习提供了一个鲁棒且灵活的接口。通过满足压缩、可解码性和有序性这一“三位一体”的要求，OAT 实现了：

灵活的推理： 策略可以自适应地选择标记预算，以平衡延迟与保真度。
改进的学习： 有序结构符合自回归模型的归纳偏置，并在协同训练设置中为 VLM 提供有意义的全局监督。
可扩展性： 与 BAR 的集成允许在大模型上进行高效推理，避免了标准逐标记生成的线性深度惩罚。

作者总结道，尽管本研究的范围限定在特定基准和骨干网络内，但 OAT 的设计原则为动作标记化问题提供了一个通用的解决方案，为构建更高效、更强大的具身智能系统铺平了道路。他们指出，未来的工作可以探索自适应计算，即策略根据任务复杂度或不确定性动态决定所需的标记预算。