🤖 AI

X-Tokenizer: A Multimodal Action Tokenizer for Vision-Language-Action Pretraining

X-Tokenizer 是一种轻量级的多模态动作分词器，它通过采用非对称语义残差量化架构和对比预训练，将动作分词重新定义为一个语义接口学习任务，从而在视觉-语言推理与精确连续机器人控制之间架起桥梁，在模拟和现实世界的长程任务中表现显著优于现有方法。

原作者： Xirui Kang, Yanpei Shi, Lucy Liang, Roy Gan, Dongxiu Liu, Pushi Zhang, Danpeng Chen, Xiaoyi Qin, Yinan Zheng, Jinliang Zheng, Hao Wang, Xianyuan Zhan, Hang Su

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xirui Kang, Yanpei Shi, Lucy Liang, Roy Gan, Dongxiu Liu, Pushi Zhang, Danpeng Chen, Xiaoyi Qin, Yinan Zheng, Jinliang Zheng, Hao Wang, Xianyuan Zhan, Hang Su

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图教一个机器人如何泡一杯咖啡。你拥有一个极其聪明的“大脑”（一个视觉-语言模型/Vision-Language Model），它理解世界，知道什么是咖啡杯，也能读懂像“小心地倒咖啡”这样的指令。然而，这个大脑使用的是文字和概念（离散标记/tokens），而机器人的手臂和电机需要的是平滑且连续的运动（比如“向左移动 0.04mm，然后向上移动 0.02mm”）。

问题在于，这两种语言并不匹配。大脑的语言擅长推理，但对于直接控制电机来说又太“粗糙”了。

旧方法：“拉链式压缩” (The "Zipper")

以往的方法试图通过使用一个“分词器”（tokenizer，即翻译器）来解决这个问题，它仅仅是将机器人的动作压缩成一段简短的代码列表，就像拉上行李箱的拉链一样。

它是如何工作的： 它观察动作并判断：“好吧，这个动作看起来像是代码 #42，下一个看起来像代码 #99。”
缺陷所在： 这是一种纯粹的机械式压缩。它保留了动作的形状（因此机器人可以重现它），但它并没有教会机器人的大脑这个动作的含义。大脑只是在通过猜测随机代码来减少误差，而不是真正理解动作背后的意图。这就像是一个只会拉行李箱拉链、却不知道里面装了什么的翻译员。

新方法：X-Tokenizer（“智能翻译官”）

该论文的作者引入了 X-Tokenizer，他们将其描述为不仅仅是一个压缩器，而是一个语义接口（Semantic Interface）。你可以把它想象成一位既精通“机器人电机语言”，又精通“人类概念语言”的翻译官。

以下是它的工作原理，使用了一个创意类比：

1. 双层字典（语义残差量化 / Semantic Residual Quantization）

想象这位翻译官拥有一本特殊的字典，其中有两个截然不同的部分：

“大意”部分（顶层）： 这部分学习的是意图。如果机器人正伸手去拿杯子，这一部分会学习“抓取杯子”的代码。它被训练用来理解动作的“故事”。
“细节”部分（更深层）： 这部分处理的是细微差别。它学习在实际抓取杯子而不撞翻它时，所需的那些极其精准的微调。

该论文的创新之处在于对这两个部分进行了差异化处理。其“大意”部分被训练去理解动作的意义，而“细节”部分则仅仅专注于让动作看起来完美无瑕。这创造了一种共享语言，让机器人的大脑在担心物理细节之前，先理解目标。

2. 训练营（预训练 / Pretraining）

在机器人接触真实物体之前，X-Tokenizer 会通过 240 万次记录的机器人动作进行大规模的训练营。它学习了三项特定技能：

掩码动作建模 (MAM)： 想象在玩一个关于机器人动作的“填词游戏”（Mad Libs）。翻译官会被展示一段带有缺失部分的动作序列，然后必须根据上下文猜出缺失的那个“词”（动作意图）是什么。这迫使它学习动作的逻辑，而不仅仅是形状。
视觉-语言对齐： 翻译官会看到一段机器人运动的视频以及文字指令“拿起杯子”。它学习将机器人的运动代码直接与指令中的单词相匹配。它学会了“伸手”的代码在语义上与“伸手”这个词是相连的。
未来预测： 它观察当前的动作，并尝试预测下一秒机器人的“视觉”会是什么样子。这教会了翻译官去理解动作的后果，而不仅仅是动作本身。

3. 结果：一种共享语言

一旦训练完成，这些“额外”的训练工具就会被移除，留下一个轻量级的翻译器。当机器人投入使用时：

机器人的大脑（VLM）会预测“大意”代码（例如：“移动到杯子处”）。
因为这些代码经过训练能与大脑的语言相匹配，机器人的内部“想法”会变得与物理任务高度一致。
随后，连续的电机控制器会接收这些想法，并填充“细节”信息，以实现平滑的执行。

为什么这很重要（研究结果）

论文在真实机器人和模拟环境（如双臂机器人玩积木或插花）中测试了该技术。

更好的理解力： 机器人的大脑对任务指令的理解能力显著提升。在测试机器人根据语言指向物体时，准确率提升了 13.5%。
更长的任务： 机器人在处理长时、多步骤任务（如“摆放好花，然后打开灯”）方面表现得更好，性能提升了 8.25%。
鲁棒性： 即使机器人的动作带有轻微的噪声或抖动，X-Tokenizer 也能保持“大意”代码的稳定，而旧方法则会因此产生混乱并改变整个计划。

核心结论

X-Tokenizer 改变了翻译的角色。它不再仅仅是一个缩减数据的压缩工具，而是一个语义桥梁。它确保了当机器人的“大脑”思考一个动作时，它所思考的内容，其表达方式是其“身体”能够真正理解并执行的。这使得机器人变得更加聪明、更有能力，能够在现实世界中遵循复杂的指令。

技术摘要：X-Tokenizer

1. 问题陈述

现代视觉-语言-动作（VLA）模型旨在将预训练的视觉-语言推理能力与精确、连续的机器人控制相结合。该领域的一个根本挑战是表示失配（representation mismatch）：预训练的视觉-语言骨干网络运行在具有语义结构的离散表示之上，而机器人策略必须输出精确、连续的电机指令。

现有的解决方案通常采用动作分词器（action tokenizers）将连续的动作块（action chunks）映射为离散符号，以进行自回归预测。然而，现有的分词器（如 FAST、VQ-BeT）主要被设计为压缩模块。它们通过最小化重建误差来保留运动几何结构，但未能使其标记结构与任务语义、视觉上下文或语言调节的意图对齐。因此，在混合离散-连续的 VLA 系统中，离散动作标记预测损失仅作为一个辅助目标，微弱地监督骨干网络，将隐藏状态拉向几何编码模式而非与动作相关的多模态语义。这限制了模型将高层推理落地为可执行控制的能力。

2. 方法论：X-Tokenizer

作者提出了 X-Tokenizer，这是一个轻量级的动作分词器，其设计目标不仅是压缩，而是作为多模态推理与可执行控制之间的语义接口（semantic interface）。该架构由一个编码器（Encoder）、一个**语义残差量化（Semantic Residual Quantization, SRQ）**瓶颈和一个解码器（Decoder）组成。

核心架构

编码器（Encoder）： 将一个 $T$ 帧的动作块（具体为相对于本体感受锚点的增量动作）映射为 $M$ 个连续潜变量槽位（latent slots），使用的是类 Perceiver 网络。它结合了本体特征标记（embodiment tokens）以确保在不同机器人手臂间的鲁棒性。
语义残差量化（SRQ）： 这是核心创新点。不同于所有层级都为重建进行统一优化的标准残差向量量化（RVQ），SRQ 实施了一种非对称监督结构：
- 第 1 层（语义意图）： 顶层 RVQ 层通过**掩码动作建模（Masked Action Modeling, MAM）**进行训练。这迫使顶层离散编码形成一种连贯的“动作语言”，以捕捉粗粒度的运动意图（例如，“移动到杯子处”）。
- 深层（执行残差）： 第 $q > 1$ 层仅针对重建进行训练。它们负责保留细粒度的几何细节和执行残差，而不进行语义监督，充当对粗粒度意图的修正。
解码器（Decoder）： 从量化后的潜变量中重建完整的动作块长度。

预训练监督信号

为了确保离散标记与多模态语义对齐，X-Tokenizer 使用三个辅助头进行预训练（这些头仅在预训练期间使用，并在部署时移除）：

掩码动作建模（MAM）： 应用类似于 BERT 的目标函数处理顶层离散编码，要求模型从上下文中预测被掩码的标记。这建立了动作语言的句法规则性。
视觉-语言对比对齐： 将编码器的连续潜变量与源自冻结的 Qwen2.5-VL-7B 基础模型的融合视觉-语言特征进行对齐。这是通过在全局（轨迹级）和局部（槽位级）粒度上应用 InfoNCE 损失实现的，确保动作空间与 VLM 的表示空间共享一个流形。
下一帧视觉-语言特征预测： 一个小型预测器用于回归紧随动作块之后的帧的视觉-语言特征。这注入了一个前瞻性信号，迫使代码本（codebook）编码动作产生的即时物理后果。

下游集成

在下游 VLA 协同训练中，冻结的 X-Tokenizer 提供多层动作标记，作为共享 VLM 隐藏状态的自回归监督。一个连续的**流匹配（Flow Matching）**专家受这些隐藏状态调节，以回归可执行轨迹。在推理阶段，分词器被禁用；策略以单一前向连续流回归器的形式运行。

3. 核心贡献

语义接口的形式化： 本文将动作分词重新定义为从“压缩任务”到“语义接口学习”的转变，其中标记作为表示塑造的目标，连接高层推理与底层控制。
语义残差量化（SRQ）： 引入了一种非对称 RVQ 结构，明确分离了语义意图（第 1 层）与执行残差（深层），允许顶层捕捉任务语义，同时保留重建保真度。
多模态对齐： 证明了通过对比学习和下一帧预测，将动作标记与冻结的 VLM 表示空间对齐，可以显著提高多模态落地能力，且不会增加推理时的开销。
跨本体可扩展性： 在涵盖 17 种手臂家族 的 240 万条轨迹（20 亿个动作帧）上进行预训练，该分词器旨在成为跨多种机器人本体的可重用接口。

4. 实验结果

论文在仿真和真实世界设置下，将 X-Tokenizer 与 FAST、RDT2 VQ 和均匀量化等基线进行了对比评估。

多模态对齐：
- 统计/几何层面： 动作潜变量与视觉-语言特征占据共享流形，动作槽位与相应的视觉-语言上下文之间具有高度余弦相似度。
- 功能层面： 冻冻结的 VLM 特征可以成功驱动动作解码器，在动作方向上实现了极高的余弦相似度（0.85–0.95），证明这种对齐是功能性的，而非仅仅是几何上的。
代码本结构： SRQ 展示了清晰的分工。顶层（经 MAM 正则化）呈现出长尾分布（使用率为 76.4%），表明其具有语义“单词”的特征；而深层则被均匀使用（>93%）用于残差修正。
鲁棒性： X-Tokenizer 比 FAST 更具鲁棒性。由于 FAST 在噪声下会因 BPE 重分段导致序列长度变化，而 X-Tokenizer 则能保持顶层意图流，将噪声引起的编辑限制在低层残差编码中。
仿真环境（RoboTwin 2.0）：
- 在评估的所有接口中取得了最佳的综合性能。
- 在困难设置（Hard settings）下比 $\pi0.5$ 基线提升了 +8.25%。
- 在五种手臂类型联合训练时，展示了显著的跨本体迁移增益。
真实世界评估（7 项桌面任务）：
- 多模态落地： 与 FAST 相比，VQA 准确率提升了 +13.5%（75.7% $\to$ 85.9%）。
- 长程任务： 性能提升了 +8.25%（61.0% $\to$ 69.25%）。
- 总体： 在所有任务中实现了 77.4% 的平均进度率（Progress Rate, PR），优于仅基于重建的分词器以及原始的连续流头。

5. 重要性与主张

本文主张，动作分词器可以作为 VLA 预训练的可重用语义接口，而不仅仅是内部的动作压缩模块。

超越压缩： 结果表明，分词器在 VLA 中的主要价值不仅在于降低维度，还在于塑造 VLM 背景的隐藏状态，使其在语义上与可执行动作对齐。
关注点分离： SRQ 设计成功地将语义意图与几何细节解耦，允许 VLM 专注于“做什么”，而让连续专家处理“如何精确地做”。
高效性： 语义监督仅在预训练期间应用。部署系统保持轻量化，在推理时不会产生额外的视觉特征提取或动力学展开成本。
泛化性： 将与 7B 参数 VLM 对齐的分词器迁移到 3B 参数策略骨干网络的能力表明，所学习的接口是鲁棒的，且不依赖于特定的模型规模。

作者总结道，上下文引导的压缩（即分词策略与消费该数据的多模态模型显式对齐）是改进具身基础模型的一个关键方向。