🤖 AI

ActionCodec: What Makes for Good Action Tokenizers

本文针对视觉 - 语言 - 动作（VLA）模型中动作分词器设计缺乏优化导向的问题，提出了基于信息论的设计原则并开发了高性能的 ActionCodec 分词器，显著提升了 VLA 模型的训练效率与任务表现，在无机器人预训练条件下刷新了 SOTA 记录。

原作者： Zibin Dong, Yicheng Liu, Shiduo Zhang, Baijun Ye, Yifu Yuan, Fei Ni, Jingjing Gong, Xipeng Qiu, Hang Zhao, Yinchuan Li, Jianye Hao

发布于 2026-02-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zibin Dong, Yicheng Liu, Shiduo Zhang, Baijun Ye, Yifu Yuan, Fei Ni, Jingjing Gong, Xipeng Qiu, Hang Zhao, Yinchuan Li, Jianye Hao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文主要解决了一个机器人领域的核心难题：如何让机器人像人类一样，通过“看”和“听”指令，迅速学会“做”动作？

为了让你更容易理解，我们可以把这篇论文的核心思想想象成教一个机器人学跳舞。

1. 核心问题：教机器人跳舞的“乐谱”太乱

现在的机器人（VLA 模型）通常很聪明，能看懂图片（视觉）和听懂指令（语言）。但是，当它要执行动作（比如“拿起杯子”）时，它需要把连续的动作（手臂怎么动、动多快）变成计算机能理解的“代码”。

以前的方法就像是在教机器人跳舞时，给它的乐谱非常糟糕：

方法 A（直接量化）： 把动作切成无数个小格子，像填色游戏一样。这导致乐谱太长，机器人学得很慢，而且容易记混。
方法 B（字符串）： 把动作写成文字描述（如“向左 0.5 米”）。这就像让机器人一边跳舞一边写日记，太慢了，根本跟不上节奏。
方法 C（现有的压缩法）： 虽然把动作压缩成了简短的代码，但这些代码不稳定。就像乐谱上的同一个音符，有时候代表“抬左手”，有时候代表“抬右手”，机器人看得很晕，学得很吃力。

论文的核心发现是： 以前大家只关注“把动作还原得准不准”（乐谱写得对不对），却忽略了“这个乐谱好不好教机器人学”（训练效率）。

2. 解决方案：ActionCodec —— 给机器人写一本“完美乐谱”

作者提出了一种叫 ActionCodec 的新方法，它就像是为机器人重新编写了一套超级高效的乐谱系统。为了让这套系统最好用，作者总结了四个“黄金法则”：

🎵 法则一：动作要“连贯”，不要“跳变”

比喻： 想象你在教机器人走路。如果它迈出的每一步，前一步和后一步的代码都完全不同，机器人就会像喝醉了一样摇摇晃晃。
ActionCodec 的做法： 它确保相邻的动作在代码上高度相似（重叠率高）。就像乐谱里的音符是平滑过渡的，机器人能感觉到“哦，这是刚才那个动作的延续”，从而学得更快、更稳。

🎵 法则二：词汇表要“精简”，不要“冗余”

比喻： 如果教机器人说话，你给它一本包含 10 万个生僻字的字典，它反而学不会。它只需要最常用的 2000 个字就能表达清楚。
ActionCodec 的做法： 它大大减少了动作代码的总数（词汇量），去掉了那些重复、无用的“噪音”。这让机器人的大脑（模型）更容易记住核心动作，而不是被细枝末节搞晕。

🎵 法则三：动作要“独立”，不要“过度依赖”

比喻： 以前有些方法让机器人必须按顺序死记硬背：“先做 A，再做 B，再做 C"。如果第一步 A 做错了，后面全崩了（就像多米诺骨牌）。
ActionCodec 的做法： 它让每个动作代码相对独立。就像机器人可以独立判断“现在该伸手”，而不需要死死盯着上一秒的动作。这样即使中间有点小失误，它也能立刻根据眼前的画面（视觉）和指令（语言）自我纠正，不会“幻觉”乱动。

🎵 法则四：动作要“懂眼色”（多模态对齐）

比喻： 机器人不能只背乐谱，还得看指挥的手势。
ActionCodec 的做法： 它在训练时，强迫动作代码和看到的图片、听到的指令紧密挂钩。确保机器人看到“杯子”和听到“拿杯子”时，生成的动作代码是精准对应的，而不是在瞎猜。

3. 惊人的效果：小白也能变大师

作者用这套“完美乐谱”去训练一个没有经过任何机器人专业训练的通用大模型（SmolVLM2-2.2B）。

结果： 这个“小白”模型在著名的机器人测试（LIBERO）中，成功率达到了 95.5%！
对比： 这比很多专门训练过、用了更复杂架构的机器人模型还要强。而且，它学得非常快，以前需要练很久才能学会的动作，它现在练几小时就学会了。
进阶版： 如果再加一点点“微调”（就像给乐谱加个高级混音），成功率甚至能冲到 97.4%，刷新了世界纪录。

4. 总结：为什么这很重要？

这就好比以前我们教机器人，是给它一本晦涩难懂、充满错别字的古文，它学得慢还容易走火入魔。
而 ActionCodec 则是给机器人写了一本朗朗上口、逻辑清晰、甚至带有韵律的现代诗。

它的意义在于：

效率极高： 不需要昂贵的超级计算机和海量数据，普通模型也能快速学会复杂的机器人动作。
通用性强： 这套“乐谱”可以移植到不同的机器人身上（比如从机械臂换到轮式机器人），就像同一首曲子可以用钢琴、吉他或小提琴演奏一样。
未来可期： 它为未来开发更聪明的通用机器人（Physical Intelligence）指明了一条清晰的路：不要只追求动作还原得有多像，要追求动作代码好不好教。

简单来说，ActionCodec 就是让机器人从“死记硬背”变成了“举一反三”的关键钥匙。

ActionCodec 技术总结

1. 研究背景与问题 (Problem)

背景：
视觉 - 语言 - 动作（VLA）模型通过利用预训练视觉 - 语言模型（VLM）的自回归范式，在指令遵循和训练效率上展现了巨大潜力。在这一范式中，将连续的动作空间离散化为动作 Token（Action Tokenization）是核心环节。

现有问题：
当前的动作 Tokenizer 设计主要关注重建保真度（Reconstruction Fidelity，即重建误差），而忽视了 Tokenizer 设计对 VLA 模型优化过程（Optimization Dynamics）的直接影响。

现有方法分类： 包括启发式方法（如均匀分箱）、半数据驱动方法（如频域 BPE）和数据驱动方法（如基于向量量化 VQ 的方法）。
核心矛盾： 尽管基于 VQ 的方法理论上更优，但在实际机器人任务中往往表现不如简单的启发式方案。
根本原因： 缺乏从 VLA 训练动态角度出发的设计原则。现有的评估指标（如重建误差）无法直接反映 Tokenizer 对 VLA 收敛速度、过拟合风险及指令遵循能力的影响。

核心问题： 什么样的动作 Tokenizer 设计才能真正优化 VLA 模型的性能？

2. 方法论 (Methodology)

作者从信息论和表示学习的角度重新审视了动作 Tokenization，提出了ActionCodec，并确立了四大设计原则。

2.1 理论框架：从 VLA 优化视角分析

作者将 VLA 的训练目标分解为模型拟合和监督信号优化。通过分析条件熵 $H(C|V, L)$ ，提出了四个关键指标：

最大化时间 Token 重叠率 (Maximized Temporal Token Overlap)： 相邻动作片段（Chunks）之间的 Token 序列应保持高度一致。这能减少由传感器噪声引起的 Token 空间随机跳变（Artifact Entropy），提供稳定的监督信号，加速收敛。
最小化词汇表冗余 (Minimized Vocabulary Redundancy)： 在满足重建需求的前提下，减少 Token 预算（ $n$ ）和词汇表大小（ $S$ ）。过大的容量会导致模型拟合高频噪声和虚假相关性，增加过拟合风险。
增强多模态互信息 (Enhanced Multimodal Mutual Information)： 增强 Token 与视觉 - 语言上下文（ $V, L$ ）的直接关联，减少模型对自回归历史（Residual Grammar）的过度依赖，确保模型关注环境反馈而非时间先验。
Token 独立性 (Token Independence)： 动作 Token 之间应尽可能解耦。实验表明，依赖历史 Token 的自注意力机制（Self-Attention）会导致误差传播和“时间幻觉”，而独立 Token 对多模态输入更敏感且鲁棒。

2.2 ActionCodec 架构设计

基于上述原则，ActionCodec 采用了以下具体技术：

骨干网络： 采用类似 Perceiver 的 Transformer 架构，利用交叉注意力机制确保 Token 的独立性。
训练目标： 结合向量量化（VQ）损失、时间对比学习 (TCL) 和 CLIP 式跨模态损失。TCL 和 CLIP 损失用于最大化相邻动作片段的 Token 重叠率，并增强 Token 与视觉/语言指令的对齐。
Embodiment-specific Soft Prompts： 引入可学习的软提示（Soft Prompts）来区分不同的机器人本体（Embodiment），实现跨平台知识的迁移和零样本动作重定向。
RVQ 后训练 (RVQ Post-training)： 为了解决高分辨率重建与高重叠率之间的权衡，采用两阶段策略：
1. 先训练单层 VQ 模型以最大化重叠率和感知对齐。
2. 冻结编码器和主码本，仅训练残差码本（Residual Codebooks）以进一步降低重建误差。这在不破坏 VLA 训练稳定性的前提下提升了动作精度。

3. 主要贡献 (Key Contributions)

建立了 VLA 动作 Tokenization 的优化分析框架： 首次从 VLA 训练动态（而非单纯的重建误差）角度，系统性地定义了优秀 Tokenizer 的设计原则（重叠率、容量、互信息、独立性）。
提出了 ActionCodec： 一个高性能的动作 Tokenizer，集成了上述最佳实践。它在无需额外架构修改的情况下，显著提升了 VLA 的训练效率和最终性能。
实现了 SOTA 性能： 在多个仿真和真实世界基准测试中，ActionCodec 取得了最佳表现。特别是基于 SmolVLM2-2.2B 的模型，在无机器人预训练的情况下，在 LIBERO 基准上达到了 95.5% 的成功率（进阶版 97.4%），刷新了该领域的记录。
开源与生态建设： 提供了基于不同架构（SmolVLM, Qwen, InternVL）的完整模型套件，为社区提供了开发下一代物理智能的清晰路线图。

4. 实验结果 (Results)

4.1 仿真基准测试 (LIBERO)

训练效率： ActionCodec 在 5000 步训练内即可达到 89.5% 的成功率，而次优的 FAST 方法仅达到 38.6%。
最终性能： 在 LIBERO-Goal 任务中，ActionCodec (2.2B) 达到 95.5% 平均成功率；结合 BAR（块状自回归）架构后达到 97.4%，超越了多个经过专门机器人预训练的模型（如 OpenVLA-OFT, $\pi_0.5$ ）。
消融实验：
- 重叠率 (OR)： 70% 的 OR 显著优于 26% 和 40%，收敛更快且更稳定。
- Token 预算： $n=16, S=2048$ 是最佳平衡点，过大导致过拟合，过小导致重建失败。
- 独立性： 独立 Token 方案优于自注意力（SA）和因果掩码（Causal）方案，后者容易因早期错误导致后续动作幻觉。

4.2 真实世界机器人测试

SO100-ShapeSorter (低成本平台)： 在形状分类任务中，结合多数据集协同训练（Co-training）的 ActionCodec 能够成功执行复杂的“恢复行为”（如插入失败后的重新调整），而仅针对单一任务训练的模型则无法做到。
xArm-PickVeg (高性能平台)： 在蔬菜抓取任务中，利用大规模异构数据预训练的 ActionCodec (w/ PT) 成功率为 82.5%，显著优于随机初始化版本 (74.1%) 和其他基线模型，证明了其强大的跨平台知识迁移能力。

4.3 效率指标

吞吐量与延迟： ActionCodec 在保持高任务成功率的同时，实现了 22.0 actions/s 的高吞吐量，远低于分箱（Binning）和字符串（String）方法的延迟，满足实时闭环控制需求。

5. 意义与影响 (Significance)

范式转变： 论文将动作 Tokenizer 的设计重心从“重建质量”转移到了“优化动态”，为 VLA 模型的设计提供了新的理论依据。
打破预训练依赖： 证明了通过高质量的 Tokenization 设计，即使是较小的 VLM（如 2.2B 参数）也能在没有特定机器人预训练的情况下，达到甚至超越大型预训练模型的性能。这降低了通用物理智能的门槛。
通用性与可扩展性： ActionCodec 的架构设计（如 Soft Prompts 和 RVQ 后训练）使其能够轻松适配不同的机器人本体和任务场景，为构建大规模、多模态的机器人基础模型提供了可扩展的解决方案。
社区资源： 作者开源了模型和代码，为后续研究提供了坚实的基线和清晰的改进方向。

总结： ActionCodec 通过深入分析 VLA 训练过程中的信息流，提出了一套基于信息论原则的动作 Tokenization 设计方法，成功解决了现有方法在训练效率和泛化能力上的瓶颈，推动了通用机器人智能的发展。