🤖 machine learning

The Compression Gap: Why Discrete Tokenization Limits Vision-Language-Action Model Scaling

该论文通过信息论视角揭示了“压缩差距”原理，指出在视觉 - 语言 - 动作（VLA）模型中，若动作被离散化为固定容量的码本，升级视觉编码器将无法提升性能，因为码本成为了信息瓶颈，而连续动作表示（如扩散策略）则能随编码器升级而持续受益。

原作者： Takuya Shiba

发布于 2026-04-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Takuya Shiba

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个机器人学习领域非常有趣且反直觉的现象：为什么给机器人换上更“聪明”的眼睛（更好的视觉模型），有时候并不能让它手更灵活？

作者把这种现象称为**“压缩鸿沟”（Compression Gap）**。

为了让你轻松理解，我们可以把机器人完成任务的过程想象成**“通过一条水管传递信息”**。

1. 核心比喻：信息传递的“水管”

想象一下，机器人要完成一个任务（比如把杯子放到桌子上），它需要经历三个步骤：

看（视觉编码器）： 用摄像头看世界，把图像变成数据。
想（中间处理）： 理解看到了什么。
做（动作输出）： 决定手怎么动。

这篇论文发现，瓶颈（最细的地方）在哪里，决定了升级“眼睛”有没有用。

2. 两种不同的“水管”设计

论文对比了两种让机器人“思考并行动”的方法：

方法 A：连续流（Diffusion Policy）—— 像“宽水管”

原理： 机器人把看到的画面直接变成连续的数据流，像水流一样顺畅地流向手臂。
瓶颈在哪里？ 瓶颈在**“眼睛”**本身。如果眼睛看得不够清楚（比如用的是老式摄像头 ResNet），水流就细；如果换上高清摄像头（比如 SigLIP），水流瞬间变宽，手臂动作立刻变得更精准。
结果： 换好眼睛，动作立马变强。 就像给汽车换了更好的引擎，车速自然提升。

方法 B：离散化（OAT）—— 像“带滤网的窄水管”

原理： 机器人先把看到的画面，强行压缩成有限的几个“单词”或“代码”（比如把复杂的动作变成一串数字代码：1, 5, 3, 9...）。这就像把一大桶水强行倒进一个只有几个小孔的滤网里。
瓶颈在哪里？ 瓶颈不在眼睛，而在**“滤网”（代码本/Codebook）**。
- 这个滤网的大小是固定的（比如只能装下 80 位的信息）。
- 无论你换多好的眼睛（哪怕是用超级计算机级别的视觉模型），倒进来的水再多，能穿过滤网的水量永远被限制在 80 位。
- 多出来的信息直接被“挤”掉了。
结果： 换好眼睛，动作几乎没变化。 就像你给一个只有小孔的漏斗倒进一吨水，流出来的还是那一小杯水。

3. 论文做了什么实验？（简单的故事版）

作者设计了一个“大比拼”，测试了不同组合：

换眼睛实验：
- 给“宽水管”机器人（方法 A）换了好眼睛：成绩从 36% 飙升到 57%（提升巨大！）。
- 给“窄水管”机器人（方法 B）换了好眼睛：成绩从 53% 只涨到 57%（提升微乎其微）。
- 结论： 在“窄水管”里，好眼睛的信息被滤网挡住了，根本传不到手上。
换滤网实验（关键证据）：
- 作者把“窄水管”的滤网孔变大（增加代码容量）。
- 奇迹发生了：一旦滤网变大，好眼睛的优势就重新显现了！
- 结论： 这证明了之前的“没效果”不是因为好眼睛没用，纯粹是因为滤网太小，把信息堵死了。

4. 这个发现意味着什么？

这就好比我们在修路：

如果你把**高速公路（视觉编码器）修得再宽、再快，但收费站（动作离散化）**只有一个窗口，那么车流依然会堵死在收费站，修宽高速毫无意义。
以前的误区： 大家以为只要把机器人的“眼睛”和“大脑”越做越大，机器人就会越来越强。
现在的真相： 如果机器人的“手脚”（动作输出）被限制在死板的“代码”里，那么再好的视觉模型也是浪费。

5. 给未来的启示

这篇论文告诉我们要想造出更聪明的机器人（Physical AI）：

不要盲目堆料： 不是单纯加大模型参数或数据量就能解决问题。
找准瓶颈： 必须检查信息传递的链条上，哪里是那个“最细的管子”。
未来的方向：
- 要么放弃把动作强行变成“单词”，改用更流畅的“连续动作”（像水流一样）。
- 要么把“滤网”做得足够大，或者设计一种能动态调整大小的滤网，让好眼睛的信息能真正流到手上。

一句话总结：
在机器人世界里，如果动作被“压缩”得太厉害，再好的眼睛也白搭；只有打通了信息传递的“最后一公里”，升级视觉模型才能真正让机器人变强。

1. 研究背景与问题 (Problem)

在视觉 - 语言 - 动作（VLA）模型的扩展（Scaling）研究中，一个核心假设是：升级视觉编码器（Vision Encoder）的质量（例如从 ResNet 升级到 SigLIP）应当能直接提升下游机器人操作任务的性能。这一假设在纯视觉 - 语言模型中已被广泛验证。

然而，本文提出了一个反直觉的发现：当动作被表示为离散 Token（Discrete Tokens）时，升级视觉编码器带来的收益会大幅衰减甚至消失。

核心矛盾：在连续动作表示（如 Diffusion Policy）中，视觉编码器的升级能显著提升性能；但在离散动作表示（如 OAT）中，同样的升级却效果甚微。
研究问题：为什么离散 Tokenization 会阻碍上游视觉表征的改进传递到下游动作策略？这种“扩展差距”的根本原因是什么？

2. 核心概念：压缩差距 (The Compression Gap)

作者提出了**“压缩差距” (Compression Gap)** 这一概念，基于信息瓶颈理论（Information Bottleneck Theory）来解释这一现象。

信息流路径： $O \rightarrow Z \rightarrow A$ （观察 $\rightarrow$ 表征 $\rightarrow$ 动作）。
数据处理不等式： $I(O; A) \le \min(I(O; Z), I(Z; A))$ 。端到端的信息流受限于路径中最紧的瓶颈。
两种路径的瓶颈差异：
1. 连续路径 (Continuous Pathway, e.g., Diffusion Policy)：
  - 动作在连续空间中生成，没有硬性的离散量化限制。
  - 瓶颈位置：通常在视觉编码器本身 ( $I(O; Z)$ )。
  - 结果：升级编码器直接拓宽了信息通道，性能提升能端到端传递。
2. 离散路径 (Discrete Pathway, e.g., OAT)：
  - 动作通过固定容量的码本（Codebook）进行量化（如 FSQ）。
  - 瓶颈位置：离散 Tokenizer 的码本容量 ( $I(Z; T) \le \log_2 |V|^{H_l}$ )。
  - 结果：无论视觉编码器多么强大，信息流都被限制在码本的比特数内（例如 OAT 默认约为 80 bits）。如果码本已饱和，上游编码器的改进会被量化阶段“丢弃”，无法传递到动作执行层。

3. 方法论 (Methodology)

为了验证这一假设，作者在 LIBERO-10 基准上设计了一系列受控实验，主要采用因子实验设计 (Factorial Experiment)。

3.1 实验变量

动作表示 (Action Representation)：
- 离散组：OAT (Ordered Action Tokenization)，使用有限标量量化 (FSQ)，默认码本大小 $|V|=1000$ ，潜变量长度 $H_l=8$ 。
- 连续组：Diffusion Policy (DP)，在连续空间进行去噪生成。
- 控制：两者共享相同的策略骨干网络（Transformer），确保差异仅来自动作表示。
视觉编码器 (Vision Encoder)：
- 弱编码器：ResNet-18 (64 维特征)。
- 强编码器：SigLIP (1152 维语义特征)。
- 扩展实验：引入 DINOv2 和 SigLIP 2，构建编码器质量梯度。
模型规模 (Model Size)：
- M 型：4 层 Transformer，Embedding 256。
- L 型：6 层 Transformer，Embedding 384。
- 目的：排除策略网络容量不足导致的性能瓶颈。

3.2 补充实验

编码器质量梯度：测试不同质量编码器在 M 规模下的表现，观察性能是否随编码器质量单调变化。
码本大小消融实验：改变 OAT 的 FSQ 码本容量（ $|V|=1000, 1920, 4375$ ），观察放宽离散瓶颈后，OAT 对编码器升级的敏感度是否恢复。

4. 关键结果 (Key Results)

4.1 视觉编码器敏感度 (Vision Encoder Sensitivity)

Diffusion Policy (连续)：
- 从 ResNet-18 升级到 SigLIP，M 规模下成功率从 36.4% 提升至 57.6% (+21.2%)，L 规模下从 44.0% 提升至 70.0% (+26.0%)。
- 结论：编码器升级带来显著收益，瓶颈确实在编码器。
OAT (离散)：
- 同样升级下，M 规模仅从 53.8% 提升至 57.4% (+3.6%)，L 规模从 48.0% 提升至 58.4% (+10.4%)。
- 结论：收益被大幅衰减。即使模型规模扩大，离散路径也无法充分利用更强的视觉输入。

4.2 编码器质量梯度 (Encoder Quality Gradient)

DP：成功率随编码器质量提升呈单调递增趋势（ResNet < SigLIP < SigLIP 2 < DINOv2）。
OAT：成功率在 50%-58% 之间波动，无系统性趋势。即使使用最强的 DINOv2，OAT 也无法超越其基准表现，甚至不如中等编码器。
交叉点：在弱编码器下，OAT 优于 DP（结构化 Token 补偿了感知不足）；在强编码器下，DP 反超 OAT（连续路径能利用丰富信息）。

4.3 码本大小实验 (Codebook Size) - 因果证据

当增加 OAT 的码本容量（从 1000 增加到 1920 和 4375）时：
- 在 $|V|=1920$ 时，SigLIP 保持高性能，而 ResNet 性能大幅下降（暴露了 ResNet 信息量不足的本质）。
- 结论：放宽离散瓶颈后，OAT 对编码器质量的敏感度部分恢复。这提供了因果证据，证明之前的“不敏感”确实是由码本容量限制（压缩瓶颈）造成的，而非 OAT 算法本身的缺陷。

5. 主要贡献 (Key Contributions)

发现“压缩差距”：首次系统性地揭示了在 VLA 模型中，动作表示的选择（离散 vs 连续）决定了视觉编码器升级是否有效。
理论解释：基于信息瓶颈理论，证明了固定容量的离散码本（Codebook）是比视觉编码器更紧的约束，阻断了上游信息的传递。
实证验证：通过 LIBERO 基准上的多组实验（因子设计、质量梯度、码本消融），提供了强有力的证据支持上述理论。
重新定义扩展策略：指出 Physical AI 的扩展不能仅靠增加数据或模型参数，必须识别并消除流水线中的信息瓶颈。

6. 意义与启示 (Significance)

对机器人学习的启示：
- 如果目标是利用强大的视觉基础模型（Foundation Models），连续动作表示（如 Diffusion Policy）可能是更好的选择，因为它们能端到端地利用视觉信息的提升。
- 离散 Tokenization 虽然有利于与 LLM 对齐和推理，但在需要高精度感知和操作的场景下，其固定的码本容量可能成为扩展的天花板。
对架构设计的指导：
- 未来的架构应关注瓶颈位置。如果必须使用离散表示，需要动态调整码本容量或采用混合架构（Discrete Reasoning + Continuous Action Decoding）。
- 现有的视觉编码器（如 SigLIP, DINOv2）主要是为语义理解或自监督学习设计的，可能并未捕捉到机器人操作所需的接触几何和动力学信息。未来可能需要专门针对物理交互优化的视觉编码器。
通用性：这一现象不仅限于机器人，可能也适用于其他涉及“有损压缩”阶段的模态扩展任务（如 Tong et al. [2026] 中提到的 VAE 潜变量饱和现象）。

总结

这篇论文通过严谨的实验和理论分析，打破了“升级视觉编码器必然提升机器人性能”的迷思，指出了**离散 Tokenization 带来的“压缩差距”**是限制 VLA 模型扩展的关键因素。它呼吁研究者在设计 Physical AI 系统时，应优先识别并解决信息流中的瓶颈，而非盲目堆砌模型规模。