🤖 machine learning

QuantWAMs: Calibrating at the Right Granularity for World Action Models

QuantWAMs 是一个后训练量化框架，它通过三种新颖策略将量化决策与世界动作模型（World Action Models）的特定校准上下文相对齐，从而实现高效的 W4A4 部署，并在模拟基准测试和真实机器人操控任务中均保持极低的性能下降。

原作者： Jiacheng Zhou, Jinfan Lv, Ruixuan Li, Longtai Zhang, Yan Wang, Wenqiang Zhang, Lizhe Qi

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiacheng Zhou, Jinfan Lv, Ruixuan Li, Longtai Zhang, Yan Wang, Wenqiang Zhang, Lizhe Qi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人如何做饭或搭建积木塔。为了做到这一点，机器人不仅仅是看一张图片然后进行猜测；它使用的是一个“世界动作模型”（World Action Model）。把这个模型想象成一个超级聪明、充满未来感的电影导演。它观察当前的场景，预测接下来会发生什么，并同时决定机器人的手臂应该如何运动以实现那个未来。这是一个闭环：机器人移动，世界随之改变，机器人看到变化，然后决定下一步动作。这非常强大，但同时也像是在一台微小的、电池供电的计算器上运行一部大片。预测未来和移动手臂所需的数学运算量如此巨大，以至于通常需要庞大且昂贵的计算机。

为了让这些机器人走进我们的家庭和工厂，科学家们希望将这些巨大的计算机大脑缩小到可以装进更小的芯片中。他们使用一种叫做“量化”（quantization）的技术来实现这一点，这就像是将一部高清电影压缩成较小的文件格式。你用极小的画质损失换取了巨大的速度和存储增益。然而，传统的压缩方法是为静态图像或简单的文本设计的，而不是为那个不断移动并对世界做出反应的机器人设计的。如果你用旧的规则去压缩机器人的大脑，它可能会开始产生幻觉、忘记如何握住杯子，或者撞上墙壁，因为这种“压缩”破坏了其决策循环中微妙的平衡。

这就是新的论文 QuantWAMs 所要解决的问题。研究人员意识到，要缩小机器人的大脑而不使其损坏，你不能只使用一种“一刀切”的压缩工具。你必须根据机器人世界的特定“氛围”来校准压缩。他们发现标准的方法犯了三个大错误：它们孤立地看待机器人的大脑（忽略了动作如何改变世界），它们将大脑的所有部分视为同等对待（忽略了视频部分和动作部分的不同），以及它们使用了错误的类型数据来决定哪些部分需要缩小。

团队提出了一种名为 QuantWAMs 的新方法，通过将机器人的大脑视为一个复杂的管弦乐队，而非单一的乐器来修复这些错误。以下是他们的做法：

首先，他们意识到机器人的大脑中有些部分是“坐标兼容”的，这意味着它们说着相同的语言并可以共享信息，而有些部分则完全不同。想象一个合唱团，女高音和男高音可以共享一份乐谱，但鼓手需要自己的乐谱。旧的方法试图给每个人都发同样的乐谱，从而导致混乱。QuantWAMs 通过仔细分组仅那些兼容的部分来共享它们的“离群值”数据（即那些难以压缩的、响亮的怪异音符），确保压缩不会扭曲每个声部独特的嗓音。

其次，他们改变了决定哪些部分的大脑保持高质量、哪些部分可以被压缩的方式。他们不再分别评估视频部分和动作部分，而是观察它们如何协同工作。这就像评判一对舞伴：你不仅要单独评价舞者的脚步和搭档的托举，还要评价他们如何同步移动。通过分析“联合”梯度（视频与动作的结合努力），他们能够精准定位大脑中哪些层对于机器人的成功最为关键，并保护这些层具有更高的精度，同时安全地压缩其余部分。

第三，也是最重要的一点，他们停止了在“虚假”世界中测试压缩后的大脑。标准方法是在静态图像集上测试机器人，就像在封闭赛道上的驾驶测试。但现实中的机器人始终是在颠簸的道路上行驶，每一次转弯都会改变下一个画面。作者创建了一个“固定干预审计”（fixed-intervention audit）。他们提取了机器人真实的、全精度的动作，暂停动作，然后问道：“如果我们在此刻使用压缩后的大脑，机器人能否恢复正常？”这使得他们能够动态地调整保护计划，确保即使在世界变得混乱时，机器人也能保持安全。

这项新方法的成果令人印象深刻，尽管作者谨慎地指出这些结果是基于模拟和特定的现实世界试验。当他们在两个不同的机器人模型（Fast-WAM 和 LingBot-VA）上使用非常激进的压缩设置（W4A4，意味着权重和激活均为 4 位精度）进行测试时，机器人的性能几乎没有下降。在 RoboTwin 2.0 的任务中，压缩后的机器人成功率为 91.7%，而原始版本的成功率为 91.9%，差距仅为 0.2 到 0.7 个百分点。

更重要的是，这种压缩带来了巨大的收益。机器人视频块和动作块所需的内存降至原始版本的约 29%。这使机器人做出决策的速度提高了 1.4 到 1.6 倍。他们甚至使用 AgiBot G2 机器人将压缩后的机器人带到现实世界，执行捡苹果、堆叠积木和折叠毛巾等任务。在这些现实世界试验中，压缩后的机器人成功完成了 30 次尝试中的 17 次，而全精度版本为 30 次中的 19 次，证明了压缩后的大脑确实可以在物理环境中运行。

论文表明，通过尊重机器人学习独特的闭环性质——即动作改变世界，而世界改变下一个动作——我们终于可以使这些强大的 AI 模型变得足够小，以便运行在未来出现在我们日常生活中的机器人上。这并不是一个能瞬间解决一切的灵丹妙药，但它是让机器人大脑既聪明又精巧迈出的关键一步。

技术摘要：QuantWAMs

问题陈述

世界动作模型（World Action Models, WAMs）通过联合预测未来观测与实现这些观测所需的动作，为通用机器人操控提供了一种极具前景的范式。然而，由于迭代去噪和闭环执行带来的高昂计算成本（即生成的每一个动作都会改变后续预测的观测结果），其在真实世界机器人上的部署受到了阻碍。

现有的后训练量化（Post-Training Quantization, PTQ）方法并不适用于 WAMs，主要存在三个根本性的不匹配：

目标不匹配：标准 PTQ 优化的是开环目标（例如，困惑度、单图像重建），其中前向传播是独立评分的。而 WAMs 在闭环中运行，早期的量化误差会通过状态转移进行传播并累积。
结构不匹配：标准方法通常假设同质的 Transformer 架构。WAMs 则经常采用耦合路径（例如，双流混合专家模型或共享骨干设计），计算分布在异构流中。
分布不匹配：标准 PTQ 中的校准分布通常在闭环设置中无法触达的状态上进行敏感性分析，从而导致“幻觉”去噪步峰值，误导精度预算的分配。

方法论：QuantWAMs

QuantWAMs 是一个旨在使量化决策与 WAMs 的特定校准上下文（由模型结构、展开分布和任务目标定义）保持一致的 PTQ 框架。它引入了三个核心策略：

1. 共享基底离群值校准 (Shared-Basis Outlier Calibration)

标准的离群值保留通常会在所有模块中无差别地汇集激活统计量。QuantWAMs 则将汇集限制在坐标兼容的模块中。

机制：它仅在共享共同有序基底的模块之间（例如，Fast-WAM 中的共享值路径或 LingBot-VA 中的共享输入列）汇集激活证据。
理论基础：该方法将通道统计量建模为跨成员异质性 ( $\tau^2_c$ ) 与成员内采样变异 ( $\sigma^2_c$ ) 的混合。它推导出了一个“汇集交叉点” ( $N^*$ )，用于确定何时通过跨模块汇集数据比进行单上下文估计能降低估计风险。
结果：这防止了在校准轨迹数量 ( $N$ ) 较少时，因采样噪声导致的极不稳定掩码，同时保留了关键离群通道的能量。

2. 协同训练目标显著性 (Co-Training-Objective Saliency)

QuantWAMs 不是基于单一流进行评分或在事后融合梯度，而是利用联合视频-动作梯度来分配权重精度。

机制：它计算预训练 WAM 组合损失 ( $\ell_{co} = \lambda_v \ell_v + \lambda_a \ell_a$ ) 的经验 Fisher 分数。
差异化：不同于在求外积后结合边际目标的“事后融合”，该方法保留了联合梯度中存在的坐标化交互项 ( $\Xi_L$ )。
粒度：精度分配是在层粒度（而非元素或列粒度）进行的，以确保校准稳定性。基于这些联合得分，前 20% 的候选线性层会被升级到更高精度（如 W8）。

3. 固定干预展开审计 (Fixed-Intervention Rollout Auditing)

为了应对 WAMs 的闭环特性，该方法使用可达闭环状态来修订去噪步保护计划。

机制：它对记录的 FP16 展开过程进行“固定干预”审计。对于轨迹中的每个状态，它在不受保护（低精度）的干预下重放该步骤，以测量其相对于 FP16 基准的局部差异 ( $\ell_t$ )。
优势：这避免了观测剖面的“自我掩蔽”问题（即受保护的步骤看起来不敏感，因为保护措施正在生效）以及合成输入的“不可达状态”问题。
应用：该剖面用于审计并用新的集合 $T_{replay}$ 替换原有的受保护去噪步集合 $T_q$ ，从而更好地反映实际闭环轨迹上的敏感性，且不改变总精度预算。

核心贡献

上下文感知公式化：论文围绕决定部署时精度决策的三个特定上下文（结构、分布和目标）对 WAMs 的 PTQ 进行了公式化。
理论推导：推导了何时可以跨模块汇集激活证据的条件（受样本异质性和轨迹数量控制），并刻画了用于 Top-K 掩码恢复的样本异质性交叉点。
联合梯度显著性与审计：提出了一种在校准稳定的层粒度下联合对视频-动作梯度进行评分的方法，并利用真实展开过程上的固定干预重放来修订去噪步计划。

实验结果

该框架在 RoboTwin 2.0、LIBERO 以及使用 AgiBot G2 的真实机器人操控任务上，针对两种 WAM 实现（Fast-WAM 和 LingBot-VA）进行了评估。

仿真性能：在主导的 W4A4（4-bit 权重，4-bit 激活）设置下，QuantWAMs 实现的仿真成功率与 FP16 仅相差 0.2–0.7 个百分点。
- 在 Fast-WAM (RoboTwin 2.0) 上：91.7% vs. 91.9% (FP16)。
- 在 LingBot-VA (LIBERO-Long) 上：98.0% vs. 98.5% (FP16)。
效率：对于目标视频和动作模块，QuantWAMs 将峰值权重与激活内存降低至 FP16 基准的约 29%，并提供了 1.4–1.6 倍 的块级加速。
真实机器人验证：在 AgiBot G2 执行三项任务（捡苹果、叠方块、折毛巾）时，量化策略 (QuantWAMs) 实现了 56.7% 的成功率（17/30 次尝试），相比之下，FP16 为 63.3%，基准量化方法 (Atom*) 为 40.0%。
消融研究：对照实验证实：
- 共享基底汇集提高了掩码恢复能力和闭环成功率。
- 联合协同训练显著性优于事后融合和单流目标。
- 固定干预展开审计比合成或观测剖面能产生更好的计划放置效果。

重要性与声明

论文声称，通过解决闭环控制中特定的结构和动态挑战，QuantWAMs 确立了在资源受限的真实机器人上部署高性能 WAMs 的可行性。

适度声明：作者明确指出，其结果并未建立对 FP16 的正式非劣效性或等效性，特别是在样本量较小（每项任务 10 次试验）的真实机器人实验中，统计比较力不足。
范围限制：该工作局限于两种特定的 WAM 架构、特定基准的校准以及块级效率测量。它并不声称解决了端到端控制回路延迟或向未知任务的迁移问题。
核心洞察：其主要贡献在于证明了量化决策必须在模型的特定“校准上下文”（结构、分布和目标）内做出，而非依赖通用的、开环的启发式方法。