🤖 machine learning

{\Omega}-QVLA: Robust Quantization for Vision-Language-Action Models via Composite Rotation and Per-step Scaling

本文介绍了 $\Omega$ -QVLA，这是一种无需训练的量化后处理框架，它通过结合复合 SVD-Hadamard 旋转与每步 DiT 激活缩放，实现了整个视觉 - 语言 - 动作模型的鲁棒 W4A4 均匀量化，在基准测试和真实世界操作任务中均取得了最先进的任务成功率并显著降低了内存占用。

原作者： Xinyu Wang, Mingze Li, Sicheng Lyu, Dongxiu Liu, Kaicheng Yang, Ziyu Zhao, Yufei Cui, Xiao-Wen Chang, Peng Lu

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xinyu Wang, Mingze Li, Sicheng Lyu, Dongxiu Liu, Kaicheng Yang, Ziyu Zhao, Yufei Cui, Xiao-Wen Chang, Peng Lu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一个价值数十亿美元的卓越机器人“大脑”。这个大脑是一个“视觉 - 语言 - 动作”（VLA）模型。它能通过摄像头观察世界，理解复杂的口头指令，并精确计算出如何移动其机械臂以完成任务。

问题在于？这个大脑过于庞大。这就像试图在一台微小的、电池供电的掌上游戏机上运行一家大型高端电影院。它占用内存过多，且在真实机器人上运行速度太慢。

为了解决这个问题，科学家们通常尝试通过压缩其数值来“缩小”大脑（这一过程称为量化）。这就像将一部高清 4K 电影转换为低分辨率的 MP4 以节省空间。

核心难题：
此前尝试缩小这些机器人大脑的方法存在一个重大缺陷。它们会压缩“思考”部分（语言模型），却将“动作”部分（动作头）保留在完整的高质量分辨率下。为什么？因为所有人都认为“动作”部分过于脆弱。他们认为，如果过度压缩，机器人就会开始颤抖、抽搐或掉落物品，因为数值变得过于“模糊”。

解决方案：Ω-QVLA
本文介绍了一种名为Ω-QVLA的新方法。它是首个成功将机器人大脑的“思考”和“动作”部分同时缩小到相同微小尺寸（称为 W4A4）的工具，且机器人不会因此崩溃。

以下是他们通过两个创新技巧实现这一目标的方式：

1. “旋转洗牌”（复合旋转）

想象你有一副扑克牌，其中几张牌异常沉重（异常值），而其余牌都很轻。如果你试图将它们塞进一个小盒子里，沉重的牌会压垮其他牌，导致盒子破裂。

在机器人大脑中，某些数据通道是“沉重”的（它们拥有巨大的数值），而其他通道则是“轻盈”的。

旧方法： 只是将它们强行挤压在一起。沉重的牌压垮了盒子。
Ω-QVLA 方法： 它们使用了一种特殊的“洗牌”（一种结合了 SVD 和哈达玛旋转的数学混合）。想象旋转这副牌并重新洗牌，使得沉重牌的重量均匀分布在整个牌组中。现在，没有任何单张牌重到足以压垮盒子。这使得它们能够更激进地压缩数据，而不会丢失信息的“形状”。

2. “逐步音量控制”（逐步缩放）

机器人的“动作”部分的工作原理类似于视频编辑软件逐帧平滑视频（这一过程称为去噪）。

问题： 数据的“音量”（或强度）从第一帧到最后一帧剧烈变化。如果你为整段视频设置一个固定的音量级别，开头可能太安静，而结尾可能太吵且失真。
Ω-QVLA 方法： 它们创建了一种“动态音量控制”，针对视频中的每一个步骤调整灵敏度。系统不使用单一的静态设置，而是监听每个特定时刻的数据，并相应地调整压缩比例。这防止了机器人在移动过程中因数据过强或过弱而感到困惑。

结果

该团队在两个著名的机器人大脑（Pi 0.5 和 GR00T N1.5）上测试了这种方法，使用了名为 LIBERO 的模拟环境以及真实的机械臂。

在模拟中： 压缩后的机器人表现与巨大的未压缩机器人一样出色。事实上，在一次测试中，微小的压缩机器人实际上比原版表现得更好！
在现实世界中： 当他们把压缩后的机器人放到真实的桌子上去拿杯子、折叠毛巾和移动积木时，它移动得平稳且精准。
竞争对比： 其他尝试做到这一点的（QuantVLA）方法导致机器人抽搐并失败。而 Ω-QVLA 保持了它们的流畅性。
节省空间： 它们将所需的内存减少了71%。这就像将一部 4GB 的电影文件转换为 1GB 的文件，同时没有丢失剧情。

结论

本文证明，机器人大脑的“动作”部分并非脆弱到无法被压缩。通过使用智能的“洗牌”来分散沉重数据，并利用“逐步”调整来处理变化的音量，他们可以将这些庞大的机器人大脑缩小到适合真实机器人的尺寸，使其更快、更便宜，并准备好投入现实世界的应用。

技术摘要：Ω-QVLA

问题陈述

视觉 - 语言 - 动作（VLA）模型将感知、推理和控制整合到单一策略中，通常利用大型语言模型（LLM）骨干网络和基于扩散的动作头（DiT）。尽管这些模型在通用机器人控制方面前景广阔，但由于其数十亿参数规模和内存需求，部署在设备上的成本过高。

现有的训练后量化（PTQ）工作未能提供针对 VLA 模型的完整解决方案。先前的工作通常压缩 LLM 骨干网络，同时保持 DiT 动作头为全精度（FP16），或采用混合精度方案。这种犹豫源于一种信念，即 DiT 动作头本质上对统一低比特量化过于敏感。与语言生成不同（量化误差可能难以察觉），动作头中的误差会产生连续控制信号，直接与物理执行器交互。在闭环设置中，量化引起的扰动会被接触力和物理动力学放大，导致累积误差传播和任务失败。因此，没有任何先前的方法成功将 VLA 模型的完整 DiT 动作头量化为统一低比特精度。

方法论：Ω-QVLA

作者提出了Ω-QVLA，这是首个无需训练的 PTQ 框架，能够将 VLA 模型的语言骨干网络和整个 DiT 动作头压缩至统一的W4A4（4 比特权重，4 比特激活）精度。该框架通过两项核心创新消除了对混合精度分配的需求：

1. 复合 SVD·Hadamard 旋转

为了解决通道级能量不平衡和激活异常值问题，作者在量化前引入了一种两级旋转策略：

SVD 旋转：在权重矩阵 $W = U\Sigma V^\top$ 上计算奇异值分解（SVD）。旋转矩阵 $R_{SVD} = U$ 被应用以均衡权重的行能量。这将权重空间转换，使得每一行的能量直接由奇异谱控制，从而消除了坐标引起的能量集中。
Hadamard 旋转：由于 SVD 旋转仅源自权重，它不能保证激活空间的均匀性。为了解决这个问题，作者将 SVD 旋转与归一化 Hadamard 矩阵 $H$ 组合。复合旋转 $R = R_{SVD} \cdot H$ 充当均匀混合矩阵，将任何主导通道的能量均匀重新分布到所有输出通道。
分块实现：为了避免稠密 $C_{in} \times C_{in}$ 旋转矩阵带来的计算和内存开销，该方法在块中近似旋转。通道根据权重列范数通过之字形排列进行重排序，以确保高范数和低范数通道均匀分布在各个块中，防止异常值集中在单个分区内。

2. 每步 DiT 激活缩放

标准静态缩放对于 DiT 模型并非最优，因为激活幅度在多步去噪过程中波动显著。

动态范围漂移：作者观察到激活统计量在去噪步骤中发生漂移，特别是在接收时间条件输入的层中（例如 AdaLayerNorm 之后的 QKV 投影）。
每步校准：Ω-QVLA 不使用单一静态缩放，而是采用预计算的、每步、每层和每通道的缩放表。该表源自校准轨迹，并在推理期间检索以吸收动态范围漂移。这使得量化器能够适应每个特定时间步的激活范围变化。

主要贡献

统一的 W4A4 量化：Ω-QVLA 是首个无需训练的框架，能够将整个 VLA 堆栈（LLM 骨干网络 + DiT 动作头）统一量化为 W4A4，挑战了动作头无法在统一低比特量化下存活的假设。
复合旋转机制：引入了复合 SVD·Hadamard 旋转，同时均衡每通道权重能量并扩散残留激活异常值，解决了单独使用 SVD 或 Hadamard 变换的局限性。
每步校准：开发了专门针对 DiT 模型的每步激活缩放机制，以处理依赖于时间步的动态范围漂移，这对于在迭代去噪过程中保持稳定性至关重要。

实验结果

该框架在LIBERO基准测试上进行了评估，使用了两种最先进的 VLA 策略：Pi 0.5和GR00T N1.5。

仿真性能：
- Pi 0.5：在 W4A4 量化下实现了**98.0%**的平均任务成功率，略高于其 FP16 参考值（97.1%）。
- GR00T N1.5：实现了**87.8%**的平均成功率，与其 FP16 参考值（87.0%）持平。
- 对比：这些结果显著优于先前的 W4A4 全量化基线（如 SmoothQuant、DuQuant、QuantVLA），后者在量化 DiT 注意力层时往往无法保持性能。例如，在 Pi 0.5 上，QuantVLA 仅实现了 82.0% 的成功率，而 Ω-QVLA 达到了 98.0%。
- 内存效率：与 FP16 相比，该框架将静态内存占用减少了71.3%，元数据开销可忽略不计（Pi 0.5 约为 90 MB）。
真实世界操作：
- 实验在双机械臂 ARX R5 平台上进行，包含五个双手操作任务（例如：抓取杯子、折叠毛巾）。
- 性能：Ω-QVLA 实现了51.0的平均进度得分，超过了 FP16 基线（49.6）。相比之下，基线 QuantVLA 崩溃至 25.0。
- 定性分析：真实世界测试证实，Ω-QVLA 产生了平滑、准确的操作轨迹。基线方法表现出末端执行器运动生硬以及动作维度频繁尖峰，导致在长视野下任务失败。

意义与主张

论文声称，Ω-QVLA 推翻了 DiT 动作头对统一量化过于敏感这一普遍信念。通过直接解决不稳定的根源——通道级能量不平衡和去噪步骤的动态范围漂移，作者证明了统一的 W4A4 精度足以实现高性能 VLA 部署。

作者强调，他们的方法无需重新训练，并消除了混合精度分配的复杂性。结果表明，有效的 VLA 压缩需要整体、动作感知的优化，而不是直接转移以语言为中心的量化技术。虽然当前的评估仅限于基于 DiT 的骨干网络和特定基准，但这项工作为设备端机器人控制建立了新的基准，使得在具有严格内存和延迟约束的硬件上部署大规模 VLA 策略成为可能。