💻 computer science

Characterizing Vision-Language-Action Models across XPUs: Constraints and Acceleration for On-Robot Deployment

本文通过系统评估多样化加速器上的模型与硬件权衡、识别两阶段推理瓶颈，并提出 DP-Cache 和 V-AEFusion 技术，以在 GPU 和边缘 NPU 上实现显著加速并最小化性能损失，从而解决在资源受限机器人上部署视觉 - 语言 - 动作（VLA）模型所面临的挑战。

原作者： Kaijun Zhou, Qiwei Chen, Da Peng, Zhiyang Li, Xijun Li, Jinyu Gu

发布于 2026-04-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kaijun Zhou, Qiwei Chen, Da Peng, Zhiyang Li, Xijun Li, Jinyu Gu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教机器人执行一项任务，比如拿起杯子或清理桌子。为此，机器人需要一个名为“视觉 - 语言 - 动作（VLA）模型”的“大脑”。这个大脑观察世界（视觉），理解你的指令（语言），并决定要做什么（动作）。

问题在于，这些大脑目前非常庞大且运行缓慢，尤其是在需要实时移动而不发生碰撞的机器人上。大多数研究人员一直在巨型、昂贵的超级计算机（如高端台式电脑）上测试这些大脑，但真正的机器人需要在更小、更便宜且由电池供电的设备上运行。

这篇论文就像是为这些机器人大脑提供的一本“机械师指南”和“性能调校手册”。以下是他们发现的内容以及他们如何解决问题，用简单的方式解释如下：

1. “尺寸合适”的汽车类比

研究人员提出了一个简单的问题：我们真的需要一级方程式赛车的引擎来开车去杂货店吗？

旧方法： 每个人都认为需要最强大、最昂贵的显卡（如 NVIDIA RTX 4090）来运行这些机器人大脑。这就像在小型货车里装上一台赛车引擎。它很快，但造价昂贵且耗油（能耗）巨大。
新发现： 他们建立了一个“排行榜”（记分板），在各种不同类型的硬件上测试这些机器人大脑，从强大的台式机到边缘设备中更小、更便宜的芯片。
结果： 他们发现，对于许多任务来说，“尺寸合适”的较小引擎（更便宜、低功耗的芯片）实际上更好。它购买成本更低，耗电量更少，并且速度快到足以完美完成任务。你并不总是需要最大、最昂贵的工具来完成工作。

2. “两步舞”问题

当他们仔细观察这些机器人大脑的工作原理时，发现了一个奇怪的节奏问题。大脑并非以稳定的速度工作，而是有两个截然不同的阶段，就像两步舞：

第一步：思考者（视觉 - 语言模型）： 这部分查看摄像头并理解场景。它工作非常努力，几乎占用了计算机 100% 的算力。这就像马拉松运动员在冲刺。
第二步：规划者（动作专家）： 这部分决定手臂具体如何移动。令人惊讶的是，这部分对计算机算力的利用非常“懒惰”。它主要等待数据从内存中获取，让强大的计算机处于闲置状态。这就像一名短跑运动员在比赛中途停下来系鞋带，占用了半场比赛的时间。

瓶颈： 由于这两个步骤是依次发生的（顺序执行），强大的计算机在“规划者”变慢时花费了大量时间等待。这浪费了能源并拖慢了整体速度。

3. 解决方案：“跳过步骤”与“并行停车”

为了解决这个问题，团队发明了两个巧妙的技巧，使机器人更快，而不会使其“变笨”（即不降低准确性）。

技巧 A：“跳过步骤”缓存（DP-Cache）

“规划者”部分通常通过采取 100 个微小步骤来计算出动作，就像反复素描直到完美为止。

解决方案： 研究人员注意到，在这个过程中，素描在一段时间内变化不大。因此，他们建立了一个缓存（内存捷径）。一旦素描稳定下来，机器人就重用之前的结果，而不是从头重新计算。
类比： 想象你在粉刷墙壁。与其混合新油漆并将其涂抹到每一平方英寸，你意识到中间部分已经干燥且完美，所以你就跳过粉刷它，直接移动到边缘。这使他们在某些较小芯片上的速度提升了高达6 倍。

技巧 B：“流水线”（V-AEFusion）

由于“思考者”和“规划者”通常依次工作，计算机处于闲置状态。

解决方案： 他们让这两部分同时工作，就像流水线一样。当“思考者”观察当前场景时，“规划者”开始利用上一个场景的数据处理下一个动作。因为机器人移动缓慢，“上一”个场景与“当前”场景几乎完全相同，所以“规划者”不会感到困惑。
类比： 想象一位厨师（思考者）在切菜，另一位厨师（规划者）在煎炸。与其等待厨师完成所有切菜工作后煎炸厨师才开始，不如让煎炸厨师在厨师继续切第二批菜时，开始煎炸第一批菜。这让厨房（计算机）保持忙碌并运行得更快。

4. 核心结论

该论文的结论是：

不要过度消费： 你并不总是需要最昂贵的计算机来运行机器人。如果选择合适的芯片，更小、更便宜的芯片也能同样出色地完成任务。
理解节奏： 机器人大脑有“忙碌”阶段和“等待”阶段。
智能捷径： 通过跳过冗余计算并让大脑的不同部分并行工作，你可以使机器人快 2 到 6 倍，而无需重新训练它们或花费更多资金。

他们甚至建立了一个公共网站（排行榜），任何人都可以查看哪种机器人大脑在哪个特定的计算机芯片上表现最佳，从而帮助工程师构建更好、更便宜的机器人。

以下是论文《Characterizing Vision-Language-Action Models across XPUs: Constraints and Acceleration for On-Robot Deployment》（跨 XPU 的视觉 - 语言 - 动作模型特性分析：机器人端部署的约束与加速）的详细技术总结。

1. 问题陈述

视觉 - 语言 - 动作（VLA）模型在通用机器人控制方面前景广阔，但其在物理机器人上的部署受到严格成本与能耗预算下实时推理约束的严重制约。

差距： 大多数先前的评估依赖于高端桌面 GPU（如 NVIDIA RTX 4090），掩盖了在实际机器人使用的异构边缘加速器（GPU、NPU、XPU）上部署这些模型所涉及的权衡。
挑战： 从业者缺乏一个系统性的框架来确定：
1. 哪种“规模适中”的硬件平台能在最小化采购成本和能耗的同时满足实时控制速率（延迟）要求。
2. 在受限硬件上，VLA 推理循环中的具体计算瓶颈是什么。
现实： 单纯缩小模型规模并不能保证更快的推理速度，且由于计算特性不匹配，旗舰 GPU 往往导致成本效益低下或硬件利用率不足。

2. 方法论

作者提出了一种模型 - 硬件协同特性分析方法，包含三个主要支柱：

A. 跨加速器排行榜（CET 框架）

框架： 他们构建了一个交互式排行榜，评估了代表性 VLA 流水线在异构加速器（NVIDIA GPU、Intel Arc XPU、华为昇腾 NPU）上的表现。
指标： 他们引入了CET指标：
- 时间（T）： 端到端延迟/控制频率（可行性门槛）。
- 成本（C）： 硬件采购成本。
- 能耗（E）： 推理过程中的功耗。
分级： 模型根据参数量被分类为“小型”或“大型”消费者；硬件根据峰值 FLOPS 和显存容量被分类为“基础”、“标准”或“超”级生产者。

B. 系统性剖析与屋顶线分析

剖析： 利用 Nsight Systems 等工具，他们分析了 VLA 工作流的延迟分解和硬件利用率（SM 利用率）。
屋顶线模型： 他们应用屋顶线模型来确定特定的 VLA 组件是计算受限（受 FLOPS 限制）还是内存受限（受带宽限制）。

C. 算法与系统优化

基于剖析洞察，他们开发了两项无需训练的加速技术：

DP-Cache（扩散策略缓存）： 针对动作专家（扩散模块），跳过冗余的中间步骤。
V-AEFusion（VLM-动作专家融合）： 一种流水线并行策略，将 VLM 骨干推理与动作专家的早期阶段重叠执行。

3. 主要发现与贡献

贡献 1：“规模适中”的部署洞察

发现： 模型大小并非推理速度的决定性预测指标。反直觉的是，具有迭代扩散策略（例如 100 步）的较小模型，可能比具有较少步骤（例如 4 步）的较大模型更慢。
结果： “规模适中”的边缘设备（如 Jetson Orin、Ascend 310P）通常比旗舰 GPU（RTX 4090）提供更好的成本/能效，同时满足控制速率约束。RTX 4090 并非部署时的必然最佳选择。

贡献 2：两阶段计算不平衡

发现： VLA 推理表现出独特的双阶段模式：
1. VLM 骨干： 计算受限。 高算术强度（例如 RTX 4090 上约为 840 FLOPs/Byte），导致高硬件利用率（>90%）。
2. 动作专家： 内存受限。 低算术强度（例如约为 64 FLOPs/Byte），导致严重的利用率不足（20–40% SM 使用率）并成为延迟主导因素。
影响： 这种阶段转换导致了显著的资源浪费，因为在内存受限的动作专家阶段，高性能计算单元处于空闲状态。

贡献 3：加速技术

DP-Cache： 利用扩散策略中的时间冗余。通过在稳定扩散阶段（步骤 20–80）缓存结果，跳过冗余计算。
- 结果： 在 GPU 上实现1.9 倍加速，且成功率（SR）下降极小。
V-AEFusion： 利用 VLM 与动作专家之间的延迟不平衡。它将动作专家的初始“陈旧”去噪步骤（使用前一帧特征）与 VLM 的当前推理并行运行。
- 结果： 在 GPU 上实现1.3 倍加速。
综合影响： 当与模型编译（如 torch.compile、ATC）结合时，该系统在 GPU 上最高实现2.9 倍加速，在边缘 NPU（Ascend 310P）上实现6 倍加速。

4. 结果总结

排行榜： 作者提供了一个公共排行榜（vla-leaderboard-01.vercel.app），允许用户根据硬件约束（显存、成本、能耗）过滤模型，以找到最佳配对。
性能提升：
- RTX 4090： 2.9 倍加速（ $\pi_0$ 从约 102ms 降至约 35ms）。
- Ascend 310P（NPU）： 6.0 倍加速（扩散策略从约 1853ms 降至约 310ms）。
- 现实世界验证： 在 Franka 机械臂和 JAKA 双臂机器人上进行了验证，显示任务成功完成（例如桌面清洁、方块操作），且成功率仅出现边际下降（例如 SR 下降<6%）。
硬件敏感性： 模型编译等优化在不同硬件上显示出不同的效果（例如 4090 上为 2.9 倍，而 Jetson Thor 上为 1.5 倍），凸显了针对特定硬件进行调优的必要性。

5. 意义

范式转变： 将领域从“在更大 GPU 上使用更大模型”转变为系统级协同设计方法，证明边缘 NPU 和中端 GPU 在机器人应用中可能比旗舰消费级 GPU 更高效。
实际部署： 为从业者提供了具体、可复现的选择指南（CET 分析），以便根据特定机器人约束（电池 vs. 成本 vs. 速度）选择硬件。
架构洞察： 确定了动作专家的内存受限特性是关键瓶颈，将未来优化的重点从单纯的模型压缩转向流水线并行和内存带宽优化。
开放科学： 发布跨平台排行榜和无需训练的优化代码，降低了在资源受限机器人上部署 VLA 的门槛。

总之，本文确立了高效的机器人端 VLA 部署需要理解模型各阶段的具体计算特性，并将其与适当的硬件和流水线策略相匹配，而不能仅仅依赖原始计算能力。