💻 computer science

Jetson-PI: Towards Onboard Real-Time Robot Control via Foresight-Aligned Asynchronous Inference

Jetson-PI 是一个用于在 Jetson Orin 等低功耗车载设备上部署视觉-语言-动作（Vision-Language-Action）模型的创新框架，它通过结合一个用于解决感知-执行失配的前瞻对齐未来修正模块，以及通过基于置信度的调度和系统级优化来最小化反应时间和延迟，从而实现了实时控制。

原作者： Zebin Yang, Qi Wang, Yunhe Wang, Xiurui Guo, Bo Yu, Shaoshan Liu, Jiafeng Xu, Hao Dong, Meng Li

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zebin Yang, Qi Wang, Yunhe Wang, Xiurui Guo, Bo Yu, Shaoshan Liu, Jiafeng Xu, Hao Dong, Meng Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人折衣服或拿起碗。你给了它一个大脑（一个超级智能的 AI 模型），它通过观察一张图片和一条指令，比如“拿起黑色的碗”，然后告诉机器人的手臂该做什么。这被称为视觉-语言-动作（Vision-Language-Action，简称 VLA）模型。

问题在于？这些大脑既庞大又贪婪。如果你尝试在机器人自带的计算设备上（比如 Jetson Orin，它虽然强大但相对于台式机来说非常微小）运行它们，机器人就会陷入“思考模式”。它计算下一步动作所需的时间太长，以至于当机器人真正开始移动时，世界已经发生了变化。这就像是在戴着一副只能看到一秒钟前球在哪里、而不是现在球在哪里的眼镜时去接球。机器人会失手。

核心理念：“预见性”与“异步”
这篇论文的作者们提出了一个名为 Jetson-PI 的巧妙方法，让这些机器人无需依赖庞大且耗电的超级计算机，就能思考得更快、行动得更聪明。

他们通过以下方式解决了两个主要的痛头：

1. “时空旅行”修复法（解决对齐问题）

问题： 在旧的方法中，机器人观察一张图片，思考很长时间（假设为 1.4 秒），然后行动。但在 1.4 秒内，机器人可能已经撞到了某个东西，或者物体已经发生了位移。机器人是在根据“过时的消息”进行行动。

解决方案： Jetson-PI 没有仅仅是等待，而是使用了“预见性对齐”（Foresight-Aligned）的小技巧。想象一下，机器人拥有一个微型且超快速的水晶球（一个轻量级的“未来修正模块”）。

机器人承诺执行一个动作（比如“伸手去拿碗”）。
水晶球能瞬间预测出该动作完成之后世界看起来是什么样子的。
机器人随后利用这个“未来视图”来规划下一个动作。

这就像一位棋手，不仅在看当前的棋局，还能瞬间构思出对手走完下一步后棋局的变化，从而完美地规划自己的下一步。这防止了机器人根据过时信息进行行动。

2. “智能跳过”修复法（解决反应迟钝问题）

问题： 即便有了水晶球，机器人仍需偶尔检查现实世界。但检查世界是很慢的，因为“大脑袋”（VLM）非常沉重。如果每次都检查世界，机器人的动作会变得太慢。

解决方案： 作者引入了一个“基于置信度的调度器”（Confidence-Based Scheduler）。

水晶球（未来模块）也有一个“置信度计”。它会说：“我有 90% 的把握知道接下来会发生什么！”
如果置信度很高，机器人就会跳过沉重的“大脑检查”，直接使用水晶球来继续移动。这就像在熟悉的路上开车，你不需要每秒钟都看一次 GPS。
如果置信度下降（例如机器人正在处理一个棘手的物体），调度器会说：“好，停下！让我们用大脑袋来确保安全。”

这意味着机器人只在绝对必要时才进行繁重的计算，从而使其反应更加敏捷。

3. “系统升级”（加速引擎）

作者还意识到机器人运行的软件效率不高。他们把机器人的计算机比作一个繁忙的厨房：

不再重建烤箱： 他们不再每次都重新构建烹饪指令（计算图），而是构建一次并重复使用。
不再走动去冰箱： 他们将所有食材（数据）都放在了计数台上（GPU 显存中），这样厨师就不必在计数台和冰箱（CPU 内存）之间来回走动。
展开步骤： 他们将许多细小的步骤合并成一个流畅的大动作。

结果：效果如何？

作者在模拟环境和真实机器人上进行了测试。

速度： 在 Jetson Orin 上，他们的方法使机器人的控制频率比使用标准 PyTorch 快了 8.66 倍，比使用名为 vla.cpp 的工具快了 5.41 倍。
成功率： 在一项名为 LIBERO（一个机器人任务基准测试）的测试中，他们的机器人比之前的顶尖方法 VLASH 的成功率高出了 14.8%。
电池： 他们展示了使用强大的桌面显卡（RTX 4090）会导致机器人的电池消耗速度比使用自带的 Jetson Orin 快 6.0 倍。Jetson-PI 让机器人在自带电池下运行的时间更长。

他们明确指出哪些方法行不通
作者测试了一些想法并排除了它们：

并行处理： 他们尝试同时运行“大脑袋”和“动作专家”以节省时间。他们发现这在小型嵌入式计算机上会失败，因为它们都在争夺有限的数据带宽，导致整体速度变慢。这只适用于巨大的桌面级计算机。
仅预测机器人状态： 之前的方法试图预测机器人手臂在未来的位置。作者发现这还不够，因为它没有考虑到如何随环境（桌子、物体）的变化而变化。你需要预测的是环境，而不只是机器人本身。

他们的确定程度如何？
论文对所测量的数字非常有信心。他们在 LIBERO 基准测试上进行了广泛的模拟，并在实验室环境下使用真实机器人（如 X2-W）进行了测试。他们测量了精确到毫秒的延迟和精确的成功率。他们明确表示，虽然他们的方法对于移动机器人来说是一个巨大的进步，但如果未来的模型变得更大，它仍然无法完全匹配大规模计算集群的原始力量。但对于一个需要靠自带电池活动的机器人来说？他们认为这是一个切实可行且有效的解决方案。

简而言之，Jetson-PI 教会了机器人如何“预见未来”以及在安全时“跳过繁重劳动”，从而让机器人无需背负一台超级计算机，也能实现快速且智能的移动。

技术摘要：Jetson-PI

问题陈述

视觉-语言-动作（VLA）模型通过利用预训练的视觉-语言模型（VLM）并在机器人演示数据集上进行微调，在具身任务中展现了卓越的性能。然而，将这些模型部署在低功耗车载设备（如 NVIDIA Jetson Orin）上面临两个关键障碍：

高推理延迟： VLA 模型的计算复杂度导致了显著的推理延迟（例如，在 Jetson Orin 上约为 1.4 秒），从而导致控制频率较低（约 0.7 Hz）且反应速度缓慢。
现有异步推理的局限性： 虽然异步推理（将动作执行与下一次推理并行化）可以隐藏延迟，但在边缘设备上会引入两个特定问题：
- 感知-执行失配（Perception-Execution Misalignment）： 当一个动作块（action chunk）被预测并执行时，环境相对于用于预测的输入图像已经发生了演变。这种失配随着推理时间的增加而恶化，导致预测精度下降。
- 长反应时间： 机器人的反应速度仍受限于 VLA 的推理时间。此外，现有的异步方法通常需要较大的动作块来维持稳定性，这进一步增加了对环境变化的平均反应时间。

由于高功耗问题（减少 6.0 倍电池寿命）以及如果作为服务器运行则需要网络连接的需求，在高端 GPU（如 RTX 4090）上部署 VLA 模型对于移动机器人而言并非可行方案。

方法论：Jetson-PI

作者提出了 Jetson-PI，这是一个通过 前瞻对齐异步修正（Foresight-Aligned Asynchronous Correction） 在车载设备上实现高效 VLA 部署的框架。该方法通过三个核心组件解决了上述挑战：

1. 前瞻对齐异步修正

为了解决感知-执行失配问题，作者引入了一个轻量级的 未来修正模块（Future Correction Module）。

机制： 该模块不仅仅是预测未来的图像或机器人状态，而是基于已承诺执行的动作，预测时间 $t + \Delta$ （其中 $\Delta$ 是推理延迟）时的未来压缩 VLM 表示（潜状态/latent state）。
训练： 使用了两阶段训练流水线。首先，动作专家学习从未来的隐藏状态预测动作。其次，修正模块经过训练，通过当前状态和已承诺的动作来预测这些未来状态，并输出一个置信度估计。
益处： 这使得动作专家能够基于未来的环境状态而非过时的观测值来预测动作，从而使预测与执行时间对齐。该模块非常轻量（40M 参数，仅占总 VLA 大小的约 1%）。

2. 基于置信度的调度优化

为了降低反应时间，作者提出了一种平衡 VLM 和动作专家调用次数的动态调度策略。

逻辑： 未来修正模块充当调度器。如果其预测的置信度高于阈值 $\theta$ ，系统将跳过沉重的 VLM 推理，仅依靠动作专家生成后续的动作块。如果置信度下降（表明存在高不确定性或显著的环境变化），则会调用 VLM 以更新 KV 缓存和隐藏状态。
原理： 这避免了“天真”的并行运行 VLM 和动作专家的做法，作者证明这种做法在车载设备上是低效的，因为两者都存在带宽竞争（在边缘硬件上，这两个组件都是受带宽限制的，而不像在高端 GPU 上那样 VLM 是受计算限制的）。

3. 系统级加速

作者构建了一个基于 llama.cpp 的推理框架，专门针对边缘平台上的 VLA 特性进行了定制：

CUDA 图重用（CUDA Graph Reuse）： 由于 VLA 的 Token 长度是确定的（固定的图像分辨率和简短的指令），因此可以构建一次 CUDA 图并进行重用，从而消除图构建开销。
GPU 驻留中间缓冲（GPU-Resident Intermediate Buffering）： 组件之间（ViT $\to$ LLM $\to$ 动作专家）的中间结果保留在 GPU 显存中，以避免 CPU-GPU 通信延迟。
流匹配展开（Flow Matching Unrolling）： 动作专家的迭代去噪步骤被展开为一个统一的计算图，从而减少了内核启动调用（kernel launch calls）的数量。

核心贡献

识别了边缘特有的挑战： 本文强调了标准的异步推理在边缘设备上会失效，原因是带宽竞争以及感知-执行失配的特殊性质（仅靠预测机器人状态无法解决该问题）。
前瞻对齐修正： 一种新型模块，通过基于已承诺动作预测未来的 VLM 潜变量，使动作专家能够在未来的环境表示上进行操作。
自适应调度： 一种基于置信度的机制，动态调整 VLM 的调用频率，在不牺牲准确性的情况下显著降低了反应时间。
边缘优化的推理引擎： 一个利用图重用、内存驻留和展开技术来最大化带宽受限设备吞吐量的系统设计。

实验结果

作者在 LIBERO 基准测试（使用 $\pi0.5$ 模型）和真实世界机器人（PrimeBot X2-W）上评估了 Jetson-PI。

控制频率： 在 NVIDIA Jetson Orin 上，Jetson-PI 比朴素的 PyTorch 推理实现了 8.66倍 的控制频率提升，比 vla.cpp 提升了 5.41倍。
成功率： 在 LIBERO 基准测试中，Jetson-PI 的平均成功率比最先进的异步方法 VLASH 高出 14.8%。即使在推理延迟 ( $\Delta$ ) 增加时，它仍能保持高精度，而 VLASH 和 RTC (Reinforced Trajectory Correction) 则表现出明显的性能下降。
真实世界表现： 在涉及折叠衣服等复杂任务的真实世界实验中，运行在 Jetson Orin 上的 Jetson-PI 达到了与 RTX 4090 配置相当的性能，与高端基准相比，准确率损失可以忽略不计。
延迟分解： 系统优化（图重用、缓冲、展开）将 Jetson Orin 上的总反应时间从 ~1.4s 降低到了 ~0.16s。

意义与主张

本文声称 Jetson-PI 为在低功耗、电池供电的移动机器人上部署大规模 VLA 模型提供了一个切实可行的解决方案。通过解决边缘计算的特定瓶颈——即带宽限制和感知与执行之间的时间差——该方法实现了高频、响应迅速的机器人控制，而无需承担高端 GPU 集群的功耗代价。作者强调，虽然车载平台在本质上与 GPU 集群相比受到限制，但 Jetson-PI 提供了一条将 VLA 应用从实验室演示扩展到现实世界移动场景的可行路径。