🤖 AI

Understanding Asynchronous Inference Methods for Vision-Language-Action Models

本文在受控条件下对四种用于视觉 - 语言 - 动作模型的异步推理方法进行了系统比较，结果表明轻量级残差校正（A2C2）在 Kinetix 和 LIBERO 基准测试上优于其他方法，而训练时延迟模拟（TT-RTC）则提供了最稳健的零开销解决方案。

原作者： Ayoub Agouzoul

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ayoub Agouzoul

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创造性类比对论文的解释。

核心问题：“慢厨师”与“饥饿机器人”

想象一位机器人厨师正在尝试烹饪一顿复杂的饭菜。为了做到这一点，这位厨师（AI 模型）会观察厨房，阅读食谱，然后一次性规划接下来的10 个烹饪步骤。这被称为“动作分块”。厨师不再决定“切洋葱”，然后等待决定“切胡萝卜”，而是瞬间规划出整个序列。这很高效。

问题在于： 这位厨师非常深思熟虑，但也极其缓慢。当厨师写完接下来 10 步的计划时，厨房已经发生了变化。机器人已经移动，食材已经移位，或者炉火已经窜起。厨师刚刚写下的计划现在是基于厨房的旧画面。如果机器人遵循这份“过时”的计划，它可能会切到空气而不是洋葱。

如果机器人等待厨师完成每一个步骤后再移动，它的移动速度太慢，无法发挥作用。如果它只是带着旧计划匆忙向前，就会犯错。

四种解决方案

这篇论文测试了四种不同的方法来解决这个“慢厨师”问题。研究人员建立了一个统一的测试环境（就像一个巨大的模拟健身房），以观察在延迟变长时哪种方法效果最好。

1. IT-RTC：“实时编辑员”

工作原理： 想象厨师写下了 10 步计划，但写完时意识到已经过去了 3 步。厨师没有把纸扔掉，而是抓起一支红笔，擦掉前 3 步，然后迅速重写剩余的 7 步，以符合当前的情况。
弊端： 这种编辑过程非常繁重。厨师必须进行额外的计算来“撤销”旧部分并“重做”新部分。它在短延迟下效果良好，但如果延迟较长，就会变得非常缓慢且笨拙。

2. TT-RTC：“熟能生巧”的厨师

工作原理： 这种方法不是在计划写完后进行修正，而是在学习过程中训练厨师带着延迟进行练习。在训练期间，厨师被告知：“嘿，假装你已经晚了 3 步。假设前 3 步已经完成，写出计划，只给我剩下的部分。”
优势： 因为厨师学会了预期延迟，所以在实际烹饪时不需要进行任何额外的编辑。他们直接交出计划，而该计划已经是正确的。这为烹饪过程增加了零额外时间。

3. VLASH：“时间旅行者”

工作原理： 这种方法试图作弊时间。当厨师观察厨房时，他们不仅仅看当前状态；他们利用已知的动作在脑海中快进到机器人计划准备好时将会处于的位置。他们基于那个未来状态来编写计划。
弊端： 在现实世界中，如果没有水晶球，你无法完美地预测未来。在论文的测试中，他们在一个基准测试中使用了“水晶球”（完美数据），这给了该方法巨大的优势，而这种优势在现实生活中可能并不存在。此外，如果延迟太长，“时间旅行”的猜测就会出错，导致计划失败。

4. A2C2：“抽查助手”

工作原理： 这种方法完全保留原始厨师的计划，但增加了一个微小、超快的助手。厨师写下计划，但助手站在机器人旁边。机器人每走一步，助手就会查看当前的厨房，检查厨师的旧计划，并在需要时进行微小的修正。
优势： 助手非常小且快速。即使厨师的计划过时了，助手也能一步步地不断将机器人推向正确的方向。当延迟较长时，这种方法最可靠。

他们的发现

研究人员在两个不同的“厨房”（模拟环境）中测试了这些方法：一个简单的 2D 物理游戏（Kinetix）和一个复杂的 3D 机械臂任务（LIBERO）。

长延迟的赢家（A2C2）： 当延迟变得非常长（例如等待 20 步才能拿到计划）时，抽查助手（A2C2） 是明确的赢家。即使厨师非常慢，它也能保持机器人的成功。这是唯一一种在延迟巨大时不会崩溃的方法。
速度与简单性的赢家（TT-RTC）： 如果你可以重新训练模型，TT-RTC 是性价比最高的选择。它完全不会减慢机器人的速度，而且非常稳定。这就像从一开始就教会厨师做到完美，因此以后不需要任何修正。
“老派”方法（IT-RTC）： 这在非常短的延迟下效果尚可，但随着延迟变长，它变得过于缓慢和笨拙，几乎和什么都不做一样糟糕。
“水晶球”方法（VLASH）： 这出乎意料地有效，但论文警告说，它依赖于对未来状态的完美知识（而真正的机器人并不具备这种知识）。如果没有这种完美知识，它可能不会那么强大。

结论

如果你正在构建一个需要快速反应的机器人：

如果你可以重新训练 AI： 使用 TT-RTC。它运行免费且非常稳定。
如果你无法重新训练或延迟巨大： 使用 A2C2。它增加了极少量的额外工作，但在主 AI 太慢时能挽救局面。
避免使用 IT-RTC，如果你预期会有长延迟；它太沉重了。

这篇论文本质上说的是：“不要只是等待慢速的 AI 赶上进度。要么教会它预期延迟，要么给它一个快速的助手来实时修正它的错误。”

技术摘要：理解视觉 - 语言 - 动作模型的异步推理方法

1. 问题陈述

视觉 - 语言 - 动作（VLA）模型已成为通用机器人控制的范式，将视觉观察和语言指令映射为动作。现代 VLA 策略通常采用动作分块（action chunking），在单次前向传播中预测 $H$ 个未来动作序列，以摊销推理成本并减少累积误差。然而，大型 VLA 模型存在高推理延迟（几十到几百毫秒）的问题。

在同步执行中，机器人在推理期间暂停，将控制频率限制在推理速率，这对于快速反应任务而言是不切实际的。朴素的异步执行将推理与执行解耦，在新分块到达时切换。然而，这会引入三种失效模式：

分块边界不连续：新分块与已承诺给机器人的动作不兼容。
观察陈旧：新分块基于 $d$ 步之前的观察（其中 $d$ 是以控制步数为单位的推理延迟）。
开环退化：已承诺的动作无法在分块生命周期内适应环境变化。

虽然已有四种方法被提出以缓解这些问题——IT-RTC、TT-RTC、VLASH和A2C2——但它们是在不兼容的代码库中开发的，使用了不同的基础策略和评估协议，使得直接比较变得不可能。

2. 方法论

作者开发了两个统一的代码库（JAX/Flax 中的bt-kinetix和 PyTorch/LeRobot 中的bt-libero），在统一的库、数据集和基础策略下整合了所有四种方法。他们在以下基准上对这些方法进行了基准测试：

Kinetix：一个包含 10 个动态环境的 2D 连续控制套件，使用 MLP-Mixer 策略（ $H \in \{16, 30\}$ ）。
LIBERO：一个使用 SmolVLA（ $H=50$ ）的 7 自由度操作基准。

评估涵盖了高达 20 个控制步的推理延迟（ $d$ ），模拟了从本地 GPU 到通过 4G 进行云端推理等现实世界部署场景。

比较的四种方法

IT-RTC（通过免训练引导的推理时残差校正）：一种使用流匹配引导的免训练方法。它将新分块的前 $d$ 个动作视为已知约束，并在去噪过程中使用伪逆引导项“修复”剩余的 $H-d$ 个动作。它不需要重新训练，但每个去噪步骤都需要一次反向传播（VJP），使每步的 FLOPs 增加三倍。
TT-RTC（通过训练时延迟模拟的训练时残差校正）：修改训练过程，使策略以动作前缀为条件。策略学习在给定已承诺前缀的情况下，仅预测非陈旧的后续动作。它在训练中使用掩码损失和非噪声的真实前缀。它引入零推理开销，是 IT-RTC 的即插即用替代品。
VLASH（视觉 - 语言 - 动作状态感知条件）：通过使用已知先前动作估计机器人执行时的未来状态，解决观察陈旧问题。策略以这个“前向滚动”的状态为条件，而不是陈旧的观察。它采用时间偏移训练增强。
A2C2（通过校正头的异步动作校正）：针对开环退化问题。它训练一个轻量级校正头，在每个控制步运行，向基础策略的陈旧动作发出残差调整（ $\Delta a$ ）。该头以最新观察、基础策略特征和分块内时间特征为条件。它可与其他方法组合使用。

3. 主要贡献

统一代码库：创建了bt-kinetix和bt-libero，整合了所有四种方法并统一了依赖项，实现了首次系统性比较。
系统性基准测试：在两个不同的基准（Kinetix 和 LIBERO）上进行了全面评估，涵盖不同的分块大小（ $H$ ）和延迟（ $d$ 高达 20），覆盖了与现实世界部署相关的各种情况（例如边缘服务器、云端推理）。
实用见解：分析了训练成本、推理开销和分布外（OOD）延迟泛化之间的权衡。

4. 结果

Kinetix 结果（MLP-Mixer， $H=16, 30$ ）

性能：A2C2在几乎所有延迟下都取得了最高的绝对解决率，在 $d=8$ 之前保持>90% 的解决率。TT-RTC是最稳健的基于训练的方法，在不同 $d_{max}$ 选择下表现出稳定性，并能很好地泛化到 OOD 延迟。
IT-RTC：在低延迟下具有竞争力，但在长分块（ $H=30$ ）和高延迟（ $d > 8$ ）下急剧下降，表明其线性 VJP 近似随着前缀与后缀比例的增加而失效。
VLASH：表现出由微调延迟范围 $[0, d_{max}]$ 决定的权衡。较宽的 $d_{max}$ 提高了高延迟的鲁棒性，但损害了低延迟的准确性。
TT-RTC 与 VLASH：TT-RTC 对 $d_{max}$ 的选择基本不敏感，而 VLASH 需要将 $d_{max}$ 仔细调整到预期的部署延迟。

LIBERO 结果（SmolVLA， $H=50$ ）

排名反转：与 Kinetix 相比，排名在高延迟下发生反转。A2C2在高延迟（ $d \ge 4$ ）下成为最强的方法，比其他方法高出约 10 个百分点。
IT-RTC 与 TT-RTC：随着前缀与后缀比例的增加（由于更长的分块大小 $H=50$ ），两者均大幅退化。IT-RTC 在 $d=8$ 之后崩溃至接近基线性能。TT-RTC 虽然在 Kinetix 上表现稳定，但在 LIBERO 上出现了显著的准确率下降。
VLASH：具有更宽 $d_{max}$ （8, 16）的变体在延迟方面保持惊人的稳定性。注意：作者强调，LIBERO 上的 VLASH 结果依赖于真实未来状态（特权信息），这是由于状态/动作维度不匹配造成的，仅作为可部署变体的上限。
延迟：TT-RTC 与朴素基线的挂钟延迟相匹配。IT-RTC 导致约 16% 的延迟增加。A2C2 的残差头在串行执行中增加了约 1.8% 的延迟。

成本分析

推理开销：IT-RTC 使顺序去噪循环的 FLOPs 增加三倍。A2C2 的开销随执行视界 $s$ （例如 LIBERO 上的 50 步）累积，使其在大型模型上每个分块的成本高于 IT-RTC，尽管其残差头本身是轻量级的。
训练成本：TT-RTC 需要适度的微调（Kinetix 上约为基础成本的 25%）。VLASH 和 A2C2 需要更广泛的训练或重新训练。
盈亏平衡点：在 LIBERO 上，TT-RTC 的一次性训练成本超过 IT-RTC 的重复推理开销的盈亏平衡点约为 290 万轮次。

5. 意义与主张

该论文声称，没有单一方法能在所有设置中占据主导地位，最佳选择取决于具体的部署约束（分块大小、预期延迟、重新训练的可行性）：

如果重新训练不可行且延迟较低：IT-RTC是一个合理的即插即用解决方案。
如果可以微调且分块较短：TT-RTC提供了一个近乎免费的修复方案，零推理开销且具有鲁棒的 OOD 泛化能力。
在长分块 VLA 设置中（例如 SmolVLA）：A2C2是高延迟下最可靠的选择，并且自然地与其他方法组合。
VLASH：只要存在准确的前向状态模型，并且在微调时已知部署延迟范围，它仍然是一个强有力的选择。

作者总结道，他们的系统性比较阐明了这些方法之间的权衡，为未来的 VLA 设计和部署策略提供了信息。他们明确指出了局限性，包括 LIBERO 上 VLASH 对真实未来状态的依赖，以及固定整数延迟的假设，这表明现实世界中可变延迟的条件可能进一步有利于像 TT-RTC 和 A2C2 这样的延迟感知方法。