💻 computer science

LiteVLA-H: Dual-Rate Vision-Language-Action Inference for Onboard Aerial Guidance and Semantic Perception

本文介绍了 LiteVLA-H，这是一个专为 NVIDIA Jetson AGX Orin 机载部署优化的紧凑型 2.56 亿参数视觉 - 语言 - 动作模型，它通过一种专门的知识保留微调策略，将快速反应引导（50.65 毫秒）与较慢的语义叙述解耦，从而实现低延迟的双速率推理。

原作者： Justn williams, Kishor Datta Gupta, Roy George, Mrinmoy Sarkar

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Justn williams, Kishor Datta Gupta, Roy George, Mrinmoy Sarkar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一架无人机由一名飞行员驾驶。这名飞行员同时承担着两项截然不同的任务：

瞬间反应以避免撞向树木或建筑物（如同反射动作）。
思考并描述周围正在发生的情况，例如向地面人员报告：“我看到前方有一条红色跑道，左侧存在危险”（如同对话）。

长期以来，试图让无人机用单一的“大脑”（一个 AI 模型）同时完成这两项任务一直是个难题。AI 要么反应太慢导致撞机，要么过于简单而无法理解场景（让无人机对细节视而不见）。

本文介绍了LiteVLA-H，这是一个旨在通过充当双模式飞行员来解决该问题的新系统。

核心问题：“大脑”瓶颈

将 AI 模型想象成厨房里的厨师。

旧方法： 每当厨师接到订单，他们必须走到储藏室，找到食材，切好，然后才开始烹饪。如果你要求一份快餐（单个动作）或一顿盛宴（长篇描述），厨师都必须先进行同样的漫长“储藏室之旅”。这篇论文将这种“走向储藏室”的过程称为预填充（pre-fill）。它占据了大部分时间。
问题所在： 如果飞行员需要躲避树木时，厨师每次都试图准备一顿全席，飞行员就会因为厨师忙于切洋葱而撞机。

解决方案：“双速率”调度器

LiteVLA-H 改变了规则。它认识到，对于无人机而言，“走向储藏室”（预填充）是缓慢的部分，但一旦食材取出，烹饪单个鸡蛋（一个快速动作）几乎是瞬间完成的。

该系统使用一个调度器（交通管理员），将工作分为两条车道：

快车道（反应式引导）：
- 作用： 当无人机看到障碍物时，它向 AI 请求一个快速的“向左转”或“向上飞”指令。
- 速度： 它每秒执行约20 次（每 50 毫秒一次）。
- 技巧： AI 仅生成一个微小的“动作令牌”（如“左”这样的单个词）。它不需要等待写出完整的句子。因为“走向储藏室”已经完成，所以这发生得极快。
慢车道（语义感知）：
- 作用： 每隔几秒，AI 稍作停顿，生成完整的句子：“我正接近一条左侧有红灯的跑道。”
- 速度： 它每秒执行约6 次（每 150 毫秒一次）。
- 益处： 这为人类操作员或无人机的日志提供了丰富的世界描述，而不会拖慢快车道。

“厨房”类比的实际应用

想象无人机正飞越繁忙的城市。

快车道就像飞行员操纵杆上的手。如果一只鸟飞在前面，飞行员的手会瞬间移动。AI 只需说“向上！”，无人机随即做出反应。
慢车道就像飞行员与塔台的对话。“塔台，我看到一个施工区，我将绕行。”这需要几秒钟来说，但对于安全和态势感知至关重要。

LiteVLA-H 证明了两者兼得是可能的。它既不会迫使飞行员在躲避飞鸟时停止说话，也不会迫使飞行员在讲述故事时停止躲避。

他们如何训练 AI

为了确保 AI 不会因只学习躲避而变得“愚蠢”，研究人员使用了一种特殊的训练配方。

他们不仅向 AI 展示了无人机撞机和躲避的视频。
他们还展示了通用图片和描述（如一张配有“地毯上的猫”说明的猫的照片）以及空中描述（如“有雾的跑道”）。
他们将这些混合在一起，使 AI 能够同时学会成为一名优秀的飞行员和一名优秀的讲述者。这被称为“知识保留”，意味着它不会因为学会了飞行而忘记如何说话。

结果

该团队在无人机内置的小型计算机（NVIDIA Jetson AGX Orin）上对此进行了测试。

速度： “快车道”运行在19.74 Hz（每秒近 20 次）。这足以保持无人机的稳定和安全。
感知： “慢车道”运行在6.67 Hz，提供持续的描述流。
对比： 与其他先进的 AI 系统相比，LiteVLA-H 在提供“躲避”指令时快得多，因为它不再试图在需要瞬间决策的每次时刻都写出一篇完整的文章。

结论

该论文声称，对于无人机而言，首次反应的速度是最重要的。通过认识到“准备时间”（预填充）是最大的延迟，他们构建了一个将“反射”与“对话”分离的系统。这使得一个小型、紧凑的 AI 能够在安全驾驶无人机的同时，仍能向人类操作员描述世界。

技术摘要：LiteVLA-H

1. 问题陈述

视觉 - 语言 - 动作（VLA）模型已在机器人操作任务中展现出强大的语义 grounding 能力和任务泛化能力。然而，由于严格的机载计算和通信限制，将这些模型部署在航空机器人（无人机）上仍然充满挑战。航空机器人需要低延迟的闭环控制以应对视觉变化，同时也受益于更高层级的语义理解，用于障碍物描述、跑道感知和操作员监督。

现有文献往往强调导航成功率、基准测试构建或服务器级推理。一个关键的空白在于解决紧凑型机载模型的实际调度问题：单个边缘 VLA 如何在不损害任一功能的前提下，同时支持反应式的高频引导和较慢的句子级语义推理？ 当前方法通常将推理视为单一的端到端指标，未能充分考虑边缘部署中特定的延迟瓶颈。

2. 方法论：LiteVLA-H

作者提出了LiteVLA-H，这是一个专为 NVIDIA Jetson AGX Orin 上的双速率操作设计的紧凑型 2.56 亿参数 VLA 系统。该系统围绕三个核心技术支柱构建：

A. 双速率调度架构

该系统通过调度器将 VLA 的输出明确分离为两种不同的模式：

快速外环引导：以约19.74 Hz的频率（50.65 毫秒延迟）生成短视野动作令牌（1–2 个令牌）。这些令牌作为外环的高级命令（例如速度、航向、航点），而传统的飞行控制器负责内环的姿态稳定。
慢速语义模式：以6.08–6.67 Hz的频率（149.90–164.57 毫秒延迟）生成用于场景理解、危险描述和操作员叙述的句子级描述。

调度器维持一种关系，即语义查询周期（ $\Delta_s$ ）是动作查询周期（ $\Delta_a$ ）的整数倍（ $K > 1$ ），从而允许语义更新在不阻塞关键动作截止时间的情况下机会性地发生。

B. 延迟分解与前填充主导

本工作的一个核心实证观察是，在紧凑的边缘部署环境中，端到端延迟主要由多模态前填充（pre-fill）主导，而非令牌解码。

前填充成本（ $P$ ）：约 47.8 毫秒（共享的视觉 - 语言提示传递）。
边际解码成本（ $D_i$ ）：每个令牌约 1.4 毫秒。
推论：对于短输出（例如单个动作令牌），前填充比例（ $\rho$ ）约为 94.4%。这意味着优化解码的令牌数量带来的收益递减；系统的瓶颈在于初始的图像 - 语言融合。因此，只要不不必要地重新计算前填充路径，系统就可以以较低的速率运行需要更多令牌的语义解码，而不会显著影响动作循环。

C. 知识保留微调

为了使模型专门适应航空任务，同时避免对通用视觉 - 语言能力的“灾难性遗忘”，作者采用了一种混合损失训练目标：
$\mathcal{L} = \lambda_a\mathcal{L}_{act} + \lambda_s\mathcal{L}_{sem} + \lambda_g\mathcal{L}_{gen} + \lambda_{kp}\mathcal{L}_{kp}$

$\mathcal{L}_{act}$ ：反应式飞行数据（动作令牌）。
$\mathcal{L}_{sem}$ ：航空语义数据（场景描述）。
$\mathcal{L}_{gen}$ ：通用标题/VQA 监督，以维持广泛的胜任能力。
$\mathcal{L}_{kp}$ ：可选的知识保留正则化器（针对预专门化骨干网络进行蒸馏），以防止模型退化为狭窄的动作分类器。

3. 主要贡献

前填充主导性的识别：该论文确立了对于紧凑型边缘部署的 VLA 而言，“首次动作时间”是主要的系统瓶颈，其驱动力是多模态前填充而非解码长度。
双速率调度器：引入了一种调度策略，在单个 Jetson AGX Orin 上实现了19.74 Hz的外环动作发射，同时保持6.08–6.67 Hz的句子级语义感知。
知识保留训练：一种微调方案，成功平衡了反应式飞行性能与保留的通用视觉 - 语言能力（CIDEr 和 F1 分数）。
系统级定位：与最近的先进框架（AnywhereVLA、FutureVLA、ReMem-VLA）进行的对比分析表明，LiteVLA-H 在动作方面实现了更高的边缘推理速率，同时保留了周期性的语义感知，且没有在该特定嵌入式环境中与重型内存或预测模块相关的延迟惩罚。

4. 结果

实验在配备 FP16 精度和 2048 上下文窗口的 NVIDIA Jetson AGX Orin 上进行。

延迟性能：
- 反应式引导：50.65 毫秒（19.74 Hz）。
- 场景标题生成：149.90 毫秒（6.67 Hz）。
- 情境感知（3 个句子）：164.57 毫秒（6.08 Hz）。
- 语义分支比动作分支慢约 3 倍，验证了双速率方法的可行性。
消融研究：
- 数据混合：仅针对动作的微调导致了严重的灾难性遗忘（CIDEr 降至 0.31）。添加通用标题/VQA 复训恢复了通用能力（CIDEr 0.82），同时将动作成功率保持在仅比仅动作变体低 1.1% 的水平。
- 运行时效率：与单速率语义执行（6.67 Hz）或内存密集型变体（ReMem-VLA、FutureVLA）相比，LiteVLA-H 保持了高动作速率（19.74 Hz），仅比仅动作基线增加了 0.1 GB 内存和 3.6 W 功耗。
- 闭环性能：在模拟跑道导航和硬件障碍课程中，LiteVLA-H 分别实现了**84.1%和81.3%**的任务成功率，在硬件设置中优于 ReMem-VLA（78.2%）和 FutureVLA（70.0%）等基线，且延迟显著更低（50.65 毫秒对比 205–250 毫秒）。

5. 意义与主张

该论文将 LiteVLA-H 定位为并非对所有机器人环境具有普遍优势，而是作为紧凑型机载航空领域的专用解决方案。

设计哲学：作者认为，机载 VLA 的设计应将首次动作时间与句子级响应延迟分开优化。通过认识到前填充的主导地位，他们证明了单个模型可以有效地服务于两个时间尺度。
安全与控制：该系统设计为在外环级别运行，提供引导命令而非直接电机控制。这种分离允许 VLA 被下游安全逻辑过滤（例如限制命令、紧急停止），从而减轻了模型本身的安全负担。
谦逊性：作者承认局限性，指出最有力的证据是机载推理时序。仍需要在不同的风、光照和载荷条件下进行更广泛的闭环飞行评估。由于硬件和形态的差异，与先前工作的比较并未完全受控，但该论文声称，在报告的 Jetson AGX Orin 部署下，他们的双速率方法在反应性和语义感知之间提供了更优越的权衡。

总之，LiteVLA-H 表明，通过利用边缘推理的前填充主导特性并采用双速率调度器，可以部署一个紧凑的 VLA，它既能以近实时速度（20 Hz）进行反应，又能为航空自主性提供有意义的语义上下文（6 Hz）。