💻 computer science

Vision Language Action (VLA) Models for Unmanned Aerial Robotics and Bimanual Manipulation: A Review

本综述通过对 2017 年至 2026 年间的 183 项研究成果进行综合分析，旨在展示最初为复杂双臂操作而开发的视觉-语言-动作（VLA）模型，如何通过共享的协调策略、训练方案和动作表示，有效地应用于解决无人机机器人领域的挑战。

原作者： Inkyu Sa, Chanoh Park, Hea-Min Lee, Donghee Noh, Ho Seok Ahn

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Inkyu Sa, Chanoh Park, Hea-Min Lee, Donghee Noh, Ho Seok Ahn

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和日常类比对该论文进行的解释。

核心理念：教机器人同时进行“思考”与“行动”

想象一下，你正在教一个机器人折叠毛巾，或者教一架无人机飞向某栋特定的建筑。在过去，你必须手动编写每一个动作的程序，就像为每一步都提供带有精确测量值的食谱一样。

这篇论文综述了一种新型的机器人大脑，称为 VLA（视觉-语言-动作）模型。可以将 VLA 想象成一个读遍了整个互联网（图像和文本）并了解世界运作方式的机器人。现在，你只需要对它说话：“折叠毛巾”或“飞向那栋红色的建筑”。机器人会观察它的摄像头，理解你的话语，并由它自己搞定物理层面的动作。

论文重点讨论了两个对机器人来说非常困难的任务：

双臂机器人（Bimanual）： 就像人类使用双手折叠衣物或组装纸箱一样。
飞行机器人（无人机）： 比如一架需要一边平稳飞行，一边可能还要拿着机械爪去抓取物品的无人机。

作者认为，我们用来教双臂机器人的技巧，正是教导飞行无人机所需的完全相同的技巧。

工作原理：“大脑”与“肌肉”

论文将这些机器人的构建分解为三个主要部分：

1. 大脑（视觉-语言模型）
想象一个拥有看过数百万个 YouTube 视频并读过数百万本书的大脑。它知道什么是“毛巾”，知道“折叠”是什么样子，也知道什么是“红色建筑”。这部分机器人能够理解你的语言和摄像头的图像。

2. 肌肉（动作生成）
一旦大脑理解了目标，它就需要告诉机器人的手臂或电机该做什么。论文对比了机器人决定动作的三种方式：

“逐字逐句”法（自回归法/Autoregressive）： 机器人尝试像描述句子一样描述动作，一次一个词（例如，“向左移动”，然后“向上移动”）。这种方式很慢，且动作可能显得笨拙，就像试图通过逐一说出“踩油门”然后“转方向盘”来驾驶汽车一样。
“去噪”法（扩散模型/Diffusion）： 想象机器人从一团模糊、随机的动作开始，然后慢慢将其清理干净，直到它看起来像一条平滑的路径。这就像是用一块粘土雕刻出一尊雕像。它非常精确，但“雕刻”过程需要很长时间。
“流”法（流匹配/Flow Matching）： 这是目前的优胜者。想象机器人学习的是一条平滑的河流水流。它不是在猜测路径，而是学习一种自然携带落叶从 A 点到 B 点的水流。它快速、平滑，非常适合协调双臂或无人机的飞行。

3. “分块”（Chunking）技巧
机器人不仅仅是预测下一瞬间的动作，而是会一次性预测未来一整块（例如接下来 1 秒钟）的动作。

类比： 想象你在玩电子游戏。如果你只计划下一步，你可能会错过跳跃。但如果你将接下来的 10 步作为一个连贯的平滑动作进行规划，你就能更好地应对障碍物。这有助于机器人让两只手臂保持完美的同步运动。

两大主要挑战

1. 双臂舞步（双臂操作）
折叠一件衬衫很难，因为你的左手必须拿着衬衫，而右手负责折叠。如果它们配合得不完美，衬衫就会起皱。

论文的发现： 最好的机器人不会分别指挥左手和右手移动。相反，它们将两只手臂视为一个整体团队。它们在单个“分块”中同时预测两只手臂的运动。
结果： 使用这种方法的机器人，其折叠毛巾的成功率在短短几年内，从大约 30% 提升到了 90% 以上。

2. 飞行机器人（无人机技术）
驾驶无人机就像用手平衡一根扫帚，非常不稳定。如果你再加上一个用于抓取物品的机械爪，难度会进一步增加。

论文的发现： 同样的“双臂”技巧也适用于无人机。带机械爪的无人机本质上是一个既要控制飞行，又要操作“单臂”的机器人。论文表明，用于折叠毛巾的“流”法和“分块”法也是让无人机飞行平稳并完成抓取任务的最佳方式。

机器人如何学习：从观察到练习

论文解释说，仅仅给机器人看一段人类做任务的视频是不够的，机器人还需要练习。

模仿学习（Imitation Learning）： 机器人通过观察人类（通过遥操作）来模仿他们。这就像学生抄袭老师的作业。
问题所在： 如果老师犯了错，机器人也会模仿这个错误。此外，人类的操作通常是缓慢且谨慎的。
解决方案（RECAP）： 论文强调了一种新的方法，即让机器人进行自主练习。它尝试执行任务，然后由一个“评委”（另一个 AI）告诉它成功还是失败。机器人随后再次尝试，从自身的失败中学习。
类比： 这就像一个学生不仅抄写老师的作业，还会参加模拟测试，根据评分纠正错误，并不断学习，直到拿到 A 等级。这种方法让机器人的成功率比人类能教给它们的水平还要高出 10% 到 40%。

未来展望：下一步是什么？

论文最后提出了一个路线图，指出虽然我们取得了巨大进步，但仍存在障碍：

标准化测试： 目前，每个实验室都在用不同的任务测试机器人。我们需要一个标准的机器人“驾照”考试，以便公平地比较谁的表现更好。
安全性： 拥有双臂或飞行能力的机器人需要在人类周围保持安全。我们需要更好的方法来保证它们不会撞毁或伤及他人。
现实世界的可靠性： 机器人在实验室表现出色，但现实世界是混乱的（有风、地面湿滑、光线诡异）。我们需要能够应对这些突发状况而不损坏的机器人。
“双系统”设计： 最有前景的路径是“慢大脑，快肌肉”的方法。一个聪明但反应较慢的大脑负责制定计划（例如，“去厨房”），而一个快速且简单的肌肉系统负责处理快速动作（例如，“手臂向左移动 5 英寸”）。这种将“思考”与“执行”分离的设计，可以使过程更快、更安全。

总结

这篇论文综서了机器人如何学习利用视觉、听觉和大脑来驱动身体运动。它表明，教机器人使用双手或驾驶无人机的最佳方式，是让它学习平滑且连续的运动（流匹配），并让它进行自主练习（强化学习）。技术正在飞速发展，正在将科幻小说转化为可以折叠衣服和驾驶无人机的现实工具。

技术摘要：用于无人驾驶航空器与双臂操作的视觉-语言-动作（VLA）模型

1. 问题定义与范围

本综述探讨了视觉-语言-动作（VLA）模型在两个不同但结构相似的机器人领域中的融合：双臂操作（bimanual manipulation）与无人驾驶航空器（UAVs）。尽管 VLA 研究在操作领域已取得快速进展——特别是针对需要两个 7 自由度（DOF）以上机械臂在部分可观测条件下进行协作的任务（例如折叠衣服、组装纸箱）——但其在航空系统中的应用仍处于起步阶段。

核心问题是如何从共享的视觉和语言观测中生成耦合的多智能体动作。无论是协调两个机械臂，还是协调无人机集群（或带有操作器的无人机），系统都必须将摄像机图像和自然语言指令（例如“折叠毛巾”或“飞向那栋红色的建筑”）映射为高频电机指令。现有的综述未能将这些视为同一个 VLA 问题，通常要么侧重于缺乏底层控制的高层规划，要么侧重于特定的架构而缺乏跨具身性（cross-embodiment）分析。本文通过将 183 项贡献（2017–2026）组织进一个统一的框架中来填补这一空白，分析了为双臂系统开发的策略如何迁移至航空机器人领域。

2. 方法论与框架

本综述沿七个维度进行构建，将 VLA 策略 $\pi_\theta$ 正式化为从视觉观测 $o_t$ 、语言指令 $\ell$ 和本体感受状态 $q_t$ 到动作空间 $A$ 的映射。

2.1. 架构家族

本文根据动作生成机制对 VLA 架构进行了分类：

自回归（Autoregressive, AR）： 像 RT-2 和 OpenVLA 这样的模型将连续动作离散化为文本 Token。虽然具有可扩展性，但它们存在量化误差和序列延迟问题，使其不太适合高维的双臂控制。
基于流的模型（Flow-Based）： 像 $\pi_0$ 这样的模型利用流匹配（flow matching）来生成连续的动作块（action chunks）。这种方法避免了量化，并且通过 $K=10$ 步实现了良好的延迟-质量平衡，适用于 50 Hz 的控制。
基于扩散的模型（Diffusion-Based）： 像 RDT-1B 和 Octo 这样的模型使用去噪扩散概率模型。它们擅长建模多模态动作分布，但与流匹配相比，推理延迟较高（ $K=50\text{--}100$ 步）。
混合型（Hybrid）： 像 HybridVLA 这样的架构结合了用于离散决策（例如夹持器开/关）的 AR 头和用于连续轨迹的扩散/流头，充分利用了两者的优势。

2.2. 训练方案与数据策略

本文确定了一个趋同的三阶段训练流水线：

VLM 预训练： 使用大规模互联网规模的图文模型（如 PaLIGemma, Prismatic）进行初始化，以继承语义接地能力。
机器人预训练： 在大规模、跨具身数据集（如 Open X-Embodiment, DROID）上进行微调。综述强调，数据多样性（跨越多种机器人和环境）是比原始数据集规模更可靠的泛化杠杆。
特定任务微调与强化学习（RL）： 适应特定的双臂或航空任务。至关重要的是，本文强调了基于自主能力的强化学习（RECAP），即 VLA 通过自主练习并使用基于 VLM 的评估器作为奖励信号，从而超越演示数据的质量。

2.3. 动作表示

动作分块（Action Chunking）： 在单次前向传播中预测 $H$ 个未来的动作序列（通常在 50 Hz 下 $H=50$ ）是标准做法。这摊薄了推理延迟，并捕捉了对于协调双臂运动至关重要的时序相关性。
实时执行： 文中讨论了实时分块（RTC）和双向解码（BID）等技术，以缓解延迟与反应性之间的权衡，使系统能够在不等待完整分块执行的情况下对扰动做出响应。

3. 主要发现与结果

3.1. 双臂操作

最先进性能： 基于流的 VLA（特别是 $\pi_0$ 及其后续模型 $\pi_{0.5}$ 和 $\pi^*_0$ ）目前在双臂基准测试中占据主导地位。它们在诸如折叠衣物和组装纸箱等任务上的成功率超过 90%，较之早期方法（如 ACT 的 ~30% 成功率）有了显著提升。
协作策略： 联合动作空间预测（同时预测两个机械臂）被证明对于紧耦合任务更为优越，因为它允许模型从数据中学习隐式协作模式，而无需显式的耦合机制。
长程任务： 将复杂指令分解为子目标的层次化架构（如 $\pi_{0.5}$ ）支持跨越数分钟的任务，而增强记忆的系统（如 MEM）则将其扩展到了 15 分钟的时界。

3.2. 无人驾驶航空器

新兴领域： 航空 VLA 的成熟度比操作领域落后约两年。虽然存在强大的独立组件（基于 RL 的敏捷飞行、VLN 基准），但用于物理无人机的集成端到端 VLA 系统才刚刚兴起（例如 CognitiveDrone, DroneVLA, AIR-VLA）。
可迁移性： 综述表明，为双臂系统开发的协作策略（联合动作空间、层次化规划）和动作表示（分块）可以直接迁移到航空操作（如带夹持器的无人机）和多无人机集群中。
挑战： 航空系统面临更严格的延迟约束（稳定飞行需 $\ge$ 100 Hz）以及由于风力和空气动力学效应导致的更复杂的从仿真到现实（sim-to-real）差距。

3.3. 工业部署趋势

本文指出，行业（2025–2026）正转向双系统架构（将慢速推理模块与快速动作模块分离）和持续自我改进循环。Google 的 Gemini Robotics 和 Dyna 的 DYNA-1 等系统利用这些模式实现了生产中的高可靠性（99%+ 成功率），验证了大规模应用下的 RECAP 范式。

4. 核心贡献

统一分类法： 本文提供了第一个涵盖架构、训练方案、动作表示及跨领域应用（双臂与航空）的全面分类法，涉及 183 项贡献。
跨领域分析： 它明确地将双臂协作策略与多无人机及航空操作系统联系起来，展示了洞察（例如用于平滑轨迹的流匹配）如何在不同具身之间进行迁移。
研究路线图： 作者确定了 14 个关键研究方向，包括：
- 标准化的双臂基准测试（目前是一个主要空白）。
- 灵巧、感知力及多模态的操作。
- 用于无人机控制的端到端 VLA。
- 通过可扩展数据收集和安全认证来弥合研究与生产之间的鸿沟。

5. 意义与主张

本文声称，该领域已超越了概念验证演示阶段，进入了一个基于流的、流匹配架构结合跨具身预训练与自主强化学习代表着实现现实世界部署最可行路径的阶段。

作者认为，未来最有效的系统不会是单体式的端到端模型，而是将语义推理与高频控制分离的双系统设计。此外，他们断言，通过自主练习实现的持续自我改进是超越遥操作演示性能极限的关键机制。

综述总结道，虽然双臂操作已趋于成熟，但无人驾驶航空器有望通过采用这些成熟的 VLA 框架来实现类似的加速。这两个领域的融合表明，未来的具身智能将由一个单一且可迁移的基础模型来定义，该模型能够跨越多种机器人形态运行，从双臂操作器到无人机集群。