🤖 machine learning

Autonomous Aerial Manipulation via Contextual Contrastive Meta Reinforcement Learning

本文介绍了 Aco2，一种上下文对比元强化学习框架，该框架使四旋翼无人机能够通过从交互历史中推断潜在上下文，以适应多变的负载动力学，从而在无需现实世界微调的情况下，自主完成带有手柄的各类物体的抓取、运输和交付任务。

原作者： Lixuan Jin, Bingxuan Lan, Xinyi Bao, Xiangyuan Xie, Chunjie Zhang, Zheng Chen, Tianshuo Liu, Ruijie Tian, Jinyu Ru, Gang Wang, Lei Yuan, Yang Yu

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Lixuan Jin, Bingxuan Lan, Xinyi Bao, Xiangyuan Xie, Chunjie Zhang, Zheng Chen, Tianshuo Liu, Ruijie Tian, Jinyu Ru, Gang Wang, Lei Yuan, Yang Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，无人机不仅仅是一个会飞的摄像机，而是一个拥有非常特定且棘手工作的飞行快递员：它必须在周围飞行，使用一个简单的挂钩抓取悬挂物体（如袋子或盒子），将其运送到别处，然后放下——而且不需要人类为每一个新物体都告诉它具体该怎么做。

这就是这篇论文所解决的挑战。以下是他们解决方案 Aco2 的拆解，使用了简单的类比。

问题所在：“沉重背包”效应

大多数无人机都是针对固定重量设计的。如果你突然给无人机背上一个沉重的背包，它的飞行状态就会发生变化。它会摇晃、减速，甚至可能坠毁。

旧方法： 科学家通常构建一个假设重量已经挂载好的无人机，或者使用复杂的数学计算来在飞行前精确算出物体的重量。这就像一个司机只知道如何驾驶载有特定货物的汽车；如果后座加了一架钢琴，他们就不知道该如何开车了。
现实世界的混乱： 在现实世界中，物体是非常奇特的。有些很重，有些很轻，有些装满了晃动的液体，有些则装满了空气。你无法为每一袋杂货或医疗包提前计算好数学模型。

解决方案：一个“智能直觉”系统

研究人员创建了一个名为 Aco2（通过上下文对比元强化学习实现的自主空中操控）的系统。这个名字很绕口，让我们把它拆解成三个简单的部分：

1. “体操运动员的记忆”（上下文元强化学习）

想象一位在各种高低杠上练习过的体操运动员。当她看到一个新的单杠时，她不需要用尺子去测量。她只需要“感觉”一下，迈出几步，身体就会根据杠子的手感瞬间调整平衡。

Aco2 是如何做的： 无人机并不试图去猜测物体的重量。相反，它观察自己最近的历史记录：“我刚才移动了机翼，无人机倾斜了这么多。”它利用这种感觉来瞬间判断：“噢，这个物体又重又晃，”或者“这个物体很轻且稳定。”它能像体操运动员一样，在飞行过程中即时调整自己的飞行风格。

2. “分拣帽”（对比学习）

这里有一个难点。如果无人机试图同时学习如何带着重箱子和轻袋子飞行，它可能会感到困惑，并学到一种对两者都不适用的“折中”飞行方式。这就像试图同时学习演奏重金属音乐和古典钢琴，却不去区分风格，结果最后只能弹奏出一种混乱的混合体。

解决方法： 研究人员添加了一个特殊的“分拣”规则（对比目标）。这就像一位老师告诉学生：“当你带着重箱子飞行时，记住这种感觉。当你带着轻袋子飞行时，记住那种感觉。确保你永远不要把它们混淆。”
结果： 无人机学会了在脑中将这些“感觉”（或上下文）分开存储。这使得它能够立即识别出：“啊，这是‘重箱子’的感觉，”并立即切换到正确的飞行风格。

3. “训练营”（课程学习）

试图一次性学会勾住移动的袋子、搬运它并放下它，对初学者来说太难了。

策略： 无人机在一个“训练营”（模拟器）中进行循序渐进的训练：
1. 第一级： 只学习向挂钩飞行并抓取它。忽略放下物体的过程。
2. 第二级： 现在，学习如何在不剧烈晃动的情况下平稳地搬运物体。
3. 第三级： 最后，学习在正确的位置放下物体。
安全网： 他们还加入了“速度限制”和“倾斜限制”到训练中。如果无人机尝试飞得太快或倾斜得太危险，训练会给予它“暂停时间”（惩罚）。这确保了当它在现实世界中飞行时，不会因为过于激进而导致坠毁。

结果：从电子游戏到现实生活

团队完全在计算机模拟（类似于高端电子游戏）中训练了这个无人机，在那里他们向它投掷了成千上万个随机不同的物体。

神奇之处： 他们将无人机的“大脑”从视频游戏中直接提取出来，并安装到了真实的物理无人机上。他们没有在现实世界中对其进行重新训练或调整设置。
测试： 他们让无人机去抓取并搬运它从未见过的东西，比如形状怪异的水果篮，或者是里面食物会随着飞行而晃动的饭盒。
结果： 无人机成功地抓取、搬运并放下了这些物品。它处理“晃动”的食物和“奇形怪状”的物体，表现得就像处理训练中的物体一样出色。

为什么这很重要

这篇论文表明，我们可以教会无人机成为灵活的快递员。我们不需要人类为每一个新包裹计算数学公式，无人机可以“感觉”到包裹并即时调整其飞行状态。这是朝着使用无人机执行现实任务（如运送应急物资或搬运重型工业零件，其中负载总是多变且不可预测）迈出的重要一步。

简而言之： 他们教会了无人机成为一个“变色龙”，能够根据携带的物体即时改变其飞行风格，通过一种特殊的训练方法，让它对不同物体的“记忆”保持有序且清晰。

技术摘要：基于上下文对比元强化学习的自主空中操控 (Aco2)

问题定义

本文解决了**自主空中操控（Autonomous Aerial Manipulation）**的挑战，即无人机在无需人工干预的情况下，自主完成抓取、运输并交付带有不同手柄的各种物体的端到端任务。现有方法通常存在显著局限性：

对预挂载的依赖： 许多方法假设载荷在飞行前已由人工挂载，未能解决自主获取载荷的问题。
缺乏通用性： 依赖显式建模或专用夹具的方法难以泛化到具有不同质量、几何形状和惯性属性的物体上。
载荷多样性有限： 当前基于学习的演示通常局限于简单的轻型物体（如杯子、毛绒玩具），无法处理在现实物流和应急物资供应场景中常见的沉重、笨重或形状不规则的载荷。

核心难点在于，挂载载荷会剧烈改变四旋翼无人机的飞行动力学特性（质量、质心、空气动力学阻力）。控制策略必须能够在没有手动校准或显式系统辨识的情况下，在线适应这些未知且变化的动力学特性。

方法论：Aco2 框架

作者提出了 Aco2（基于上下文对比元强化学习的自主空中操控），该框架旨在学习一种能够实现向多种载荷零样本迁移（zero-shot transfer）的单一策略。

1. 基于上下文的策略架构

该系统将问题建模为一个部分可观测马尔可夫决策过程（POMDP），其中潜在上下文 $\mu$ 代表未观测到的载荷及系统属性。

观测编码器： 策略接收观测历史（无人机状态、载荷杆状态、相对于任务的几何向量）以及前一时刻的动作。
上下文推断： 基于 GRU 的上下文编码器处理交互历史，以推断出一个紧凑的潜在嵌入（latent embedding）。该嵌入作为当前载荷动力学的摘要，使策略能够进行在线自适应。
控制接口： 策略输出集体推力与机身速率（CTBR）指令，这是一种标准的低层飞行控制器接口。

2. 上下文对比学习

为了防止潜在上下文塌陷为通用表示（这是多任务学习中的常见问题），作者引入了对比辅助目标（Contrastive Auxiliary Objective）。

机制： 在训练期间，系统采用监督对比损失（InfoNCE 变体）。来自同一载荷上下文的轨迹段在嵌入空间中被拉近，而来自不同上下文的片段则被推开。
目标： 这使得上下文嵌入能够显式捕捉任务相关的变化（例如质量、几何形状），确保下游的执行器（actor）和评论家（critic）能够基于具有判别性的载荷摘要进行调节。

3. 课程学习与奖励设计

学习完整的序列（挂钩、运输、脱离）是一个高难度的优化过程。作者采用了课程学习策略：

第一阶段（训练早期）： 策略专注于钩住手柄并运输物体。此时禁用退出奖励和正则化成本，以鼓励探索和成功的获取过程。
第二阶段（训练后期）： 激活正则化成本（动作平滑度、速度限制、倾斜惩罚）和退出奖励。这强制执行了符合硬件要求的行为，例如更平滑的控制输入和更安全的飞行姿态，一旦基本任务被习得。
基于阈值的奖励： 正则化成本仅在超过特定阈值（如速度或倾斜角）时才会被激活。这避免了与任务完成产生冲突，同时惩罚不安全行为。

4. 仿真到现实的迁移 (Sim-to-Real Transfer)

系统完全在 NVIDIA Isaac Sim 中进行训练，并应用了广泛的领域随机化（domain randomization）。随机化参数包括载荷质量、质心偏移、电机延迟、推力噪声和观测噪声。该策略被部署在物理四旋翼无人机上，无需任何现实世界的微调（零样本迁移）。

核心贡献

Aco2 框架： 一种结合了基于上下文的推断与对比学习的新型元强化学习方法，用于处理由多样化载荷引起的剧烈飞行动力学变化。
对比上下文结构化： 引入了对比目标，能够显式分离不同载荷的表示，从而减轻表示塌陷并提高泛化能力。
课程与奖励设计： 采用两阶段课程学习和基于阈值的正则化，平衡了激进的任务完成能力与物理飞行的稳定性要求。
零样本现实世界部署： 成功演示了在物理四旋翼无人机上的全自主交付循环（挂钩、运输、脱离），载荷范围从 0.46 kg 到 0.90 kg，包括未见过的几何形状和动态载荷（如移动的餐盒）。

实验结果

论文在仿真和现实设置中，针对四类载荷（医疗包、手提包、砝码、水桶）以及各种分布外（OOD）条件（随机化的质量和距离）对 Aco2 进行了评估。

仿真性能： 包含对比学习的变体（w/ CL）显著优于基准模型（w/o CL）。在分布内设置下，平均成功率从 50.1% 提升至 72.3%。在 OOD 条件（质量和距离偏移）下，对比模型表现出更强的鲁棒性，较基准模型分别提升了 14.5% 和 23.4%。
表示质量： t-SNE 可视化证实，对比损失创建了不同载荷之间界限清晰的聚类，而基准模型则显示出重叠的表示。
现实世界部署： 该策略在物理四旋翼无人机上成功执行了完整的交付周期。它处理了：
- 几何变化： 交付了一个具有不规则几何形状和训练中不存在的空气动力学扰动的果篮。
- 动态载荷： 交付了一个装有食物的盒子，其中质心的移动和转动惯量的持续变化在飞行过程中不断发生。
消融实验： 移除对比损失会导致在 OOD 条件下性能大幅下降。移除正则化项（如推力平滑度、倾斜惩罚）会导致飞行不稳定、推力剧烈波动以及鲁棒性降低，证实了其在物理部署中的必要性。

意义与主张

论文声称 Aco2 展示了元强化学习在规模化航空物流、应急物资供应和工业材料运输方面的实际潜力。通过利用无人机快速且无障碍移动的特性，该系统实现了对相对沉重或笨重物体的无人值守交付，而这些物体此前难以实现自主处理。

作者强调，其工作通过实现零样本迁移（无需现实世界微调）弥合了仿真与现实之间的差距。他们指出，目前系统依赖外部运动捕捉进行状态估计，并受限于单台四旋翼的载荷能力。未来的工作建议探索机载视觉惯性里程计（VIO）和多无人机协作，以处理更重的载荷，但目前的贡献重点在于验证上下文对比元强化学习在处理多样化、未建模载荷时，对于单机器人自主操控的有效性。