🤖 AI

Missing Bridges: Composition-Aware Active Imitation Learning

本文介绍了 AALT，一种具备组合感知能力的主动模仿学习框架，该框架通过策略性地请求“桥接”演示以最大化多任务领域的任务连通性，从而最大限度地减少专家工作量，在 72 个机器人任务上实现了 100% 的成功率，且所需的演示和转换次数显著低于现有基准方法。

原作者： Maxwell J. Jacobson, Ahmed H Qureshi, Yexiang Xue

发布于 2026-09-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Maxwell J. Jacobson, Ahmed H Qureshi, Yexiang Xue

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

机器人正变得越来越能够执行复杂的任务，从组装汽车零件到整理货架。然而，教机器人学习新技能通常需要人类专家演示整个动作序列，这个过程缓慢、耗费人力且难以规模化。如果一个机器人需要学习如何从杂乱的桌子上拿起一个红色的杯子，人类可能必须向它展示完成该特定任务的具体方式。如果桌子的布局稍有变化，或者机器人需要拿起一个蓝色的杯子，人类往往需要重新开始演示过程。这造成了一个瓶颈：机器人需要学习的任务越多，专家就需要花更多时间来教导它。研究人员现在正在探索一种更聪明的教机器人的方法，即让机器人自己决定下一步需要学习什么。与其被动地接受指令，一个主动学习者会请求进行特定的演示，从而以最小的努力解决最多的问题。

普渡大学的一个研究小组开发了一种名为 AALT 的新方法，全称是“通过潜在拓扑结构的自适应智能体”（Adaptive Agents via Latent Topologies），用以解决这一问题。他们的工作聚焦于机器人领域的一个特定挑战：如何在只有少量初始示例的情况下，教机器人处理大量不同的场景。想象一下，一个机械臂的任务是从架子上按特定顺序取回三个特定颜色的罐子。架子的排列方式可能有许多种，罐子的顺序也可能随着每一次新的工作指令而改变。虽然可能存在数十种起始位置和目标的组合，但研究人员发现，机器人并不需要针对每一种情况都进行独特的演示。相反，许多这些任务都拥有共同的中间步骤。例如，一个清除左侧路径的动作，无论是在取回红色、蓝色还是绿色罐子时，都可能非常有用，这取决于该动作之前或之后的步骤。

研究人员构建了一个将这些共享动作视为“构建模块”的系统。他们首先教机器人一小组演示，系统会将这些演示组织成一张“枢纽”（hub）状态图。这些枢纽就像城市中的主要交通枢纽，不同的路径在此汇聚或分叉。例如，一个枢纽可能代表一个架子已被部分清空的某种状态，而在这种状态下，可以触及多种不同的物品。随后，系统会寻找这些枢纽之间缺失的连接，即“桥梁”（bridges）。如果机器人知道如何到达清空的架子，也知道如何从清空的架子上取物，但它不知道最初该如何清空架子，那么系统就会识别出这个缺失的环节是下一步最有价值的学习内容。它会请求人类专家仅演示这个特定的“桥梁”，而不是要求进行一个完整的、从头到尾的完整任务演示。

这种方法与旧方法形成了对比，旧方法是根据演示对机器人理解专家行为的整体提升程度来请求演示。那些旧方法通常请求冗长的、完整的演示，虽然解决了某个特定问题，但即便机器人只需学习一个简短的连接动作就能解决许多其他问题，它们也会要求完整的演示。新方法 AALT 则专门寻找那些能解锁最多新可能性的短演示。在利用 UR5e 机械臂进行的模拟环境中，研究人员通过一个涉及 72 种不同“起始点与目标”组合的任务测试了这一想法。机器人最初拥有包含 24 次演示的数据集，仅覆盖了部分任务。使用这种新方法，机器人仅请求了三次额外的演示，总共只有五个短动作。这三次请求足以连接现有的知识块，使机器人能够成功解决全部 72 个任务。

相比之下，在同一模拟中测试的最强现有方法需要 20 次演示，总计近 100 次动作，才能达到约 89% 的成功率。旧方法之所以经常失败，是因为它们请求的演示过于冗长或过于具体，导致机器人在组合行为方面留下了空白。新方法之所以成功，是因为它关注问题的结构，识别出那些能够让机器人自行组合方案的精确缺失环节。研究人员发现，机器人请求的那三个“桥梁”在许多不同的最终解决方案中都被重复使用了，这证明了一次短小的演示就能赋能广泛的未来任务。这表明，通过提出正确的问题，机器人可以比以往认为的更高效地学习如何应对复杂的世界。

这项研究完全是在模拟环境中进行的，这意味着结果是在计算机模型上的机器人和货架上观察到的，而非物理硬件。虽然模拟过程非常严谨，且结果在多次试验中保持一致，但研究人员也承认，现实世界的条件（如物理摩擦或意外障碍物）可能会带来新的挑战。他们还指出，该方法在任务具有有意义的中间步骤时效果最好；如果一组任务之间没有共同点，这种方法可能不会如此有效。尽管如此，这些发现为提高机器人学习效率提供了一条清晰的路径。通过将重点从记忆整个任务转向理解如何连接行为，这项工作表明，机器人可以通过显著减少的训练数据变得更加适应环境，将几次简单的演示转化为庞大的能力库。

技术摘要：缺失的桥梁：具备组合感知能力的主动模仿学习

问题定义

本文探讨了在大规模、结构化任务族中的基于目标的活跃模仿学习（Active Imitation Learning, IL）。在这些场景中，智能体从不完整的专家演示数据集中开始，并在有限的预算下请求额外的演示。核心挑战在于，当任务的起始-目标对数量呈组合爆炸式增长时（例如，机器人从各种货架配置中检索特定物体序列），现有的方法往往难以应对。然而，这些任务的解决方案通常共享可重用的中间行为。

现有的主动模仿学习方法，特别是**以策略为中心（policy-centric）的方法（如主动多任务微调 AMF），根据对专家策略的预期信息增益来选择演示。虽然这些方法在减少特定状态下动作不确定性方面非常有效，但它们往往无法显式地衡量任务的组合结构（compositional structure）**价值。因此，它们可能会请求冗余的、针对完整任务的演示，这些演示仅能解决极少数特定实例，而无法请求能够连接现有可重用行为并从而解锁大量未见任务的短促“桥梁（bridge）”演示。

方法论：通过潜在拓扑实现的自适应智能体 (AAL T)

作者提出了 AALT，一种具备组合感知能力的主动模仿学习方法，它优先考虑基于预期增加**起始-目标连通性（start–goal connectivity）**的演示。

1. 潜在拓扑构建

AALT 将演示轨迹组织成一个潜在拓扑 $\Gamma = (H, E)$ ：

枢纽状态（Hub States, $H$ ）： 该方法识别潜在空间中的“收敛”和“发散”枢纽。这些是多条不同轨迹汇聚（例如，移动障碍物后的货架状态）或分叉（例如，从某个状态开始进行不同检索顺序）的状态。
边（Edges, $E$ ）： 有向边代表连接这些枢纽的已演示行为。
可靠性估计： 每条边 $e$ 被分配一个执行可靠性 $r_e \in [0, 1]$ ，该值通过由执行结果更新的 Beta 分布进行估计。

2. 获取策略：最大化连通性

AALT 不是查询完整的任务，而是查询桥梁演示（bridge demonstrations）——即连接两个尚未连接的现有枢纽之间的短路径。

连通性度量： 该方法将任务 $(s_0, g)$ 的支持度定义为从起始枢纽到满足目标之枢纽的最可靠路径的可靠性。全局度量 $C(\Gamma)$ 是目标任务分布上的预期可靠性。
选择准则： AALT 通过计算连通性增益 $\Delta(e) = C(\Gamma + e) - C(\Gamma)$ 来评估候选桥梁 $e$ 。它贪婪地选择使该增益最大化的桥梁。
理论证明： 作者证明了连通性增益可以作为**加权可达性信息增益（weighted reachability information gain）**的代理指标。具体而言，在二元可靠性假设下，关于任务可达性的信息增益精确地分解为获取桥梁的不确定性和连通性增益。在软可靠性条件下，连%，连通性增益提供了该信息增益的下界。

3. 推理与执行

在推理阶段，AALT：

匹配当前观测值到一个起始枢纽（使用学习到的匹配器）。
规划一条通往满足目标之枢纽的路径，使用 Dijkstra 算法，并将边权重设为 $-\log(r_e)$ 。
执行该路径，使用共享扩散策略（shared diffusion policy）。该策略以当前观测、历史记录以及当前与目标枢纽的潜在嵌入（latent embeddings）为条件，生成低层级动作以顺序遍历每条边。

核心贡献

组合感知目标： 本文引入了一种全新的获取目标，该目标显式地衡量了演示对于将现有行为组合成新任务解决方案的能力，这与标准的以策略为中心的信息增益形成了对比。
潜在拓扑框架： AALT 构建了一个动态拓扑，包含可重用的枢纽状态和行为，使智能体能够抽象地推理任务的可达性。
理论联系： 作者正式建立了连通性增益与可达性信息增益之间的关系，证明了优化连通性是最大化可达任务集的一个有效代理手段。
高效的桥梁选择： 该方法证明，请求短小且具有针对性的桥梁演示，比请求完整任务演示或使用基于策略不确定性的选择方法，在样本效率上显著更高。

实验结果

该方法在模拟的 UR5e 机器人检索领域进行了评估，涉及 72 个起始-目标任务（6 种货架布局与 12 种有序工作指令的组合）。初始数据集包含 24 个演示，仅覆盖了“族内（intra-family）”任务（即匹配对应的货架布局与工作指令），留下了 48 个跨族（cross-family）任务未解决。

性能表现： AALT 仅使用 3 个专家演示（总计 5 个转换/transitions）就实现了 100% 成功率（72/72 任务）。
对比分析：
- AMF-Full（以策略为中心，查询完整任务）：在 20 个演示（171.6 个转换）后，成功率仅为 46.9%。
- AMF-Bridge（以策略为中心，查询桥梁）：在 20 个演示后，成功率为 82.5%。
- Random-Bridge（均匀随机选择桥梁）：在 20 个演示后，成功率为 88.6%。
效率： AALT 所需的转换次数显著低于其他方法（5 次 vs. 约 98–171 次）即可达到完美性能。
失败分析： 基准方法的失败通常是由于缺乏获取路径（缺失连通性），而 AALT 在获取初始桥梁后不存在失败情况。AALT 获取的三个桥梁分别在 18、10 和 8 条最终任务路径中被重复使用，展示了高度的可组合性。

重要性与主张

本文声称 AALT 代表了从**策略精炼（policy refinement）到能力扩展（capability expansion）**的转变。通过识别许多复杂任务共享可重用的子行为，AALT 指出，识别这些行为之间的“缺失环节”（桥梁）是请求演示中最具价值的部分。

作者指出，通过关注连通性而非仅仅是策略不确定性，他们的算法允许智能体以极小的专家成本扩展到组合式的任务空间。他们强调，虽然以策略为中心的方法在学习特定行为方面有效，但在具有明确结构化特征的领域中，其效率较低，因为在这些领域中，一个短小的演示就能解锁大量此前无法解决的任务。这项工作表明，对于具有清晰组合结构的领域，通过潜在拓扑优化任务可达性是一种更优的策略。