🤖 machine learning

Zero-shot Imitation Learning by Latent Topology Mapping

本文介绍了 ZALT，这是一种零样本模仿学习方法，通过识别潜在枢纽状态来学习可组合的枢纽间转换，从而使智能体能够在传统方法因误差累积而失效的复杂环境中，成功规划并解决未见过的长程目标条件任务。

原作者： Maxwell J. Jacobson, Yexiang Xue

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Maxwell J. Jacobson, Yexiang Xue

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人穿越一个巨大而复杂的迷宫。机器人需要按非常特定的顺序拾取特定颜色的钥匙、解锁特定的门、抓取闪亮的宝石，并将它们放入桶中。

问题在于，你并没有机器人成功完成所有这些任务每一种可能组合的视频。你只有它完成部分任务的几个视频。如果你试图通过一步步复制原始动作来教机器人完成一个新的、未见过的组合，它很可能会失败。为什么？因为在漫长的旅程中，微小的错误会累积。如果机器人在第 5 步向左转得稍微多了一点，到了第 50 步，它可能已经完全身处错误的房间了。

本文介绍了一种名为ZALT（基于潜在拓扑的零样本智能体）的方法来解决这一问题。以下是其工作原理的简单解释：

1. 问题：“一步步”的陷阱

想象一下，试图通过列出每一个微小的动作来为一道复杂的菜肴写食谱：“拿起勺子，向左移动 2 英寸，手腕倾斜 5 度”。如果在第一个动作上出错，整道菜就毁了。

在本文的迷宫中，机器人必须做出数百个微小的移动（原始动作）才能从起点到达终点。如果机器人试图通过猜测每一个动作来学习一条全新的路径，微小的错误就会堆积，导致它迷失方向。

2. 解决方案：寻找“枢纽”站点

ZALT 审视它拥有的少量视频，并问道：“这些路径在哪里交叉？在哪里分叉？”

它识别出特殊的“枢纽状态”。可以将这些想象成城市中的主要火车站。

汇聚：许多不同的路径通向这个站点（例如，所有人都从北、南和东来到“中央车站”汇合）。
发散：从这个站点出发，你可以前往许多不同的方向（例如，从“中央车站”，你可以乘坐火车去海滩、山区或市区）。

ZALT 不是死记硬背旅程中的每一个步骤，而是将迷宫转化为这些“火车站”的地图。它忽略了站点之间行走的微小细节，专注于站点之间的连接。

3. 如何学习：“拓扑地图”

ZALT 构建了一张心理地图（即“拓扑”），其中：

节点是枢纽站点（如“走廊交叉口”或“钥匙房”）。
边是它们之间已验证的路径（如“从钥匙房到走廊的路径”）。

它学习两件事：

地图：哪些站点相互连接？（例如：“你可以从走廊去门，但前提是你拥有钥匙。”）
驾驶员：它为地图上的每一条路训练一个特定的“驾驶员”（策略）。一个驾驶员确切知道如何从走廊到达门。另一个驾驶员确切知道如何从门到达宝石。

4. 解决新任务：“零样本”魔力

现在，想象你给机器人一个它从未见过的任务：“从后门出发，获取绿色宝石，然后获取红色宝石。”

机器人从未见过这次确切的行程。但是，它知道地图！

它在地图上找到“后门”站点。
它找到“绿色宝石”和“红色宝石”站点。
它查看地图并规划路线：后门站点 -> 走廊站点 -> 钥匙房 -> 绿色宝石站点 -> 走廊 -> 红色宝石站点。
它不猜测步骤。它只是为行程的每一段调用预先训练好的“驾驶员”。它将“走廊到门”的任务交给对应的驾驶员，然后将“门到宝石”的任务交给对应的驾驶员，依此类推。

因为它只在“站点”级别（高层规划）做决策，而不是在“步骤”级别（低层行走）做决策，所以它不会累积微小的错误。它能够仅利用以前见过的片段，拼接出一条全新的旅程。

结果

研究人员在一个包含钥匙、上锁的门和宝石的复杂 3D 迷宫中测试了这种方法。

旧方法（基线）：当面对新任务时，最好的现有方法只有**6%**的成功率。它们迷失了方向，因为它们试图一次性死记硬背整个漫长路径。
ZALT：在它从未见过的任务上，成功率达到了55%。

核心启示

ZALT 就像教一位旅行者，不是展示徒步的每一个步骤，而是展示路标和露营地。一旦他们知道露营地在哪里以及如何往返于它们之间，他们就能弄清楚如何徒步一条从未涉足的新路线，只要这条路线使用的是相同的露营地。

该论文声称，这种方法允许智能体解决它从未见过的长而复杂的任务，只需通过重新组合有限的一组练习视频中发现的“枢纽”（关键位置）即可。

技术摘要：基于潜在拓扑映射的零样本模仿学习（ZALT）

问题定义

本文解决了长视野、基于目标的模仿学习中零样本行为组合的挑战。在该设定下，智能体获得一个固定的离线专家演示数据集，该数据集仅涵盖部分可能的起始 - 目标任务。目标是让智能体在不进行额外环境交互或策略优化的情况下，解决未见过的起始 - 目标组合。

核心难点在于长轨迹中误差的累积。现有方法（如行为克隆或基于模型的模仿）在此类设定下往往失效，因为当智能体尝试组合超出演示起始 - 目标分布的行为时，微小的策略、模型或分布偏移误差会在数百个原始动作步骤中不断放大。本文认为，虽然固定数据集可能缺乏新任务的完整轨迹，但它很可能包含必要的局部行为片段；挑战在于学习如何可靠地重新组合这些片段。

方法：ZALT

作者提出了基于潜在拓扑的零样本智能体（ZALT），该方法将一组固定的演示转换为可组合的、用于规划的高级结构。该方法包含四个主要阶段：

1. 潜在枢纽发现

ZALT 首先通过识别演示数据中的“枢纽状态”来构建行为拓扑。这些枢纽充当可重用的连接点，轨迹在此汇聚或发散。

潜在空间：为了处理高维观测，ZALT 使用低层编码器 - 动力学 - 解码器模型，将状态映射到与动力学对齐的潜在空间。该空间经过训练，能够基于动作预测未来状态，确保行为相似的状态（而不仅仅是视觉相似的状态）被聚类在一起。
枢纽识别：枢纽被定义为满足以下条件的潜在簇：
- 汇聚：多条不同的先前轨迹进入同一簇。
- 发散：单个簇通向多条不同的未来轨迹。
- 起始/终止：初始状态和终止状态也被视为枢纽。
意义：通过识别这些枢纽，ZALT 将长原始动作视野压缩为更短的抽象转换序列，将误差隔离在枢纽之间的连接上，而非整个轨迹。

2. 学习高级枢纽动力学模型

一旦拓扑（枢纽和边的图）建立，ZALT 便学习一个高级动力学模型（ $M^{high}$ ），该模型根据已访问的枢纽序列（ $h_{0:m}$ ）预测下一个枢纽。

上下文感知：与简单的图遍历不同，该模型使用 GRU 来捕捉路径依赖信息。例如，到达走廊枢纽可能导致不同的结果，具体取决于智能体之前是否收集了特定的钥匙。
掩码：模型使用拓扑掩码进行训练；任何演示边不支持的转换被分配零概率，防止规划器尝试不支持的行为。

3. 学习枢纽到枢纽策略

对于拓扑中的每条边（从枢纽 $h_i$ 到 $h_j$ 的转换），ZALT 训练一个特定的低层策略（ $\pi_{h_i}$ ），该策略以目标枢纽嵌入为条件。

行为克隆：这些策略通过在连接特定源枢纽和目标枢纽的演示原始动作片段上进行行为克隆来训练。
鲁棒性：为了处理时间变化和边界检测误差，训练包括随机边界扰动（截断或扩展片段）和观测噪声。

4. 零样本推理

在测试时，给定一个新的起始 - 目标对：

映射：起始观测被编码并匹配到一个起始枢纽（ $h_s$ ）；目标被匹配到一组终端成功枢纽（ $H_g$ ）。
搜索：搜索算法（使用瓶颈转换成本）探索行为拓扑，以找到从 $h_s$ 到任意 $h_g \in H_g$ 的最合理路径。搜索依赖高级动力学模型，根据历史对路径合理性进行评分。
执行：生成的抽象计划（枢纽序列）通过链接相应的学习到的枢纽到枢纽策略来执行。

主要贡献

潜在拓扑映射：提出了一种明确识别和利用潜在枢纽状态（汇聚/发散）作为行为组合可重用连接点的方法。
视野压缩：一种机制，将长视野规划从数百个原始决策减少为短序列的抽象枢纽转换，显著降低了误差累积的机会。
路径依赖动力学：一种高级模型，其未来预测以访问枢纽的序列为条件，而不仅仅是当前状态，使智能体能够推理隐含在路径历史中的上下文（例如，库存状态）。
零样本组合：一个框架，能够解决训练集中从未见过的起始 - 目标对任务，前提是演示数据集中存在必要的局部行为片段。

实验结果

作者在复杂的 3D 迷宫环境（MiniWorld/CARL 风格）中评估了 ZALT，该环境需要按顺序操作物体（钥匙、锁住的门、钻石和桶）。任务涉及导航到特定钥匙、解锁门、收集物品并按特定顺序存放它们。

数据集：18 次成功演示和 120 次失败演示，仅涵盖 36 种可能起始 - 目标对中的 18 种。
零样本性能：ZALT 在 18 个未见过的起始 - 目标对上实现了55% 的成功率。
基线比较：
- DQN+BC：6% 的成功率（最强的基线）。
- CQL, IQL, Option-Critic：0% 的成功率。
- 已见任务：ZALT 在已见任务上实现了 72.2% 的成功率，而最强基线仅为 11%，表明即使对于标准模仿学习，该环境也很困难。
效率：成功的 ZALT 计划将大约 244–281 个原始时间步压缩为约 33 个枢纽级转换（平均边长约为 7.9 个动作）。
消融研究：
- 移除高级动力学模型（用 BFS 替换）导致 0% 的成功率，证明如果没有路径依赖预测，原始拓扑连通性是不够的。
- 从低层编码器中移除 GRU 记忆导致 0% 的成功率，证明枢纽发现需要超越即时视觉观测的行为上下文（例如，收集的钥匙）。
在线适应：在 500 个回合的在线交互后，基线未能恢复性能，表明困难源于长视野和稀疏奖励，而非缺乏练习。

意义与主张

本文主张，ZALT 证明了显式行为拓扑是长视野模仿学习中零样本泛化的关键组成部分。作者认为，虽然当完整的起始 - 目标路线超出分布时标准方法会 struggle，但 ZALT 通过利用数据中存在的“局部行为片段”取得了成功。

其意义在于能够解决复杂的组合任务，而无需为每种可能的任务变体提供完整的演示集。通过压缩规划视野并显式建模可重用行为片段的连通性，ZALT 克服了困扰长视野策略的误差累积问题。作者总结认为，这种方法为在交互式环境中训练智能体提供了一个有前景的方向，因为在这些环境中收集每种可能任务组合的专家轨迹是不可行的。

本文对其范围保持谦逊，指出该方法假设演示中存在可重用的行为连通性，且枢纽质量取决于学习到的潜在表示。未来的工作建议探索驱动枢纽形成的力量，并将该框架适应于在线或混合学习设定。