🤖 machine learning

Curriculum reinforcement learning with measurable task representation learning

本文提出了一种用于强化学习的新型自动课程生成方法，该方法利用变分自编码器学习具有可度量相似性的潜在任务表示，从而在传统插值方法失效的复杂非欧几里得导航任务中实现有效的课程构建。

原作者： Yongyan Wen, Siyuan Li, Mingjian Fu, Yiqin Yang, Xun Wang, Peng Liu

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Yongyan Wen, Siyuan Li, Mingjian Fu, Yiqin Yang, Xun Wang, Peng Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何穿越一个复杂且令人困惑的迷宫，以找到特定的宝藏。如果你直接将机器人丢进迷宫的最难版本，它很可能会被困住、撞墙，并最终放弃，因为它完全不知道该如何行动。这是人工智能中一个常见的问题，称为“稀疏奖励”问题：机器人只有在最终获胜时才会收到“做得好”的信号，而这可能需要成千上万次的尝试。

课程强化学习（Curriculum Reinforcement Learning, CRL） 的理念是像人类教师一样教导机器人：从简单的关卡开始，然后是稍难一点的关卡，并逐步进阶到最终的“大 Boss"。但这里有个棘手的问题：计算机如何知道哪个关卡是“下一个”？

“直线”的问题

大多数先前的方法试图通过在“简单起点”和“困难终点”之间画一条直线来创建这些中间关卡。想象一下在地图上从你家到山顶画一条直线。如果直线中间有一个巨大的峡谷或一堵墙，这条路径就毫无用处。你无法穿墙而过。

在复杂的迷宫中（如本文所探讨的），两个任务之间的“距离”并不是一条直线。它更像是一条绕过障碍物的蜿蜒路径。如果你只是数学地混合起点和终点，可能会意外创造出一种机器人被困在墙后、无路可逃的“任务”。这就是作者所称的欧几里得局限性——它假设世界是平坦且开放的，但真实的迷宫充满了曲折、转弯和死胡同。

解决方案：ACRL（“翻译器”方法）

作者提出了一种新方法，称为ACRL（基于表示学习的自动课程）。与其试图直接混合起点和终点，他们利用了一个巧妙的技巧，涉及一种“秘密语言”或潜在空间（Latent Space）。

可以这样理解：

翻译器（VAE）： 机器人尝试许多不同的迷宫。系统观察机器人的行为（它的移动和获得的奖励），并将这些经历翻译成“潜在空间”。这不是物理地图，而是一张心理地图，其中相似的经历彼此靠近，无论它们在真实地图上看起来相距多远。
- 类比： 想象两个在纸上看起来完全不同的迷宫。在一个迷宫中，你先向左再向右；在另一个迷宫中，你先向右再向左。但如果这两个迷宫具有相似的“感觉”（例如，都需要躲避某种特定类型的陷阱），系统就会意识到它们是“表亲”，并将它们并排放在这张秘密的心理地图中。
平滑路径： 一旦系统拥有了这张心理地图，它就能在这个心理空间内，从“简单”任务到“困难”目标任务之间画出一条平滑且安全的线。因为这个空间理解任务的真实难度和相似性（而不仅仅是它们的物理坐标），所以它画出的线能够避开“墙壁”和死胡同。
翻译回现实： 系统随后将这些新的、平滑的步骤翻译回真实、可玩的迷宫。结果是一系列完美的关卡，难度逐渐增加，引导机器人安全地到达目标，而不会陷入死胡同。

实际运作方式

该论文在两类挑战中测试了这种方法：

MiniGrid： 一个基于网格的世界，包含钥匙、门和熔岩。机器人必须拾取钥匙来打开门。如果你只是混合起点和终点位置，可能会创造出一扇被锁住的门，而钥匙却在墙的另一侧。ACRL 通过理解任务的逻辑（而不仅仅是数字）来避免这种情况。
U-Maze： 一个连续、平滑的环境，中间有一道屏障。机器人必须学习绕过屏障。标准方法通常试图推动机器人直接穿过屏障（这是不可能的）。ACRL 则学会了引导机器人沿着曲线绕行。

结果

该论文声称，ACRL 比先前的方法更快、更高效。

更快的学习： 机器人学习最终任务的速度要快得多，因为它不会在不可能或令人困惑的中间步骤上浪费时间。
更好的稳定性： 一旦机器人学会了路径，它就会保持这种能力。其他方法有时会感到困惑并忘记所学内容。
无需外部帮助： 该系统自行确定课程安排，无需人类指示“好的，现在尝试这个特定关卡”。

局限性

论文指出了一个限制：这种方法在环境可以用数字（如坐标或参数）描述时效果最好。它目前还无法处理用文字或符号描述的任务（例如“去红房子”与“去蓝房子”，如果这些房子不是由坐标定义的话）。

总之： 这篇论文为机器人介绍了一位聪明的教师。它不是通过画直线来猜测下一步，而是构建了一张关于哪些任务实际上相似的“心理地图”。然后，它利用这张地图创建一个完美的、循序渐进的训练课程，引导机器人从“初学者”成长为“专家”，而不会陷入死胡同。

技术摘要：基于可度量任务表示学习的课程强化学习

问题陈述
课程强化学习（CRL）旨在通过在难度递增的任务序列上训练智能体，以加速其在具有挑战性的目标任务上的学习。早期的 CRL 方法侧重于对预定义任务进行排序，而近期的研究已转向自动课程生成。该领域的一种主导范式涉及任务分布插值，即利用 KL 散度或 Wasserstein 距离等度量，在初始任务分布与目标任务分布之间插值生成新的中间任务。

然而，这种基于插值的方法依赖于一个假设：即任务相似性可以通过上下文（任务）空间中的欧几里得距离来衡量。这一假设在复杂环境中失效，特别是在那些具有非欧几里得几何结构（例如带有墙壁的迷宫）的环境中。在此类上下文中，参数空间中的直线插值可能会生成物理上不可行的任务（例如将目标放置在墙壁后方），或者无法代表有意义的难度递进，从而阻碍智能体有效迁移知识的能力。此外，现有方法往往难以在没有专门用于课程生成的外部奖励信号的情况下，在复杂、高维或稀疏奖励环境中定义有意义的相似性度量。

方法论：ACRL
作者提出了ACRL（具有表示学习的自动课程），这是一个通过在潜在空间中学习可度量的任务表示来生成课程的框架。其核心见解是：任务相似性应由智能体的行为（状态转换和奖励）而非原始环境参数来定义。

该方法论包含三个主要组成部分：

基于 VAE 的任务表示学习：
作者采用变分自编码器（VAE）将任务上下文映射到潜在空间。
- 编码器： 接收从特定任务上下文 $c$ 收集到的轨迹（状态、动作、奖励和下一状态的序列），并将其编码为潜在嵌入 $z$ 。为了确保置换不变性，轨迹嵌入被计算为各个转换嵌入的乘积。
- 解码器： VAE 包含一个转换解码器（ $p_\theta(s'|z)$ ）和一个奖励解码器（ $p_\theta(r|z)$ ），用于重构下一状态和奖励，确保潜在空间捕捉到任务的动力学和奖励结构。
- 任务解码器： 一个辅助解码器（ $p_c^\theta(z)$ ）将潜在嵌入映射回上下文空间，允许从潜在点生成新的任务参数。
- 训练约束： 为了确保有意义的表示，VAE 仅在智能体获得高于特定阈值 $\delta$ 的回报的轨迹上进行训练，从而过滤掉随机或失败的尝试。
自动课程生成：
一旦学习任务表示，课程便根据智能体的学习进度，利用两种策略进行更新：
- 潜在空间预测（LSP）： 当智能体在目标任务上达到一定性能时使用。该方法在潜在空间中，对当前成功任务的潜在嵌入与目标任务的嵌入进行插值。这些插值点被解码回上下文空间，以生成新的、难度递增的任务，同时尊重环境的底层几何约束。
- 探索边界更新（EBU）： 在早期阶段或目标任务性能较低时使用。该方法识别“探索边界”——即智能体当前能够解决的最接近目标的任务——并在该边界附近采样新任务，同时添加高斯噪声以鼓励探索。
采样策略：
该框架维护一个任务缓冲区，并使用采样比例 $\lambda$ 来平衡从学习到的课程分布中采样（以利用进展）与在上下文空间中进行均匀采样（以确保探索并防止模式崩溃）。

主要贡献

ACRL 框架： 提出了一种自动课程 RL 框架，能够在源任务与目标任务之间生成中间任务分布，且无需为课程生成提供外部奖励。它利用任务表示学习将上下文映射到潜在空间，确保任务相似性具有更平滑且更有意义的度量。
可度量的任务相似性： 一种新颖的任务表示学习方法，利用 VAE 将上下文空间映射到潜在空间。该方法通过编码状态转换和奖励，实现了在非欧几里得度量空间中的相似性测量，克服了直接欧几里得插值的局限性。
实证优越性： 实验证明，在具有复杂几何结构的挑战性导航任务上，ACRL 在学习效率和解渐近性能方面优于最先进基线，包括基于插值的方法（CURROT）和生成式方法（Goal GAN, ALP-GMM）。

实验结果
作者在两个领域评估了 ACRL：

MiniGrid（离散动作空间）： 一组具有不同难度（简单、中等、困难）的迷宫导航任务，涉及钥匙、门和熔岩。在这些环境中，欧几里得距离失效，因为墙壁阻挡了直接路径。
- 性能： ACRL 在达到阈值的时间和稳定性方面优于基线（Default, Random, ALP-GMM, Goal GAN, VDS, PLR, CURROT）。
- 课程可视化： 生成的任务分布成功绕过了障碍物，从初始位置经由可行路径向目标移动。相比之下，CURROT 生成的中间任务经常导致智能体撞墙，无法提供有效的学习路径。
- 表示分析： 潜在空间的多维缩放（MDS）显示，学习到的嵌入有效地捕捉了任务的非欧几里得结构，将相似的任务（在难度和几何结构方面）聚类在一起。
U-Maze（连续动作空间）： 一个连续控制环境，智能体必须导航一个 U 形障碍物。
- 性能： ACRL 表现出比基线更好的样本效率。虽然 Goal GAN 实现了良好的渐近性能，但由于缺乏目标指导，其在达到阈值的时间上表现不佳。其他基线因在不可达区域生成任务而失败。
- 消融研究： 研究证实，LSP 和 EBU 的组合至关重要。移除任一组件，或将采样比例 $\lambda$ 设置得过高（减少探索）或过低（退化为均匀采样），都会显著降低性能。研究还表明，同时包含奖励解码器和转换解码器对于稳定的表示学习是必要的。

意义与主张
该论文声称，ACRL 解决了自动课程生成的一个根本性局限：欧几里得距离度量无法在复杂、非欧几里得环境中捕捉任务相似性。通过学习基于智能体实际交互（轨迹）的潜在表示，该方法能够生成尊重环境几何和动态约束的课程。

作者强调，他们的方法：

不需要为课程生成提供外部奖励。
与任何现有的 RL 算法（如 PPO, SAC）兼容。
能够处理离散和连续上下文空间。
为智能体解决长视野、稀疏奖励任务提供了更稳健且高效的学习路径。

论文以谦逊的结论收尾，承认了一个局限性：该方法目前假设上下文空间是参数化的（数值参数），无法直接处理非参数化定义（如符号或基于语言的上下文），尽管这被指出是涉及语义编码器的未来工作的潜在方向。

“直线”的问题

解决方案：ACRL（“翻译器”方法）

实际运作方式

结果

局限性

技术摘要：基于可度量任务表示学习的课程强化学习

类似论文