⚡ electrical engineering

Unifying Goal-Conditioned RL and Unsupervised Skill Learning via Control-Maximization

本文通过将目标条件强化学习与无监督技能学习均构建为控制最大化问题的实例，为其统一奠定了理论基础，并证明了特定的互信息技能学习目标受不同目标达成公式的约束，从而在最优层面上与这些公式保持一致。

原作者： Alireza Modirshanechi, Benjamin Eysenbach, Peter Dayan, Eric Schulz

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Alireza Modirshanechi, Benjamin Eysenbach, Peter Dayan, Eric Schulz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人走迷宫。你希望它学会两件事：

如何到达任何地方：如果你指向一个特定的地点（即“目标”），机器人应该知道如何到达那里。这被称为基于目标的条件强化学习（GCRL）。
如何变得有趣：在告诉它要去哪里之前，你希望机器人自行探索迷宫，学习各种各样的不同动作或“技能”（如奔跑、跳跃或滑行），而无需任何具体指令。这被称为无监督技能学习（MISL）。

长期以来，研究人员注意到，如果你先教机器人这些多样化的技能（MISL），它在之后到达特定目标（GCRL）时会变得出色得多。但没人真正理解这为什么有效。这就像知道吃蔬菜能让你更强壮，却不理解其背后的生物学原理。

本文解开了这一谜团，指出这两项任务实际上是同一事物的不同伪装：最大化控制力。

以下是使用简单类比进行的分解：

1. “一刀切行不通”的问题

作者发现，“到达目标”并非单一任务。它完全取决于游戏规则。他们识别出了三种不同的玩法：

“持久目标”（灯塔）：想象一座永远亮着的灯塔。机器人每访问一次灯塔就能得分。目标是尽可能多地停留在那里。
“精确时机”（列车时刻表）：想象一列在下午 5 点整出发的火车。机器人只有在下午 5 点整到达车站时才能得分。4 点 59 分或 5 点 01 分到达都得零分。
“机会窗口”（截止日期）：想象一个论文提交截止日期。如果机器人在截止日期关闭之前的任何时间到达办公室，它就能得分。

重大发现：作者证明，针对其中一种游戏的最佳策略，往往对其他游戏来说是糟糕的策略。

类比：如果你训练一名跑步者尽可能长时间地待在终点线上（持久型），那么当发令枪响时，他们冲刺到终点线的能力就会很差（精确时机型）。如果你训练他们在特定秒数冲刺到终点线，他们可能太慢，无法在截止日期前赶到（机会窗口型）。

这意味着你不能随意使用任何“技能学习”方法来辅助任何“目标到达”任务。你必须将它们匹配起来。

2. 统一理论：“控制力”

那么，如何将学习随机技能与到达特定目标联系起来呢？作者认为，连接点在于控制力。

将“控制力”想象为机器人说“我想去那里”并让宇宙听从的能力。

如果机器人拥有高控制力，它就能将其未来的路径精确地引导到它想去的地方。
如果机器人拥有低控制力，它就像风中飘落的树叶；它无法真正选择去向。

本文论证道：

基于目标的条件学习（GCRL） 只是试图最大化机器人将自己引导至特定目的地的能力。
技能学习（MISL） 则是试图最大化机器人利用不同“钥匙”（技能）能够到达的不同目的地的数量。

如果机器人学习了一组多样化的技能，它本质上就是在学会控制环境的许多不同部分。如果它处于控制之中，它自然就能到达你要求的任何特定目标。

3. “匹配”规则

本文最重要的实际启示是：并非所有技能学习方法都是平等的。

由于存在三种不同类型的“目标到达”（持久型、精确时机型、机会窗口型），因此也存在三种与之完美匹配的“技能学习”类型。

如果你的下游任务像灯塔（永远停留在那里），你应该使用一种关注机器人在长时间后最终停留在何处的技能学习方法。
如果你的下游任务像列车时刻表（在特定时间到达），你应该使用一种关注机器人在该确切时刻位于何处的技能学习方法。
如果你的下游任务像截止日期（在时间耗尽前到达），你需要一种特定的技能学习方法，关注机器人首次访问某地的时刻。

隐喻：
想象你在为旅行打包行李。

如果你要去海滩（持久型），你打包泳衣。
如果你要去滑雪胜地（精确时机型），你打包滑雪板。
如果你要去商务会议（截止日期型），你打包西装。

本文指出：“不要仅仅因为你学会了滑雪，就为海滩之旅打包滑雪板。”你必须选择与之后你将面临的具体目标类型相匹配的预训练（即打包）。

总结

谜团：为什么学习随机技能有助于机器人到达目标？
答案：因为两者都关乎控制力。学习多样化的技能意味着学会控制你的环境，这使得到达特定目标变得更容易。
关键点：到达目标并非只有一种方式。存在不同的规则（永远停留、准时到达、在截止日期前到达）。
解决方案：你必须选择特定的“技能学习”方法，以匹配你之后将面临的特定“目标到达”规则。如果匹配正确，机器人将成为该任务的专家。如果匹配错误，它将失败。

本文提供了数学证明，将这些特定类型的技能学习与特定类型的目标到达联系起来，为工程师们提供了一张清晰的地图，指明针对哪项工作应使用何种工具。

技术摘要：通过控制最大化统一目标条件强化学习与无监督技能学习

问题陈述

无监督预训练，特别是互信息技能学习（MISL），通过发现多样化的技能以促进下游目标达成，推动了目标条件强化学习（GCRL）的经验性成功。然而，关于为何 MISL 目标（旨在最大化行为多样性）能够支持特定的下游 GCRL 任务，其理论依据仍知之甚少。

统一这两个领域的一个根本障碍在于，"GCRL"和"MISL"都是涵盖不同且往往不兼容形式的统称：

GCRL 多样性：不同的 GCRL 任务使用不同的标准来衡量目标达成性能（例如，持久性目标、精确时机或机会窗口），导致最优策略存在根本性差异。
MISL 多样性：不同的 MISL 方法优化不同的行为多样性概念（例如，终端状态多样性与完整轨迹多样性），并依赖不同的变分界。

核心问题是：是否存在一种理论解释，将特定的 MISL 目标与特定的下游 GCRL 形式联系起来，以及在何种条件下它们能够一致？

方法论与框架

作者提出了一种基于控制最大化的统一视角。他们认为，GCRL 和 MISL 从根本上都是寻求最大化智能体对其环境的控制程度。

1. GCRL 形式分析

本文确定了三种典型的 GCRL 形式，并证明了它们通常是不等价的：

持久性目标 ( $Pe(\gamma)$ )：无限时域设置，智能体因重复访问目标而获得奖励（例如，目标占据率优化）。
**精确时机 ($ET(K) $)**：有限时域设置，仅当在确切步骤$ K$ 到达目标时才给予奖励。
机会窗口 ( $OW(K, \gamma)$ )：有限时域设置，如果在窗口 $K$ 内到达目标则给予奖励，通常带有折扣。

关键发现：这些形式会导致根本不同的最优策略。例如，在随机环境中（例如，穿越带有风险桥梁的河流）， $Pe(\gamma)$ 的最优策略（优先考虑可靠性/重复访问）可能与 $ET(K) $（优先考虑速度以满足截止日期）或$ OW(K, \gamma)$ 不同。本文提供了这些形式收敛至同一最优策略的条件（例如，确定性环境、单步时域或无限窗口）。

2. 定义目标敏感度

为了统一这些形式，作者引入了目标敏感度（ $C(s, \pi)$ ），这是一种衡量智能体控制力的新颖指标。它量化了智能体的未来轨迹在多大程度上依赖于指令目标，而非随机目标：
$C(s, \pi) := \frac{1}{N_s^2} \sum_{g, g' \in S} \left( J(s, g, \pi_{g}) - J(s, g, \pi_{g'}) \right)$
其中 $J$ 为回报。该指标反映了环境的内在可控性（客观控制）和智能体的能力（主观控制）。

3. 连接 MISL 与 GCRL 的理论界

核心理论贡献是通过目标敏感度，在 MISL 目标与下游 GCRL 性能之间建立精确的信息论界：

步骤 1：作者表明，对于 $Pe(\gamma)$ 和 $ET(K)$，最大化目标敏感度等同于最大化 GCRL 回报。对于 $OW(K, \gamma)$ ，它提供了回报的紧下界。
步骤 2：他们推导出目标 - 行为互信息（指令目标与行为变量 $S'$ $S^{'}$ 之间的互信息）被匹配 GCRL 形式的目标敏感度紧密界定。
- 对于 $Pe(\gamma)$ ，匹配的行为变量是折扣状态占据率（ $S_{\gamma,+}$ ）。
- 对于 $ET(K) $，匹配变量是步骤$ K $的状态（$ S_K$）。
- 对于 $OW(K, \gamma)$ ，他们确定了一个新变量，即折扣首次访问向量（ $F_{K,\gamma}$ ）为最紧密的匹配，并指出现有的基于轨迹的变量（ $\tau_K$ ）仅产生松散的界。
步骤 3：他们证明了标准的 MISL 目标（技能与行为之间的互信息）近似于目标 - 行为互信息，其差距由目标到技能映射所诱导的技能分布的均匀性控制。

主要贡献

GCRL 形式的不等价性：本文证明了不同的 GCRL 形式（$Pe $、$ ET $、$ OW$）通常会导致不兼容的最优策略，解释了为何为一种形式设计的算法可能在另一种形式中失效。
控制最大化视角：它提供了一个精确的理论框架，将 GCRL 性能定义为最大化“目标敏感度”，这是一种统一不同形式的控制度量。
MISL 与 GCRL 的对应关系：作者建立了系统的界，表明特定的 MISL 目标对应于特定的下游 GCRL 形式。他们证明，最大化特定的 MISL 目标（例如，终端状态多样性）在理论上界定了特定 GCRL 任务（例如，精确时机）的性能。
新变量的识别：该工作指出，对于机会窗口形式，标准的基于轨迹的 MISL 目标是次优的，需要折扣首次访问向量才能获得紧的理论界。

结果

理论界：本文推导了 $Pe $和$ ET $形式的双边界，表明目标敏感度紧密界定了目标与行为之间的互信息。对于$ OW$，它提供了下界并讨论了上界的条件。
策略等价条件：本文 delineated 了特定条件（例如，确定性环境、无限时域或存在“等待”动作），在这些条件下，为一种形式学习的策略可以安全地转移到另一种形式。
实际意义：结果表明不存在通用的最优 MISL 目标。预训练目标的选择必须与预期的下游目标达成标准相匹配（例如，针对精确时机任务使用终端状态多样性，针对机会窗口使用轨迹多样性）。

意义与主张

本文声称通过解决“无监督技能学习为何有助于下游目标达成”这一“理论谜团”，为 RL 预训练奠定了理论基础。通过将这两个领域框架化为控制最大化的实例，作者为实践者提供了原则性指导：

预训练目标的选择：用户应选择与测试时预期的目标达成“类型”（持久性、精确性或窗口化）相匹配的 MISL 目标。
算法设计：研究结果解释了为何某些 GCRL 算法（例如，依赖静态结构的 C-Learning）在不进行修改的情况下无法转移到有限时域设置中。

作者保持谦逊，承认了局限性，例如依赖有限状态/动作空间以及假设均匀目标分布（尽管他们在附录中展示了向非均匀分布的扩展）。他们还指出，对于机会窗口形式，从互信息到性能的反向界需要额外的假设，因此为该特定情况确定“完美”的 MISL 目标仍是一个未解决的问题。

最终，这项工作弥合了无监督技能发现与目标条件控制之间的差距，表明预训练的成功并非偶然，而是源于将预训练目标与下游任务特定的控制需求相一致。