🤖 machine learning

Disentangled Unsupervised Skill Discovery for Efficient Hierarchical Reinforcement Learning

本文提出了解耦无监督技能发现（DUSDi），这是一种通过基于互信息的优化目标和价值分解来学习可重用的、特定因子的技能的新方法，在高效解决下游分层强化学习任务方面显著优于现有方法。

原作者： Jiaheng Hu, Zizhao Wang, Peter Stone, Roberto Martín-Martín

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiaheng Hu, Zizhao Wang, Peter Stone, Roberto Martín-Martín

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人开车。在旧的方法中，你会给机器人一个单一的“技能旋钮”。如果机器人把这个旋钮调大，汽车会同时加速、向左转向并闪烁大灯。如果你只想让机器人打开大灯而不改变速度或方向，那简直会是一场噩梦。机器人必须去猜测：“如果我把旋钮转动一点点，也许灯会亮起但车子保持不动？”这就像是在控制一个木偶，拉动一根绳子就会导致全身乱跳。这就是研究人员所说的“纠缠”技能，论文指出，这使得学习新任务变得极其困难且缓慢。

于是有了 DUSDi（解耦无监督技能发现），这是一种全新的方法，它像是一位手持遥控器的顶级木偶师，而这个遥控器上的每个动作都有独立的按钮。DUSDi 没有使用一个巨大的旋钮，而是给了机器人一组独立的“技能按钮”。一个按钮只控制速度，另一个只控制转向，第三个只控制大灯。机器人通过在世界中进行探索，在没有老师或奖励的情况下通过自我尝试来学习这些按钮。

论文的主要发现是，当你教会机器人这些独立的、“解耦的”按钮时，它在日后学习新任务时会变得非常聪明。在一系列计算机模拟实验中——从简单的 2D 射击游戏到复杂的 3D 机器人居家导航——DUSDi 都学会了独立控制这些因素。当研究人员随后要求机器人解决特定的挑战（比如“开车前往红色区域”或“打开电视”）时，使用 DUSDi 独立按钮的机器人比使用旧式“纠缠”旋钮的机器人学得更快，表现也更好。

论文明确反对“单一且混乱的技能变量足以应对复杂工作”这一观点。它表明，当你强迫机器人学习那些“一个变化会影响一切”的技能时，机器人会感到困惑，并难以弄清楚如何组合这些技能来实现新目标。作者通过在四个不同环境中运行 13 种不同的下游任务来衡量这一点。在机器人需要同时操控许多事物的复杂世界中（比如控制 10 个不同的智能体或在凌乱的房间里操作机械臂），旧方法往往会失败或学习得非常缓慢，而 DUSDi 则始终表现优于它们。

论文使用的一个很酷的技巧是一个叫做“互信息”的数学“计分卡”。你可以把它想象成一场游戏：如果机器人能让某个特定按钮（比如“速度”按钮）改变速度，它就会获得分数；但如果同一个按钮意外地改变了转向或灯光，它就会被扣分。机器人通过保持技能的完美分离来最大化其得分。为了让这个学习过程更快且更稳定，研究人员将机器人的“价值”计算分解成了更小的部分，即为每个按钮各设一个部分，而不是试图一次性猜测整个混乱整体的价值。这有助于机器人更稳定地学习独立的技能，尤其是在规模更大、更复杂的模拟实验中。

论文还测试了当机器人只能通过摄像头（像素）而非精确的世界数值来“观察”世界时，这种方法是否依然有效。通过先使用一种特殊的图像读取工具，DUSDi 仍然能够学习这些独立的技能并解决任务，而其他方法在仅有图像的情况下甚至无法开始。

然而，作者也谨慎地指出，这种方法依赖于机器人能够获得世界的“分解”视图——这意味着它需要能够将世界视为独立的各个部分（如速度、方向和大灯），而不是仅仅一个模糊的色块。虽然他们展示了通过先提取这些部分，该方法可以处理图像，但他们也暗示，对于那些机器人无法轻易分离因素的、非常混乱的现实世界环境，该方法可能需要帮助。但在他们测试的模拟世界中，结果是明确的：相比于给机器人一个单一且纠缠在一起的旋钮，赋予机器人一组独立的、解耦的技能，是为现实世界做好准备的一种更好的方式。

技术摘要：用于高效分层强化学习的解耦无监督技能发现 (DUSDi)

问题陈述

虽然无监督技能发现旨在通过学习可重用的、无奖励的行为来提高强化学习（RL）的样本效率，但现有方法面临一个关键限制：纠缠（entanglement）。在当前的方法中（例如 DIAYN），单个技能变量 $z$ 通常会同时影响状态空间的多个维度。这种纠缠使得智能体极难组合技能以解决下游任务，特别是在需要对独立实体进行并发控制的复杂领域中（例如，机器人同时控制速度、转向和车灯）。人类天生拥有“解耦”的能力，能够同时调整独立的因素；而目前的智能体缺乏一种纯粹通过无监督交互来学习这种模块化、组合式技能的机制。

方法论：DUSDi

作者提出了 解耦无监督技能发现 (DUSDi)，该框架旨在学习一种技能，其中每个组件精确地影响一个分解的状态因子。

1. 分解状态与技能空间

DUSDi 在一个分解马尔可夫决策过程 (f-MDP) 中运行，其中状态空间 $S$ 被分解为 $N$ 个独立的因子： $S = S_1 \times \dots \times S_N$ 。

技能分解： 潜在技能变量 $z$ 被分解为 $N$ 个独立的组件： $z = (z_1, \dots, z_N)$ ，其中 $z_i$ 对应于旨在控制状态因子 $S_i$ 的技能组件。
目标： 学习一个策略 $\pi(a|s, z)$ ，使得 $z_i$ 影响 $S_i$ ，同时最大限度地减少对其他因子 $S_{\neg i}$ 的影响。

2. 学习目标：带有纠缠惩罚的互信息

为了实现解耦，DUSDi 优化了一个基于互信息 (MI) 的新颖目标函数。对于每个组件 $z_i$ 及其目标因子 $S_i$ ，智能体寻求：

最大化 技能组件与其目标因子之间的 MI： $I(S_i; Z_i)$ 。
最小化 技能组件与所有其他因子之间的 MI： $I(S_{\neg i}; Z_i)$ 。

正式的目标函数为：
$J(\theta) = \sum_{i=1}^{N} I(S_i; Z_i) - \lambda I(S_{\neg i}; Z_i)$
其中 $\lambda \in [0, 1)$ 是平衡关联奖励与纠缠惩罚的超参数。作者在实验中设置 $\lambda = 0.1$ ，并承认状态因子之间固有的动力学依赖关系可能导致一些不可避免的相关性。

3. 通过变分推理与 Q 函数分解进行优化

直接最大化该目标是难以处理的。DUSDi 采用了两项关键技术创新：

变分下界： MI 项使用变分分布进行近似（通过实现为神经判别器 $q_\phi$ 和 $q_\psi$ ）。内在奖励 $r_z$ 推导如下：
$r_z(s, a) = \sum_{i=1}^{N} [\log q_\phi^i(z_i|s_i) - \lambda \log q_\psi^i(z_i|s_{\neg i})]$
Q 函数分解： 为了解决由求和 $2N$ 个奖励项引起的高方差和信用分配问题，DUSDi 将全局 Q 函数分解为 $N$ 个独立的、解耦的 Q 函数 ( $Q_i$ )。每个 $Q_i$ 仅使用与组件 $z_i$ 相关的特定奖励项 $r_i$ 进行更新。全局评论家（critic）通过求和这些组件来恢复： $Q_\pi = \sum Q_i$ 。这显著稳定了在具有多个状态因子的环境中的学习过程。

4. 下游任务学习

一旦技能被学习完成，它们将作为分层强化学习 (HRL) 设置中的冻结低层策略。高层策略 $\pi_{high}$ 为一个长度为 $L$ 的步长选择技能向量 $z$ ，以最大化任务奖励。这种结构化、解耦的技能空间允许更高效的探索，并在已知技能组件与奖励项之间的因果依赖关系时，支持应用 因果策略梯度 (CPG)。

核心贡献

解耦技能框架： 引入了 DUSDi，它显式地将技能分解为与状态因子一一对应的组件，从而实现并发且独立的控制。
新颖目标： 一种基于互信息的优化目标，同时鼓励技能-因子关联并惩罚跨因子影响。
算法效率： 提出了 Q 函数分解方法，以高效优化复杂的、多项式的内在奖励，从而降低方差并提高在高维状态空间中的收敛性。
实证验证： 通过 DCI 指标验证了 DUSDi 学习到了真正的解耦技能，并在需要协调控制的下游任务中显著优于现有的无监督 RL 方法（如 DIAYN, CIC, CSD, METRA 等）。

实验结果

作者在四个领域评估了 DUSDi：2D Gunner、Multi-Particle（多智能体）、iGibson（机器人）和 DMC Walker。

解耦性： 在所有环境中，DUSDi 的解耦性（Disentanglement）和完备性（Completeness）得分（DCI 指标）均显著高于 DIAYN-MC。
技能学习效率： Q 分解被证明对于扩展到复杂领域（Multi-Particle, iGibson）至关重要，在预测技能组件的准确性方面优于标准的 Q 网络。
下游性能： 在需要协调控制的下游任务（如多智能体粒子交互、家用机器人操纵）中，DUSDi 的收敛速度更快，且获得的收益更高。在较简单的任务（DMC Walker）中，其表现与基准方法相当，因为当任务不需要并发独立控制时，解耦带来的益处并不明显。
图像观测： 通过集成以物体为中心的表示学习，DUSDi 成功扩展到了基于图像的观测，并保持了与基于状态学习相当的性能。
样本效率： 利用结构化技能空间结合因果策略梯度，进一步提高了下游学习的样本效率。

意义与主张

论文声称 DUSDi 提供了一种机制，使人工智能能够学习 解耦的技能组件，从而模仿人类般的模块化控制。其主要意义在于能够通过分层强化学习 高效地重用 这些技能，以应对复杂的下游任务。

作者断言，虽然现有的无监督方法学习的是会阻碍下游重组的纠缠技能，但 DUSDi 的结构化技能空间保证了在需要同时操纵多个独立状态因子的领域中，能够实现更高效的探索和卓越的性能。这项工作表明，DUSDi 技能空间的结构化特性为注入领域知识（例如通过因果策略梯度）以进一步增强学习效率开辟了新的途径。

作者对局限性保持了谦逊的态度，指出该方法目前假设可以访问分解的状态空间（尽管他们展示了从图像中提取的方法），并且在技能学习阶段的探索能力取决于底层的优化算法（目前基于 DIAYN）。他们建议未来的工作可以将这些原则扩展到其他技能发现范式中。