🤖 machine learning

Unsupervised Hierarchical Skill Discovery

本文提出了一种基于语法的无监督方法，用于在像《我的世界》这样的高维环境中对轨迹进行分割并发现分层技能结构，结果表明所生成的具有语义意义的分层结构优于现有基线方法，并能加速下游强化学习。

原作者： Damion Harvey, Geraud Nangue Tasse, Benjamin Rosman, Branden Ingram, Steven James

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Damion Harvey, Geraud Nangue Tasse, Benjamin Rosman, Branden Ingram, Steven James

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文《无监督分层技能发现》（HiSD）的解释。

核心难题：“盲”机器人

想象一下，你正在教一个机器人玩像《我的世界》（Minecraft）这样的电子游戏。通常，要教机器人，你需要告诉它具体按哪些按钮（动作），并告知它何时表现良好（奖励）。

但如果只有一段人类玩游戏的视频呢？你能看到人类在做什么，却不知道他们具体按了哪些键，也没有记分牌告诉他们何时成功了。目前大多数人工智能方法就像是一个需要老师站在旁边、指着屏幕说“现在按'A'键！”或“刚才那步走得好！”的学生。

这篇论文的作者希望构建一种机器人，它只需观看视频就能学习，无需老师、无需按键标签，也无需记分牌。

解决方案：HiSD（“智能剪辑师”）

作者创建了一个名为HiSD（分层技能发现）的系统。把 HiSD 想象成一个智能视频剪辑师，它观看一段漫长且杂乱的游戏视频，并试图自行理清故事结构。

它主要通过两个步骤来实现：

步骤 1：将电影切割成场景（技能分割）

想象一段漫长且连续的视频，记录着某人建造房屋的过程。这只是一连串移动的像素。

挑战：计算机如何知道“收集木材”何时结束，“建造墙壁”何时开始？
HiSD 的窍门：HiSD 寻找视觉模式。它注意到，当角色砍树时，屏幕呈现出某种样子（大量的绿色和棕色）；当他们在建造时，画面则截然不同（大量的灰色和木头纹理）。
类比：这就像看电影时意识到：“好了，他们从僵尸逃跑的场景结束了；现在他们躲在地下室里的场景开始了。”HiSD 自动将长视频切割成短小且有意义的“片段”或技能（如“获取木材”、“制作工作台”、“开采石头”）。

步骤 2：寻找食谱书（分层发现）

一旦 HiSD 将视频切割成片段，它就得到了一份动作清单：获取木材、获取木材、制作工作台、获取石头、获取石头、制作镐子。

挑战：仅仅拥有一份片段清单是不够的。机器人需要理解“获取木材”和“制作工作台”经常一起发生，以达成一个更大的目标：“建造房屋”。
HiSD 的窍门：HiSD 使用一种语法（类似于语言规则）。它寻找重复的模式。如果它一遍又一遍地看到“获取木材”后跟着“制作工作台”，它就会创建一个新的高级规则，称为“准备建造”。
类比：想象一位厨师在学习烹饪。
- 第 1 层（低层）：切洋葱、烧水。
- 第 2 层（高层）：“制作酱汁”。
- 第 3 层（超高层）：“制作意面菜肴”。
  HiSD 自动推断出“切洋葱” + “烧水” = “制作酱汁”，并构建一个树状结构（分层结构），展示小动作如何组合成大目标。

为什么这很特别？

大多数其他人工智能方法需要大量帮助：

它们需要知道人类按下的确切按钮。
它们需要预先知道任务的顺序。
它们通常只是生成一个扁平的技能列表（A，然后 B，然后 C），而不理解 A 和 B 属于一个更大的组。

HiSD 的不同之处在于：

它是“无监督”的：它需要零标签。它只需观看原始视频。
它是“分层”的：它看到的不仅仅是一个列表，而是结构。它理解某些技能是更大技能的“子程序”。
它适用于高难度游戏：作者在 Craftax 和完整未修改版的 Minecraft 上测试了这一点。这些是拥有数千种可能动作的复杂游戏。HiSD 仅通过观察屏幕就成功识别出了技能。

结果：它真的有用吗？

作者并没有止步于发现技能，他们还测试了这些技能是否实用。

测试：他们拿 HiSD 发现的“食谱书”（分层结构），交给一个新的 AI 智能体去学习一项任务。
结果：与试图从头学习或使用其他方法的智能体相比，使用 HiSD 发现结构的 AI 智能体学习快得多且更稳定。
隐喻：想象一下学习开车。
- 没有 HiSD：你被告知的指令是“移动脚、转动方向盘、看左边、移动脚、转动方向盘……"（原始动作）。学会它需要很长时间。
- 有 HiSD：你被教导“开车去商店”。你已经从视频中知道了如何“转动方向盘”和“移动脚”。你只需要学习如何将它们组合起来。你只需极短的时间就能掌握这项任务。

总结

这篇论文提出了一种方法，通过观看某人执行复杂任务的视频，自动推断出：

单个“动作”是什么（技能）。
这些动作如何被分组为更大的“目标”（分层）。

它无需任何人类帮助、无需按键标签，也无需记分牌。其结果是一张任务的“心理地图”，能帮助其他 AI 智能体更快地学习相同的任务。

技术摘要：无监督层级技能发现（HiSD）

问题陈述

本文解决了强化学习（RL）中无监督技能分割与层级结构发现的挑战。虽然人类的规划是层级化的——即基于目标和子任务而非原始动作进行推理——但当前的高维环境（如 Minecraft）中的强化学习智能体难以高效地学习此类结构。

现有的技能发现方法通常依赖强监督，例如：

动作标签：需要访问智能体执行的具体动作。
奖励信号：依赖稠密或稀疏的奖励结构来定义技能边界。
人工标注：需要人类专家定义任务分解（例如层级任务网络）。

这些依赖性限制了可扩展性，特别是在处理大量未标记视频数据时，其中动作、奖励或真实分割数据不可用。此外，许多现有方法产生的是“扁平”分割，而非复杂长视野任务所需的深层、组合式层级结构。

方法论：层级技能发现（HiSD）

作者提出了HiSD，这是一个完全无监督的框架，仅从观测数据（原始像素或特征序列）中提取可复用的多级技能层级。该方法将结构发现与策略执行解耦，并在两个不同的阶段运行：

1. 无监督技能识别（分割）

第一阶段将连续的观测轨迹转换为离散的潜在技能序列。

输入：未标记的观测轨迹 $T = (X_1, \dots, X_n)$ ，其中 $X$ 代表特征向量（例如 PCA 降维后的像素或 CLIP 嵌入）。
算法：该框架利用ASOT（非平衡最优传输）方法通过**时序动作分割（TAS）**进行分割。
机制：ASOT 将分割建模为一个最优传输问题。它最小化一个正则化目标，平衡以下因素：
- 视觉匹配成本：观测特征与潜在技能原型之间的不相似度。
- 时序规律性：通过 Gromov-Wasserstein (GW) 分量强制执行，该分量惩罚时间半径内的快速标签切换，确保局部平滑性。
- 边际惩罚：一个 KL 散度项，允许非平衡的技能分布（处理某些技能罕见的情况）。
输出：代表原子行为单元的离散技能索引序列 $z_{1:n}$ 。

2. 符号抽象与语法归纳（结构发现）

第二阶段在离散技能序列上诱导层级结构。

语料库构建：将共享相同技能标签的连续帧折叠为单个原子符号。将所有回合序列连接成一个统一的语料库，并用唯一的边界标记 $\phi$ 分隔。
算法：对语料库应用修改后的Sequitur算法。Sequitur 是一种线性时间语法归纳算法，通过识别重复模式来推断层级结构。
约束：
- 二元组唯一性：任何相邻符号对最多出现一次；重复出现的部分被替换为新的非终结符规则。
- 规则效用：规则必须至少使用两次才能被保留。
- 边界保护：禁止边界标记 $\phi$ 出现在产生式规则中，确保学习到的子程序捕捉回合内的行为，而不是将一个回合的结束与另一个回合的开始合并。
输出：一个上下文无关文法（CFG） $G$ ，其中终结符节点是原子技能，内部节点代表发现的子程序（例如，“收集木材” + “制作工作台”）。

主要贡献

无监督框架：引入 HiSD，将时序动作分割与语法归纳相结合，在不依赖动作标签、奖励或人工标注的情况下发现多级层级结构。
仅基于观测的流水线：一种适用于未标记演示的方法，将结构发现与策略执行解耦，并支持扩展到大规模视频数据。
实证验证：证明了在复杂领域中，与基线（CompILE, OMPN）相比，HiSD 在分割质量和抽象深度方面具有优越性。
下游效用：概念验证表明，发现的层级结构能够加速并稳定下游 RL 任务中的学习，即使仅有很少量带动作标签的演示用于策略落地。

实验结果

作者在两个领域评估了 HiSD：Craftax（完全可观测、确定性的 2D 环境）和Minecraft（部分可观测、随机性、高维环境）。

基线

与CompILE和OMPN进行了比较，这些基线被提供了真实子任务顺序和动作标签，以确保它们在最有利条件下运行。HiSD 仅需将最大技能数 $K$ 作为先验。

技能分割性能

指标：帧平均准确率（MoF）、F1 分数和平均交并比（mIoU）。
发现：HiSD 始终优于基线，特别是在具有更高复杂性、随机性和更长视野的任务中。
- 在Craftax中，HiSD 获得了更高的 mIoU 分数，正确地将感知上不同但语义等价的行为（例如从不同角度接近木材）归入单一技能簇。
- 在Minecraft中，尽管存在感知混叠（例如，在第三人称视角下走向木材与走向石头看起来相同），HiSD 的时序一致性先验实现了基线无法达成的连贯分割。

层级质量

指标：唯一树（一致性）、平均深度、树大小和分支因子。
发现：
- 与 OMPN（通常为每个回合生成唯一层级）相比，HiSD 在不同回合中产生了更一致的分解（更少的唯一树）。
- HiSD 的层级通常更小且更具可解释性，分支因子更低，表明更好地识别了中间子程序。
- 在嘈杂的"All"Minecraft 任务中，由于环境随机性，HiSD 难以找到单一一致的结构，但在“映射”（语义分组）任务中表现显著更好。

下游 RL 部署

作者通过使用**可掩蔽近端策略优化（Maskable PPO）**并将发现的技能作为选项来训练高层智能体，展示了发现层级的效用。

效率：使用 HiSD 层级的智能体比原始动作 PPO（失败）和扁平技能智能体更快地达到近最优奖励（例如，在 Craftax 中约 3 万步内）。
数据效率：尽管初始技能发现是完全无监督的，但层级智能体仅需极少数量（如 250 个）的动作标签演示用于策略落地，即可实现高性能。

意义与主张

本文声称，HiSD 提供了一条通往能够从大量未标记数据中学习的通用智能体的可扩展路径。通过将最先进的时序动作分割与基于语法的压缩相结合，该方法直接从原始观测轨迹中诱导多级层级结构。

作者强调：

结构可以纯粹从时序连贯性和视觉相似性中恢复，无需动作监督。
生成的层级是语义有意义且可复用的，为下游 RL 中的时序信用分配提供了必要的归纳偏置。
该方法通过消除对稠密监督和动作标签的需求，降低了训练有能智能体的门槛，并通过透明、可解释的结构促进了更好的人机交互。

这项工作被呈现为概念验证，承认了局限性，例如语法归纳的确定性性质（难以处理高噪声）以及对技能数量 $K$ 的固定先验的依赖。然而，结果表明，无监督结构发现是复杂、高维强化学习环境中的可行且有效的策略。