🤖 machine learning

HERAKLES: Hierarchical Skill Compilation for Open-ended LLM Agents

HERAKLES 是一个分层智能体，它结合了用于选择可实现子目标的、高层 LLM 策略，以及将成功行为编译为可重用技能的底层控制器，从而在部分可观测且奖励稀疏的环境中实现高效的开放式探索与技能组合。

原作者： Thomas Carta, Clément Romac, Loris Gaven, Pierre-Yves Oudeyer, Olivier Sigaud, Sylvain Lamprier

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Thomas Carta, Clément Romac, Loris Gaven, Pierre-Yves Oudeyer, Olivier Sigaud, Sylvain Lamprier

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

寻找自我教学机器人的征途

想象一个这样的世界：计算机不再仅仅是遵循人类编写的严格食谱，而是学会了如何自主烹饪、建造和探索，并且每天都变得更加聪明。这就是人工智能领域中“开放式学习”（open-ended learning）的梦想。长期以来，AI 就像是一个只会死记硬背巨型教科书的学生，一旦遇到书本之外的问题就会不知所措。然而，真正的人类却不同。我们不只是记忆，我们是在构建技能库。当我们学习骑自行车时，我们不仅学会了平衡，还学会了踩踏、转向和刹车——这些都是我们可以稍后组合并用于学习驾驶摩托车的独立工具。

你即将阅读的这篇论文探讨了该领域的一个特定问题：我们如何教一个 AI 智能体在永无止境的学习过程中不陷入停滞？其核心思想是“分层学习”（hierarchical learning）。你可以把它想象成一家拥有老板和员工的公司。老板（高层大脑）并不负责繁重的体力活；相反，他们负责将宏大且艰巨的项目分解成更小、更易于管理的任务交给员工（底层大脑）。员工执行这些任务，而一旦他们精通了这些任务，这些任务就会变成老板可以用一个词语就能下达指令的“技能”。这篇论文探讨了如何构建一个能够自动实现这一过程的机器人，将混乱的新挑战转化为一个整洁、有序的能力工具箱。

HERAKLES 的故事：构建属于自己的工具箱的机器人

认识一下 HERAKLES，一种旨在成为终身学习者的全新机器人大脑。想象你是一名试图征服一片巨大且神秘森林的年轻冒险家。起初，你只知道如何一步一步地走。如果你想到达远处的山峰，你必须从头开始摸索每一步，这既累又慢。你可能会在到达第一座小山之前就感到疲惫并放弃。

HERAKLES 通过扮演一个由两个截然不同的角色组成的智能团队来解决这个问题。第一个角色是将军（高层策略），它是一个非常聪明、擅长语言处理的 AI。第二个角色是士兵（底层策略），它是一个快速、高效的机器人，负责实际移动身体和拾取物品。

以下是神奇之处是如何发生的：

1. 将军规划，士兵执行
当将军看到一个巨大的目标，如“制作石镐”时，他们不会试图一次性完成它。相反，他们会观察士兵已经掌握了哪些能力。也许士兵已经学会了“砍木头”和“放置桌子”。将军会将大目标分解为：“首先，砍木头。然后，放置桌子。最后，制作石镐。”将军向士兵下达这些较小的指令。

2. “技能编译”技巧
这是 HERAKंखला 最聪明的地方。每当士兵成功完成一项任务（如“砍木头”）时，将军并不会仅仅将其忘掉。他们会将整套动作序列“编译”成一个单一的、可重复使用的技能。这就像士兵学会了骑自行车，突然之间，将军只需要说“骑到河边”，而不需要说“踩踏、转向、平衡、踩踏、转向……”

随着机器人的学习，它的技能工具箱也会不断增长。将军开始可以使用越来越大的“选项”。与其通过 100 个微小的步骤来盖房子，将军可能只需说“造一面墙”（一个士兵已经掌握的技能）和“造一个屋顶”（另一个掌握的技能）。这使得机器人变得更快、更高效。

3. 安全过滤器
将军足够聪明，知道士兵目前不能做什么。如果士兵还没有学会“生火”，将军就不会要求他们去做，因为那只会导致失败和混乱。系统使用一种特殊的“能力检查器”，只向将军提供那些士兵有成功机会完成的目标。这保持了学习过程的平滑，并防止机器人卡在不可能完成的任务上。

研究发现

研究人员在名为 Crafter 的数字世界中测试了 HERAKLES，这是一个类似于 2D 版《我的世界》的游戏，你需要收集资源并制作物品以生存下去。目标是观察 HERAKLES 是否能在不需要人类每一步进行指导的情况下，随着时间的推移学会越来越难的任务。

他们将 HERAKLES 与其他 AI 方法进行了对比：

“全能型”机器人： 一种每次都试图从零开始学习每一个微小步骤的机器人。这个机器人很快就陷入了停滞，因为复杂的任务学习起来耗时过长。
“冻结大脑”机器人： 一个拥有聪明大脑但身体技能固定不变、永远无法学习新物理技巧的机器人。
“隐藏代码”机器人： 一个尝试学习技能但使用秘密代码而非清晰语言的机器人，这使得逻辑组合技能变得困难。

结果：
HERAKLES 是长期的绝对赢家。虽然其他机器人很快就在学习了一些简单任务（如走到树旁）后就卡住了，但 HERAKLES 却在不断进步。在训练结束时（在游戏中经过 250,000 步后），HERAKLES 已经学会了制作像石镐这样复杂的物品，而其他机器人还在为基础任务苦苦挣扎。

论文指出，HERAKLES 在“样本效率”（sample efficiency）方面表现得更好，这意味着它能从更少的尝试中学习更多。它还展现出了惊人的灵活性。当研究人员要求 HERAKLES 执行它从未见过的任务时，例如“收集 4 块木头”而不是仅仅“收集木头”，或者使用同义词如“获取木头”而不是“收集木头”时，它几乎每次都能成功。它甚至可以通过意识到“木剑”与它已经学会制作的“木镐”非常相似，从而学会如何制作“木剑”。

为什么这很重要

作者认为，这种方法是创造能够真正自主成长和适应的 AI 的一大进步。通过让 AI 构建自己的技能库，并利用这些技能来应对更具挑战性的任务，HERAKLES 避免了困扰许多其他学习系统的“停滞感”。

然而，论文也承认存在局限性。目前，将军只能理解文本而不能理解图像，因此它无法直接“看到”世界。此外，系统需要一个初始的目标列表；它目前还不会自己发明目标。但这种可以让机器人将自己的经验“编译”成新的、可重复使用技能的想法是一个强大的概念。它预示着这样一个未来：AI 智能体不仅仅是记忆过去，而是积极地为无尽的学习未来奠定基础。

技术摘要：HERAKLES – 用于开放式 LLM 智能体的层次化技能编译

问题陈述

本文探讨了在具有部分可观测性、稀疏奖励和大规模结构化目标空间的复杂环境中，实现开放式学习（open-ended learning）的挑战。虽然近期的基础模型在静态任务上已达到人类水平的表现，但由于它们依赖于固定数据集，在面对复杂度的终身增长时仍显得力不从心。相比之下，人类通过将复杂任务分解为更简单的、已内化的子技能，来持续获取多样化的技能。

目前的开放式智能体方法（例如 Voyager、AutotelicLLM）通常面临目标复杂度的组合爆炸问题。随着智能体遇到日益复杂的目标，孤立地掌握每个新目标所需的时间会迅速增加，导致学习进度停滞。现有的分层强化学习（HRL）方法通常依赖于预定义的技能集或预训练策略，这与那些必须在没有专家干预的情况下，自主发现并扩展其技能库的真正开放式智能体是不兼容的。

核心问题在于：如何使智能体能够通过将掌握的行为组合成新的技能，从而持续适应不断增长的目标空间，且不依赖于静态数据集或专家定义的基元（primitives）。

方法论：HERAKLES

作者提出了 HERKALES（HiERarchicAl sKill compilation for open Ended llm agentS），这是一个同时学习高层策略和底层控制器的层次化智能体。该系统基于这样一个假设：目标空间存在前提关系（prerequisite relations），允许将任务分解为子目标。

架构

该智能体由两个并发训练的策略组成：

高层策略 ( $\pi_{HL}$ )：由**大语言模型（LLM）**实现（具体使用带有 LoRA 微调层的 Mistral 7B）。它充当规划器和探索器，根据从观测和任务目标中提取的文本提示词来选择子目标。它在一个受限的“可调用”选项集上运行——即低层策略被认为能够可靠实现的子目标。
底层策略 ( $\pi_{LL}$ )：一个轻量级、计算高效的神经网络（基于 ResNet），负责执行原始动作。它被训练用于直接解决目标，并将成功的轨迹逐步编译为可重用的技能。

关键机制

层次化编译（Hierarchical Compilation）：当层次化智能体成功解决一个目标 $g$ 时，该原始动作的完整轨迹会被“编译”进 $\pi_{LL}$ 。一旦掌握， $\pi_{LL}$ 就可以将 $g$ 直接作为单个技能来执行。随后， $\pi_{HL}$ 可以调用这一新技能作为更复杂目标的基元，从而有效地降低高层规划中的信噪比。
自适应子目标过滤（Adaptive Subgoal Filtering）：为了防止 $\pi_{HL}$ 选择无法实现的子目标，系统使用了一个能力评估器 ( $C_\theta$ ) 来过滤目标空间。该评估器基于低层轨迹进行训练，用于预测 $\pi_{LL}$ 从当前状态实现特定目标的概率。 $\pi_{HL}$ 仅从估计成功概率较高的目标中进行采样，以确保学习的稳定性。
双层优化（Bilevel Optimization）：该系统被构建为一个具有 Stackelberg 结构的双层问题。 $\pi_{HL}$ $π_{H L}$ 塑造了 $\pi_{LL}$ $π_{LL}$ 所见到的状态和子目标的分布，而 $\pi_{LL}$ $π_{LL}$ 的执行决定了高层分解的最优性。两个策略同时进行训练：
- $\pi_{HL}$ 通过在高级决策轨迹上的在策略强化学习（POAD）进行训练。
- $\pi_{LL}$ 通过使用两类数据进行离策强化学习（AWR）：完整的层次化展开（用于技能编译）和子目标片段（用于技能强化）。

训练动态

训练过程遵循自动课程学习。最初， $\pi_{LL}$ 仅掌握原子动作。随着它掌握更多目标，这些目标会被添加到其技能库中。随后， $\pi_{HL}$ 利用这些掌握的目标作为构建块来应对更复杂的目标。这创造了一个反馈循环：低层策略不断增长的能力扩大了高层策略的有效动作空间。

核心贡献

联合学习框架：一种用于开放式智能体的学习方法，能够联合训练基于 LLM 的高层策略和底层控制器，且无需预设技能或大量的预训练。
动态技能编译：一种机制，通过将成功的行为自动蒸馏到低层策略中，实现可扩展的技能组合，并随着智能体能力的增强而提升。
自适应过滤：一种基于能力的过滤机制，将高层策略的搜索空间限制在可实现的子目标内，从而稳定学习过程。
语言结构化抽象：利用自然语言的组合特性来定义目标空间，并促进发现目标之间的前提链（prerequisite chains）。

实验结果

该方法在 Crafter 环境中进行了评估，这是一个具有成就树（包含 17 个目标，涉及物品收集和制作）的程序化生成 2D 世界。

样本效率：从长远来看，HERAKLES 优于基准模型（POAD, FUN, BOSS）。虽然基准模型在初期进展较快，但在掌握简单目标后便进入平台期。HERAKLES 展示了渐进式的、持续的改进，随着越来越多的目标被编译进 $\pi_{LL}$ ，它最终能够实现复杂的任务（如“制作石镐”），而基准模型未能发现这些任务。
泛化能力：与基准模型相比，HERAKLES 在未见过的目标上表现出卓越的泛化能力：
- 组合泛化：它在需要重复已知任务的目标上（例如“收集 4 个木头”对比“收集木头”）保持了较高的成功率，而基准模型在此类任务上表现显著下降。
- 同义目标：它能有效处理同义动词。
- 轨迹相似目标：它成功将技能迁移到具有相似前提结构的未见目标上（例如在学习“制作木剑”后学习“制作木镐”）。
技能扩展： $\pi_{HL}$ 可调用的低层技能数量随训练稳步增加，证实了该系统构建可重用技能库的能力。

意义与主张

论文声称 HERAKLES 为实现能够进行终身学习的**自驱动智能体（autotelic agents）**提供了一条可行路径。通过将 LLM 的推理与组合能力与专门低层控制器的执行效率相结合，该系统克服了导致开放式学习停滞的“复杂度障碍”。

作者强调，其方法：

不依赖于专家定义的技能或预训练策略。
通过将掌握的目标视为未来学习的基元，实现了组合泛化。
通过将过去的学习摊销为可重用的技能，提高了在开放式环境下的样本效率。

这项工作被视为迈向**通用人工智能（AGI）**的一步，特别是解决了智能体需要能够自主生成、选择并针对自身目标进行训练，以持续扩展其能力的需求。作者承认了当前的局限性，例如目前对文本目标的依赖（暗示未来可结合视觉语言模型），以及定期重新训练带来的计算成本，但将该方法定位为实现完全自主、开放式智能体的基础性步骤。