🤖 machine learning

Joint Learning of Hierarchical Neural Options and Abstract World Model

本文介绍了 AgentOWL，这是一种样本高效的方法，它联合学习抽象世界模型与分层神经选项，使 AI 智能体能够以比现有无模型方法更少的数据获取并组合新技能，并实现更优的泛化能力。

原作者： Wasu Top Piriyakulkij, Wolfgang Lehrach, Kevin Ellis, Kevin Murphy

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Wasu Top Piriyakulkij, Wolfgang Lehrach, Kevin Ellis, Kevin Murphy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人制作一杯咖啡。你并不希望它每次都从头开始学习每一个微小的动作——比如将手指向左移动 1 毫米，然后再向前移动 1 毫米。那样做将耗时无穷，并需要数百万次尝试。相反，你希望它学习“技能”（例如“拿起杯子”、“倒水”、“按下按钮”），然后将这些技能组合起来制作咖啡。

本文介绍了一种名为AgentOWL（选项与世界模型学习智能体）的新型人工智能系统，它非常擅长快速学习这些技能，并利用它们来解决新的、更困难的问题。

以下是其工作原理，分解为简单的概念：

1. 问题：“试错”陷阱

大多数当前的 AI 机器人是通过随机尝试直到成功来学习的。如果你希望它们学习一条长长的技能链（例如制作咖啡），它们就必须尝试数十亿次随机的动作组合。这就像试图通过逐个猜测所有可能的数字组合来打开保险箱。这种方法既缓慢又低效。

2. 解决方案：两大“超能力”

AgentOWL 通过结合两样东西来解决这个问题：分层选项（技能）和抽象世界模型（心理地图）。

A. “技能阶梯”（分层选项）

这就像是一个带有“存档点”系统的电子游戏。

第 1 级：机器人学习一个简单的技能，例如“走到门口”。一旦掌握，它就将其保存为一个单独的按钮操作。
第 2 级：现在，机器人不再重新学习“走到门口”，而是利用这个已保存的按钮来学习一个更大的技能，例如“去厨房”。
第 3 级：它不断叠加这些技能。“去厨房”+“拿起杯子”=“获取咖啡”。

这就形成了一个深层的技能阶梯。机器人每次想喝咖啡时，都不必重新学习如何行走；它只需使用它已经知道的“行走”技能。

B. “心理地图”（抽象世界模型）

这是关键秘诀。AgentOWL 并不试图预测屏幕上的每一个像素（这就像试图通过观察每一滴雨来预测天气），而是构建一个简化的心理地图。

类比：想象你在规划一次公路旅行。你不需要知道经过的每一栋房子的颜色。你只需要知道：“如果我走 101 号公路，我最终会到达旧金山。”
AgentOWL 的做法：它使用一种特殊的“世界模型”来预测技能的结果，而不是中间的微小步骤。它会问：“如果我使用‘走到门口’的技能，我最终会到达厨房吗？”它忽略旅程中混乱的细节，专注于结果。

3. “梦想家”策略

这里是巧妙之处：AgentOWL 在梦境（心理地图）中练习，然后才在现实世界中进行尝试。

想象：它利用简化的地图在脑海中模拟数千种场景。它尝试不同的技能组合，看看哪些能通向目标。
现实检验：一旦它在脑海中找到了一个好的计划，它就在现实游戏中尝试该特定计划。
学习：如果现实世界与梦境略有不同，它就会更新其心理地图。

这就是它如此高效的原因。它不会浪费时间在实际世界中撞墙；它先在脑海中理清路径。

4. “智能助手”（使用大语言模型）

有时机器人会陷入困境，因为它不知道接下来该学习什么技能以达到新目标。为了解决这个问题，AgentOWL 会向大语言模型（LLM）寻求帮助。

类比：想象你正在建造一座复杂的乐高城堡，但缺少一个特定的零件。你问一个朋友（LLM）：“嘿，我有一个塔和一堵墙。我需要什么零件把它们连接起来？”
LLM 会建议一个“桥梁”技能。然后机器人尝试学习这个特定的桥梁技能。这帮助机器人比随机猜测更快地构建其技能阶梯。

5. 结果：他们证明了什么？

研究人员在三个非常困难的电子游戏（如《蒙特祖玛的复仇》和《陷阱》等 Atari 游戏）中测试了 AgentOWL，在这些游戏中，机器人必须探索迷宫并找到特定物体。

更快的学习：与其他标准 AI 方法相比，AgentOWL 使用更少的数据（更少的游戏尝试）学习了更多的技能。
解决难题：其他 AI 方法因为路径太长太复杂而放弃了最难的关卡。AgentOWL 成功了，因为它能够将长路径分解为小的、可管理的“技能”，并在脑海中规划它们。
零样本泛化：这是最酷的部分。研究人员将机器人移动到一个它从未见过的全新起始位置。由于 AgentOWL 理解了世界的逻辑（地图）并拥有一个技能库，它能够立即弄清楚如何到达目标，而无需任何新的训练。这就像将一名棋手移到新的棋盘上；他们不需要重新学习如何移动棋子，只需将策略应用到新的布局中即可。

总结

AgentOWL 就像一个不仅死记硬背答案，而是学习概念的学生。

它将大问题分解为小的、可重用的技能。
它构建一个简化的心理地图来预测这些技能的作用。
它在脑海中练习以在行动前找到最佳路径。
当陷入困境时，它会向智能助手寻求帮助。

其结果是一种能够更快学习新复杂任务，并且无需从头重新训练就能适应新情况的 AI。

技术摘要：分层神经选项与抽象世界模型的联合学习（AgentOWL）

1. 问题陈述

本文解决了使决策智能体通过组合现有技能来累积获取新技能的挑战。虽然选项框架将这一问题形式化为学习一个实现日益困难目标的策略（选项）层次结构，但标准的**无模型分层强化学习（RL）**方法存在样本效率低下的问题。随着获取技能数量的增加，有效动作空间随之扩大，使得策略学习对数据的需求日益增加，对于新目标而言变得难以处理。

核心问题在于一种权衡：快速学习新技能与已获取技能数量之间的矛盾。标准的无模型方法随着学习的推进需要指数级增加的样本。作者提出，基于模型的 RL可以通过利用世界模型在真实世界执行之前进行规划并排除选项来解决这一问题。然而，现有的世界建模方法往往缺乏从有限样本中学习复杂动态所需的数据效率，或者未能提供使规划可行所需的时序和状态抽象。

2. 方法：AgentOWL

作者提出了AgentOWL（选项与世界模型学习智能体），这是一个以样本高效的方式联合学习一组分层神经选项和抽象世界模型的系统。

2.1 抽象世界建模

该系统采用**专家乘积（PoE-World）**框架来学习一个在状态和时间上进行抽象的世界模型。

状态抽象：模型不预测原始像素转换，而是预测由目标谓词 $f(s) = (g_1(s), g_2(s), \dots)$ 定义的抽象状态的未来。这降低了预测任务的维度。
符号表示：世界模型被表示为专家的乘积，其中每个专家是由大语言模型（LLM）生成的简短符号程序（Python 代码片段）。这些程序对独立的因果机制进行建模。
框架公理先验：为了保持样本效率，模型引入了“框架公理先验”。这使模型倾向于相信选项 $o_i$ 主要改变其对应的特征 $f_i$ ，而不改变其他特征 $f_j$ （ $j \neq i$ ）。这是通过带有高斯先验的最大后验（MAP）估计实现的，显著减少了学习转换动态所需的数据。
重构：由于抽象模型预测 $p(f' | s)$ ，因此使用核密度估计器（加权函数）启发式地从抽象状态 $f'$ 采样完整状态 $s'$ ，使智能体能够在不学习完整参数化生成模型的情况下与模拟环境交互。

2.2 分层选项的联合学习

AgentOWL 通过迭代训练来掌握目标序列 $\{g_1, \dots, g_n\}$ ，并学习相应的选项 $\{o_1, \dots, o_n\}$ 。

基于 LLM 的子选项假设：当智能体需要实现新的目标 $g$ 但缺乏直接选项时，会提示 LLM 假设一个新的子选项 $o_{h \to g}$ 。LLM 从现有选项集 $\Omega$ 中选择一个先验学习过的子目标作为前提条件 $h$ ，该前提条件可作为踏脚石。这个新选项及其假设的世界模型被添加到系统中。
基于模型的探索：智能体在抽象世界模型内使用深度 Q 学习（DQN）学习策略 $\pi_{wm}$ 。该策略作为真实世界策略 $\pi_{real}$ 的探索指南。组合策略定义为 $\pi(a|s) = (1-\epsilon)\pi_{real}(a|s) + \epsilon\pi_{wm}(a|s)$ 。探索率 $\epsilon$ 从 1 退火至 0，允许智能体在真实世界策略稳定时，从基于模型的规划过渡到完全的无模型学习。
稳定的分层训练：为了缓解因训练底层选项（这会改变高层选项所见的环境）引起的非平稳性，系统采用了一种稳定机制。只有当该回合中执行的所有子选项都是“稳定”的（即它们已在足够多的样本 $n > n_{threshold}$ 上训练，并且具有高目标完成率 $\delta > \delta_{threshold}$ ）时，来自回合的数据才会被添加到回放缓冲区以进行训练。

3. 主要贡献

AgentOWL 框架：一种新颖的架构，联合学习分层神经选项和抽象世界模型，实现了样本高效的技能获取。
带有符号程序的抽象世界模型：将 PoE-World 与 LLM 生成的符号程序相结合，使得能够从极少数据中学习复杂的时间抽象动态，克服了底层模型的“单步陷阱”。
LLM 驱动的选项发现：一种利用 LLM 基于现有技能假设新子选项（前提条件）的方法，有效地自动化了技能获取的课程，无需手动设计子目标。
稳定的分层 DQN：一种训练过程，通过根据子选项的稳定性过滤数据来稳定深层选项层次结构的学习，解决了分层 RL 中固有的非平稳性问题。

4. 实验结果

该方法在三个以探索困难而闻名的以物体为中心的 Atari（OCAtari）游戏中进行了评估：《蒙特祖玛的复仇》（Montezuma's Revenge）、《陷阱》（Pitfall）和《私家侦探》（Private Eye）。

技能获取效率：与基线（包括 Rainbow DQN、基于目标的 DQN 和无世界模型的分层 DQN）相比，AgentOWL 使用更少的环境步数掌握了更高比例的选项。虽然基线在掌握少量技能后趋于停滞，但 AgentOWL 继续获取复杂技能。
对困难目标的泛化：定性分析显示，基线无法获取困难目标（例如在《陷阱》中到达特定房间）的选项，因为它们无法发现必要的长动作序列。AgentOWL 成功地在抽象层面规划了这些序列，并分层执行。
隐式学习：实验表明，即使仅针对高层目标给予奖励，AgentOWL 也能隐式地改进子选项。对目标有用的子选项显示出成功率提高，而不相关的子选项则没有。
零样本泛化：在新起始状态实验中，AgentOWL 能够组合现有选项以实现先前掌握的目标，而无需额外训练，前提是给它一个从新起点导航到原始起点的新选项。缺乏抽象世界模型和分层组合能力的基线无法进行零样本适应。

5. 意义与主张

本文主张选项学习与世界模型学习是深度交织的。通过学习一个捕捉选项效果的抽象世界模型，智能体可以高效规划，这反过来又促进了新技能的发现和 refinement。

作者强调，AgentOWL 展示了：

样本效率：与无模型基线相比，用显著更少的数据实现复杂的技能层次结构。
组合泛化：能够组合已学习的技能来解决新问题（零样本泛化），并隐式学习高层目标所需的子技能。
规划的可扩展性：使用抽象的、时间扩展的模型，使得在低层模型难以处理的长视野上进行规划成为可能。

本文总结道，尽管当前存在局限性（例如需要有序的目标序列和符号输入），但该方法突显了一个有前景的方向，即通过技能获取与世界建模的相互作用，构建能够累积扩展其知识和能力的智能体。