🤖 AI

Exploiting Local Dynamics Regularity for Reusable Skills in Offline Hierarchical RL

本文介绍了 CARL，一种分层强化学习算法，它利用局部动力学的规律性，将全局上下文与所需动作序列对齐，从而学习可复用的技能，以提升在复杂任务上的下游性能。

原作者： Sarthak Dayal, Abhinav Peri, Carl Qi, Claas Voelcker, Alexander Levine, Caleb Chuck, Amy Zhang

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Sarthak Dayal, Abhinav Peri, Carl Qi, Claas Voelcker, Alexander Levine, Caleb Chuck, Amy Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和日常类比对论文《利用局部动态规律性实现离线分层强化学习中的可复用技能》的解释。

核心问题：“重复造轮子”的困境

想象你正在教一个机器人穿越一个巨大而复杂的迷宫。在传统的强化学习（RL）中，机器人每次进入一个新房间时，往往都要从头开始学习每一个动作。

如果机器人在厨房里学会了“向前走”，那么当它进入客厅时，可能会忘记如何完全一样地执行这个动作，尽管行走的物理原理完全相同。这就像一个学生在教科书中学会了解决一道数学题，却仅仅因为字体不同，就在考试中无法解答同一道题。

这就是**分层强化学习（HRL）**的核心挑战。HRL 试图教机器人“技能”（如行走、站立或抓取），以便它们能够复用这些技能。但现有方法往往未能意识到，“向前走”这一技能无论是在厨房还是客厅都是相同的。它们将这些情况视为完全不同的事物，从而浪费了时间和数据。

解决方案：CARL（技能的“通用翻译器”）

作者提出了一种名为CARL（基于对比动作的可复用局部控制表征）的新方法。

将 CARL 想象成一种动作的通用翻译器。它不再询问“我在世界中的什么位置？”（因为这个问题时刻在变），而是询问“我需要什么样的动作序列才能从这里到达那里？”

核心理念：“局部动态”

这篇论文基于一个直观的假设：局部动态具有规律性。

类比： 想象你身处一个拥挤的城市。如果你想向前走三步，你需要先抬起左脚，然后是右脚，再是左脚。无论你是在纽约、东京还是一个小村庄，移动三步所需的动作序列都是一样的。
论文主张： 机器人环境中的许多不同位置共享这些相同的“局部规则”。如果机器人需要从 A 点移动到 B 点，同时也需要从 C 点移动到 D 点，且距离和障碍物相似，那么机器人应该对这两种情况使用完全相同的“技能”（动作序列）。

CARL 如何工作：“匹配”算法

CARL 查看机器人过去动作的巨大数据库（离线数据）。它不仅仅是记忆地图，而是寻找机器人如何移动的模式。

输入： 它查看“状态 - 目标对”。（例如：“我在门口，我想去桌子那里。”）
关键秘诀： 它查看机器人到达那里所使用的动作序列（例如：“迈步、迈步、转身、迈步”）。
魔法所在： CARL 使用一种称为对比学习的技术。它试图将任何需要相同动作序列的两种情况归为一组，即使这些情况在表面上看起来完全不同。

比喻：
想象一位图书管理员在整理书籍。

旧方法： 图书管理员按封面的颜色或书籍印刷的城市来分类。（这就像按“机器人所在的位置”来分类。）
CARL 方法： 图书管理员按情节摘要来分类。如果两本书有完全相同的情节（例如“英雄爬梯子逃脱”），它们就会被归放在一起，即使一本是科幻小说，另一本是奇幻小说。

在 CARL 的世界里，在迷宫角落“站起来”和在房间中间“站起来”会被归为一类，因为它们的“情节”（动作序列）是相同的。

结果：为何这很重要

作者在名为OGBench的基准测试中测试了该方法，其中包括以下任务：

移动： 让虚拟蚂蚁、机器狗或人形机器人穿过迷宫行走。
操作： 让机械臂堆叠方块或解决谜题。

发生了什么？

更好的迁移： 当机器人在迷宫的一个部分学会了一项技能后，它可以立即在迷宫的完全不同部分使用这项技能。它不需要重新学习如何行走。
更高的分数： 当他们将 CARL 与现有的先进 AI 方法（如 HIQL）结合时，机器人完成任务的频率大大提高。例如，在一些困难的“巨大迷宫”测试中，成功率提升了 30% 以上。
视觉证据： 作者创建了可视化图表（如论文中的图 3），显示 CARL 成功地将“向后行走”的行为归为一类，即使机器人位于迷宫中完全不同的位置。

CARL 做不到什么（严格基于论文）

它不会凭空创造新技能；它会发现并复用数据中已有的模式。
它不是解决所有问题的万能灵药。论文指出，它在处理需要非常复杂、长期规划的任务（如解决 4x4 拼图）或具有非常随机、不可预测物理机制的环境（如传送门）时，表现会稍差。
它依赖于拥有良好的过去数据“库”。如果数据稀疏或质量差，CARL 就无法找到模式。

总结

CARL 是一种教机器人识别“行走”就是“行走”的方法，无论它们身处何地。通过数学方式将需要相同步骤的情况归为一组，它使机器人能够在环境的不同部分复用其学到的技能，从而使它们在解决漫长而复杂的任务时变得更聪明、更快速、更高效。

技术摘要：利用局部动态规律性实现离线分层强化学习中的可复用技能

问题陈述

分层强化学习（HRL）旨在通过发现并复用时间扩展的技能来解决长视野任务。然而，一个持续存在的挑战是如何获得在不同上下文中真正可复用的技能。现有方法在协同学习技能与策略时往往面临训练不稳定的问题，或者未能有效利用可复用性。虽然基于目标的条件策略实现了训练解耦，但它们往往丧失了真正技能所固有的时间抽象性和一致的可复用性。具体而言，直接在“全局状态 - 目标”空间中进行推理，使得底层策略难以识别在何种情况下相同的行为可以在不同的全局上下文中被复用。

方法论

作者提出了CARL（用于可复用局部控制的对比动作表示法），这是一种旨在从离线数据集中学习局部动态表示以促进技能复用的方法。

理论基础：局部动态与双模拟

核心直觉是局部动态：状态空间的许多局部区域共享相似的动态，这意味着在不同全局上下文中的局部转移需要相似的动作序列。

k-球 MDP：作者通过定义以状态 $s$ 为根、包含所有 $k$ 步内可达状态的有限视野 MDP（即"k-球”）来形式化局部动态。
动态双模拟性：如果两个状态对应的 $k$ -球 MDP 是动态双模拟的，则认为它们共享局部动态。这意味着存在一种关系，使得在相同动作序列下的转移概率是等价的，从而允许这些状态在短视野目标达成行为中被视为可互换的。

实用算法：CARL

在高维连续域中直接估计双模拟是不可行的。相反，CARL 利用行为相似性作为启发式方法。其假设是：在接近专家水平的离线数据集中，允许相同 $k$ 步动作序列 $a_k$ 的状态 - 目标对 $(s_1, g_1)$ 和 $(s_2, g_2)$ 具有行为相似性。

CARL 使用对比学习目标（InfoNCE）学习状态 - 目标对的嵌入 $\phi(s, g)$ 和动作序列的嵌入 $\psi(a_k)$ ：
$\mathcal{L}_{InfoNCE} = -\frac{1}{B} \sum_{i=1}^B \log \frac{\exp(\langle \phi(s_i, g_i^k), \psi(a_i^k) \rangle / \tau)}{\sum_{j=1}^B \exp(\langle \phi(s_i, g_i^k), \psi(a_j^k) \rangle / \tau)}$
该目标将状态 - 目标对与实现它们的动作序列对齐。因此，需要相似局部技能的状态 - 目标对无论其全局位置如何，在潜在空间中都会被嵌入到邻近位置。

与 HRL 的集成

CARL 被集成到现有的分层离线强化学习算法中，具体为HIQL和HGCBC。

学习到的表示 $\phi(s, g)$ 被用作底层策略和价值函数的输入。
高层策略在该学习到的表示空间中输出子目标。
这使得底层策略能够在不同的全局上下文中复用相同的技能（动作序列），而无需为每个区域从头重新学习策略。

主要贡献

局部动态的形式化：本文基于局部动态（通过 $k$ -球 MDP 和双模拟）而非长视野价值等价性来定义状态等价性，为技能复用提供了原则性基础。
CARL 算法：一个实用的对比学习框架，从离线数据中近似局部动态结构，根据所需的动作序列对状态 - 目标对进行聚类。
实证验证：证明了将 CARL 集成到 HIQL 和 HGCBC 中，显著提升了在OGBench基准测试上跨多样化任务（移动、操作和复杂谜题）和模态（基于状态和基于像素）的下游性能。
表示结构分析：可视化（UMAP）和最近邻分析证实，CARL 成功地将需要相似局部行为的不同全局状态聚类在一起（例如，在不同迷宫位置“向后行走”）。

结果

论文报告了在 OGBench 套件上的广泛实验结果：

基于状态的任务：HIQL+CARL 在对抗标准 HIQL 时取得了 20/22 的胜率，在“巨型迷宫”（场景任务提升 +30%）和“立方体”操作任务等复杂环境中表现显著提升。HGCBC+CARL 对抗 HGCBC 取得了 21/21 的胜率。
基于像素的任务：在视觉环境中，HIQL+CARL 对抗 HIQL 取得了 13/14 的胜率，在长视野 antmaze 任务中取得了显著增益（例如，大型/巨型变体提升 +30%）。
消融研究：
- 对比与预测：对比目标（InfoNCE）优于直接回归（预测）损失，表明其在组织用于技能复用的潜在几何结构方面更有效。
- 动作序列与单动作：对完整动作序列 ( $a_k$ ) 的建模优于对单动作的建模，证实了时间结构的重要性。
- 采样：“内部采样”（使用 $k$ 步视野内的中间状态）的表现优于“表面采样”（仅使用终点）。
鲁棒性：CARL+HIQL 对数据集覆盖率和不平衡性的敏感度与基线 HIQL 相似，表明 CARL 并未加剧数据需求。

意义与主张

作者主张，局部动态结构为技能提取和复用提供了原则性基础，有助于 HRL 重新连接长视野决策核心的时间抽象。通过学习根据所允许的短视野行为对状态 - 目标对进行聚类的嵌入，CARL 提供了一种技能复用的具体机制，从而改进了现有的分层强化学习框架。

论文强调，这种方法使高层策略能够更有效地推理底层技能，从而实现行为在不同全局上下文中的迁移（例如，人形机器人在迷宫的不同部分站立起来）。虽然该方法依赖于离线数据集和固定视野，但结果表明，显式建模局部可复用性能够解锁性能优势，特别是在复杂的高维机器人领域，在这些领域中为每个上下文重新学习底层策略是低效的。

该工作对其局限性持适度态度，指出提取视野 $k$ 的选择依赖于环境，且在某些任务（如具有随机动态或极端组合泛化的任务）上的性能仍然具有挑战性。未来的工作建议探索自动技能发现、动作抽象以及高层策略表示。