Discovering Temporal Structure: An Overview of Hierarchical Reinforcement Learning
本文通过定义分层强化学习对决策挑战的益处、将从在线和离线数据中发现时间结构的方法分类至大语言模型，并概述当前面临的挑战及适用的应用领域，对分层强化学习进行了综述。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下这样一个世界：你所做的每一个决定，从系鞋带到规划职业生涯，都需要你自觉地计算每一根肌肉纤维的运动。你会因为细节过于庞杂而陷入瘫痪，无法顾全大局。这正是人工智能智能体在复杂环境中尝试学习时的日常现实。它们感知世界并逐刻行动，但为了实现任何有意义的目标，它们必须跨越长时段进行推理。挑战不仅在于学习做什么，还在于学习如何将这些动作组织成一个连贯的故事。这就是分层强化学习（Hierarchical Reinforcement Learning）的领域，该领域致力于教会机器将宏大且压倒性的问题分解为更小、更易处理的块，就像人类将一天划分为一系列截然不同的任务一样。
由来自麦吉尔大学、布朗大学和阿尔伯塔大学的研究人员撰写的一篇全新的综合综述，绘制了该领域的现状图景，为机器如何自主发现这些有用结构提供了清晰的指南。作者认为，解决复杂、长期问题的关键在于寻找并利用“时间结构”——即某些动作序列自然组合在一起的时间模式。与其强迫机器从头开始学习每一个微小的步骤，目标是帮助它发现可重用的技能，或者称为“选项”（options），它可以一次又一次地调用这些选项。这篇论文并非提出了一种解决所有问题的单一新算法；相反，它组织了大量且多样化的现有研究，以解释什么构成了有用的结构、不同的方法是如何发现这些结构的，以及最大的障碍仍然在哪里。
研究人员首先阐明了什么是“好的”时间结构。他们将此类比于软件工程师编写代码的方式：一个组织良好的程序使用可以被重用并组合以构建复杂应用程序的模块。同样，当一个人工智能智能体能够学习一项技能（如“开门”或“拿起钥匙”），并将该技能作为实现更大目标（如“逃出迷宫”）的构建模块时，它就会从中受益。论文指出了此类结构提供的四个主要益处。首先，它们通过针对特定的里程碑而非漫无目的地游荡，帮助智能体更有效地探索世界。其次，通过将长链事件组合成单个、可理解的单元，它们使得确定哪些动作导致了成功或失败（这一过程被称为信用分配）变得更加容易。第三，它们允许智能体在不同情境之间迁移知识，将在一个语境中学习到的技能重用于不同的问题。最后，它们使智能体的决策过程对人类观察者更加透明，让我们能够理解机器行为背后的“原因”。
然而，作者谨慎地指出，这种方法并非万能灵药。这里存在一种权衡。构建技能层级需要额外的计算和时间来首先发现正确的结构。如果智能体发现的结构与实际问题不匹配，实际上可能会减慢学习速度或导致性能下降。论文建议，只有当任务的复杂度足以证明构建这种内部组织的成本是值得的时，才能获得最佳效果。对于简单的短时任务，标准方法通常更好。但对于那些智能体必须进行长远规划的长周期、复杂挑战，投入在发现层级结构上的精力是值得的。
随后，该综述将研究人员教导智能体寻找这些结构的不同方法进行了分类，将其分为三个主要信息来源。第一组方法直接从与世界的实时交互中学习。其中一些方法寻找“瓶颈”——即智能体必须经过的狭窄通道或关键状态，以到达新的区域，例如房屋中的一扇门。通过识别这些咽喉要道，智能体可以学习穿越它们的特定技能，从而有效地解锁环境的新部分。该组中的其他方法使用数学技术来绘制环境的形状，寻找智能体可以在其间导航的自然状态分组。第三种方法侧则关注“赋能”（empowerment），即智能体学习那些能让它对未来拥有最大控制权的技能，鼓励它去探索那些它拥有最大影响力的状态。
第二组方法是从已经存在的海量数据集中学习，而不是实时与世界互动。这在智能体无法在现实世界中承担犯错代价时特别有用。通过分析离线数据集，这些算法可以识别由人类或其他智能体展示出的模式和技能，从而有效地从过去的经验中逆向工程出一个有用的层级结构。它们可以重新标注旧数据以寻找新的目标，帮助智能体在不需要新交互的情况下，从更广泛的各种情况中学习。
第三种，也是最新的前沿领域，涉及使用基础模型（如大型语言模型）来提供先验知识。这类方法不再从零开始，而是利用这些模型中已经编码的庞大知识，来建议哪些技能可能是有用的，或者帮助智能体理解任务的结构。这使得智能体能够带着“领先优势”开始其发现过程，利用人类语言和逻辑来引导其学习。
尽管取得了这些进展，作者仍强调存在重大挑战。一个主要问题是“非平稳性”（non-stationarity），这是一个技术术语，指的是随着智能体学习新技能，它所感知的环境也在发生变化，这使得在不产生相互干扰的情况下同时学习多项事物变得困难。另一个挑战是平衡奖励：智能体必须学会在保持最终目标的同时，重视完成子任务带来的即时满足感。论文指出，虽然我们有很多工具来发现这些结构，但我们仍然缺乏一种适用于每种情况的通用方法。
综述最后指出，层次化学习最有可能取得成功的领域是那些开放式环境，即任务漫长、复杂且具有共同底层结构的领域，例如机器人技术、网络导航和复杂的电子游戏。在这些领域，组合和重用技能的能力不仅是一种奢侈，更是一种必然。作者认为，人工智能的未来在于构建能够自主对世界提出正确问题，并高效找到答案的智能体，从而创建属于自己的技能库，以应对日益复杂的现实。这项工作为那段旅程绘制了一份路线图，阐明了我们已知的内容、仍在努力探究的问题，以及为什么教机器进行分层思考对于下一代智能系统如此至关重要。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。