🧬 biology

Preemptive Solving of Future Problems: Multitask Preplay in Humans and Machines

本文介绍了“多任务预演”，这是一种新颖的算法，它利用对未 pursued 但可及的任务的反事实模拟来学习预测性表征，从而解释人类在复杂环境中的泛化能力，并显著提升智能体在新型多任务场景中迁移技能的能力。

原作者： Wilka Carvalho, Sam Hall-McMaster, Honglak Lee, Samuel J. Gershman

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Wilka Carvalho, Sam Hall-McMaster, Honglak Lee, Samuel J. Gershman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象你正穿过一个陌生的街区寻找一家咖啡店。走着走着，你经过了一家健身房、一家杂货店和一个公园。尽管你只是在找咖啡，但你的大脑却悄悄地在心里记下健身房和杂货店的位置。稍后，如果你突然需要牛奶，就不必从头开始；你可以立刻回想起杂货店就在两个街区之外。

本文提出，人类一直在进行这种“心理预演”，并介绍了一种名为**多任务预演（Multitask Preplay）**的新计算机算法，试图模仿人类的这一超能力。

以下是该理念、实验及结果的拆解，辅以简单的类比：

问题所在：“小抄”与“地图”

要理解这篇论文，不妨想象学习电子游戏的两种方法：

“小抄”（无模型方法）： 你玩了一百万次游戏。你记住了“如果我按上、然后右、然后跳，就能得分”。一旦掌握模式，这既快又容易，但如果游戏发生变化（例如目标移动），你就得从头再来。你无法适应。
“地图”（有模型方法）： 你构建了一个完美的心智地图，涵盖整个世界。你可以瞬间算出如何到达任何地方。但构建这张地图需要消耗大量的脑力和时间，而且每次做决定时都要重新计算。

大多数当前的人工智能试图成为其中一种。然而，人类似乎做的是介于两者之间的事。他们构建地图，但也会在休息或做其他事情时，在脑海中“预演”各种场景，从而为未来做好准备。

核心理念：“多任务预演”

作者提出，当你走向咖啡店（任务 A）时，你的大脑并不会止步于此。它会在后台模拟：如果要去杂货店（任务 B）或健身房（任务 C）会是什么样子，即使你实际上并不去那里。

隐喻： 想象你是一位正在炖一大锅汤（你的主要任务）的厨师。当汤在慢炖时，你并非只是坐在那里。你会在脑海中练习切蔬菜，为稍后可能要做的沙拉做准备。当你真正需要沙拉时，就不必再琢磨如何切菜；你已经在脑海中“预演”过这个动作了。
算法： 计算机程序会利用它刚刚走过的一条路径（例如去咖啡店），在后台运行一次模拟：“好吧，如果我要去杂货店而不是咖啡店，我该怎么做？”它将这种“虚假”的经历保存在记忆中。稍后，当杂货店成为真实目标时，计算机因为之前练习过，已经知道路该怎么走了。

实验验证（实验过程）

研究人员在两个不同的“世界”中，用人类和计算机测试了这一理念：

1. 网格世界（一个简单的迷宫）

设置： 人类控制迷宫中的一个红色三角形寻找蓝色方块（训练任务）。随后，他们需要寻找一个红色方块（新任务）。
测试： 有时，红色方块的位置使得通往它的最佳路径与刚刚走过通往蓝色方块的路径部分重叠。
结果： 人类并没有仅仅选择数学上最短的路径。相反，他们经常选择一条稍长的路径，复用刚刚练习过的路线。
意义： 即使复用旧路径并非最短，人类的速度也更快。这表明他们在执行第一个任务时，就像多任务预演算法一样，在脑海中“缓存”了该路线。其他人工智能模型要么无法解决迷宫，要么耗时更长，因为它们没有“预演”替代路线。

2. 我的世界（Minecraft）世界（一个复杂的 3D 游戏）

设置： 他们转向了一个更复杂的游戏，名为"Craftax"（类似《我的世界》），玩家必须在一个巨大且部分隐藏的世界中寻找特定的石头（钻石、红宝石）。
转折： 有时，玩家甚至不知道稍后会被测试寻找哪种石头。
结果： 即使不知道未来的目标，人类仍然复用了训练期间的路径。如果他们在训练期间曾走过新石头附近，他们找到新石头的速度就会更快。
人工智能对比： 标准的人工智能模型在这里彻底失败。它们无法泛化。但多任务预演人工智能取得了成功，通过在已知目标的学习过程中模拟对未知石头的追寻，其表现与人类相当。

人工智能模拟："10,000 个新世界”测试

最后，研究人员在一个大规模模拟中测试了该算法，人工智能必须学会导航 10,000 个不同的独特世界。

挑战： 现实世界的任务往往共享部分环节。要获得钻石，你需要一把镐。要获得镐，你需要木头。这些“子任务”经常同时发生。
胜利： 多任务预演人工智能学会了识别这些模式。通过在致力于主要目标的同时模拟“子任务”（例如制作镐），它构建了一个灵活的大脑。当被投入一个从未见过的全新世界时，它解决复杂任务的速度比其他人工智能方法快得多。

结论

该论文声称，人类天生擅长基于当前行为“预演”未来的可能性。我们不仅仅是为了手头的任务而学习；我们也是为了可能需要的下一个任务而学习。

通过教导计算机做同样的事情——在处理当前任务的同时模拟替代目标——我们可以创造出更擅长适应新情况的人工智能，而无需从头开始重新学习一切。事实证明，聪明的秘诀不仅仅在于努力处理当下，还在于对未来进行白日梦。

技术摘要：通过多任务预演对未来问题进行预防性求解

问题陈述

人类具备执行多种任务的能力，但通常仅限于同时执行少数几项。认知科学与人工智能领域的一个核心挑战在于解释智能体如何在无需大量新任务经验的情况下泛化至新任务。传统方法往往陷入两个极端：

基于模型的规划：利用内部模型规划通往任意目标的路径，提供了最大的灵活性，但在决策时刻面临高昂的计算成本。
无模型学习：高效地缓存预测（例如通过 Q-learning），但缺乏灵活性；改变任务通常需要从零开始重新学习权重。

中间方法，如离线“背景规划”（例如 Dyna），将基于模型的知识编译为缓存的预测。然而，这些方法通常仅针对单一任务缓存预测。因此，它们仍受限于为每个新任务重新运行规划或积累新经验的需求，未能利用并发但未追求的目标之间共享的结构信息。本文提出，人类通过预防性地学习可及但未追求任务的解决方案来克服这一局限，而当前的标准算法缺乏这种能力。

方法论：多任务预演

作者形式化了多任务预演（Multitask Preplay），这是一种将反事实模拟整合到学习过程中的算法，旨在构建支持快速、自适应任务执行的预测表示。

核心机制

多任务预演基于以下假设：智能体可以利用针对某一目标（ $g$ ）的经验，来“预演”（即反事实模拟）其他可及目标（ $g'$ ）的追求过程。该过程包括：

经验收集：智能体在追求特定目标 $g$ 时经历一条轨迹 $\tau$ 。
反事实模拟（预演）：在离线重放（例如自发思维）期间，智能体从原始轨迹中的状态开始，模拟针对其他可及目标 $g'$ 的轨迹。
保守的全目标学习：算法不仅更新针对所追求目标 $g$ $g$ 的价值函数，也更新针对模拟目标 $g'$ $g^{'}$ 的价值函数。
- 离任务 Q( $\lambda$ )：为了处理为 $g$ 采取的行动与 $g'$ 的最优行动之间的分歧，作者对 Peng 的 Q( $\lambda$ ) 进行了改编。他们引入了一种截断机制，其中资格迹（eligibility trace）根据收集到的行动是否与离任务目标 $g'$ 的贪婪行动一致来进行调节。如果两者分歧，则截断迹，防止错误价值估计的传播。
- 保守正则化：为了防止对收集数据中未出现的动作高估 Q 值（这是离线策略学习中的常见问题），应用了保守正则化器（类似于保守 Q 学习）。这会对轨迹中未出现的动作的 Q 值施加惩罚，确保智能体不依赖未探索的离任务路径的膨胀估计。

实现

该方法在深度强化学习框架内实现，使用基于条件的神经网络。网络将状态和目标参数作为输入，使其能够学习跨多个任务的共享结构。该算法使用神谕世界模型进行模拟（在 AI 实验中），并与包括 Q-learning、后继特征（SF）、事后经验重放（HER）和 Dyna 在内的基线进行了测试。

主要贡献

理论形式化：本文将多任务预演定义为一种可扩展的人类反事实学习理论，弥合了无模型效率与基于模型灵活性之间的鸿沟。
算法创新：它引入了一种特定的“离任务”学习机制，将反事实模拟与保守价值估计相结合，使智能体能够在没有直接经验的情况下了解未追求的目标。
人类行为证据：作者展示了一系列行为实验，证明人类表现出与多任务预演一致的行为，特别是对离任务目标的预防性模拟。
AI 性能：该算法在泛化至新环境和任务方面，特别是在复杂、部分可观测的领域，被证明显著优于最先进的基线。

实验结果

人类行为实验

在网格世界（JaxMaze）和 2D Minecraft 领域（Craftax）中进行了五项实验，以测试四个具体预测：

部分路径复用：即使训练路径在长度上并非最优，人类也会部分复用训练路径来应对新任务，但其速度（响应时间更短）显著快于规划新路径。这表明存在缓存知识而非实时规划。
对捷径的抗拒：即使出现了更短的“捷径”路径，人类仍频繁继续复用较长的、经过预演的训练路径，表明存在对缓存解决方案的偏好。
新颖起始位置：如果新颖的起始位置是先前经验路径上的中间点，人类解决任务的速度更快，这表明反事实知识已传播至新状态。
新行为的快速选择：与从全新位置开始相比，人类从训练路径上的“接合点”开始针对新目标发起行动时速度更快，即使该目标在训练期间是未知的。

在所有实验中，标准算法（Q-learning、SF、HER）未能匹配人类的成功率或路径复用模式。只有多任务预演成功复现了人类的高成功率模式，并结合了对复用先前路径的强烈偏好。

AI 模拟

在 Craftax 领域中，智能体在一组环境上进行训练，并在 10,000 个独特的未见环境中进行评估。

泛化能力：与 Dyna 和无模型基线（QL+1-step, QL+SF）相比，多任务预演表现出更优越的泛化性能。
可扩展性：随着训练环境数量的增加，多任务预演的泛化性能持续提高，而 Dyna 和无模型方法则趋于平稳。
子任务共现：该算法有效地利用了子任务共现的结构（例如，在开采石头之前需要镐），学习了一个“先验”Q 函数，该函数很好地泛化到共享这些结构规律的新环境。

意义与主张

本文主张，多任务预演为人类泛化提供了一种简约的解释：人们不仅仅是学习特定任务，而是预防性地模拟并缓存可及的离任务目标的解决方案。这种机制使得行为具有灵活性，而无需承担决策时刻规划的计算成本。

对于人工智能而言，这项工作表明，赋予智能体预防性反事实模拟的能力，显著提高了它们泛化至新的复杂多任务环境的能力。作者认为，这种方法为人工智能实现更具人类适应性的能力提供了一条可行途径，特别是在任务共享结构共现的领域（例如机器人技术、导航）。

本文对其范围保持谦逊，指出：

人类预演的证据是间接的，源于响应时间的相关性和行为模式。
AI 模拟依赖于神谕世界模型，而现实世界的智能体必须学习这些模型。
当前的实验仅限于视频游戏环境，尽管作者建议其适用于现实世界的物体交互任务（例如在 Habitat 领域）。

最终，这项工作将多任务预演定位为一个统一概念，它解释了人类的反事实学习，并为提高人工智能体的泛化能力提供了一种强大的算法策略。