Task diversity produces systematic transfer but inhibits continual reinforcement learning

技术摘要：Banyan —— 用于研究任务多样性对迁移影响的程序化生成环境

1. 问题陈述

持续强化学习（RL）旨在开发不仅能在当前任务上改进，还能在任务分布发生变化时进行适应的智能体。虽然之前的研究已经证实，在多样化任务上的训练可以诱导零样本泛化（通过冻结权重进行评估），但目前尚不清楚任务多样性是否能提高智能体在分布变化过程中通过权重更新进行持续学习的能力。现有的持续强化学习基准通常涉及最多数百个任务的顺序学习，而大规模程序化生成的环境（例如 XLand、AdA）虽然包含数百万个任务，但缺乏必要的控制手段来隔离“量”和“类型”的多样性如何影响受控分布移动下的学习过程。

2. 方法论：Banyan 环境

作者引入了 Banyan，这是一个基于 GPU 加速、程序化生成的领域，旨在研究组合任务空间上的持续强化学习。Banyan 将一个任务 $\tau = \langle L, T, O \rangle$ 分解为三个独立可控的轴：

• 布局 ($L$)： 环境地图，包括墙壁配置和初始物体放置，定义了导航问题。
• 任务树拓扑结构 ($T$)： 目标的抽象结构，定义了子目标（变换 vs. 组合）的深度、分支和依赖顺序。
• 物体分配 ($O$)： 分配给任务树节点的具体物体身份。

任务机制：

• 目标： 智能体必须在网格中导航，拾取、放下并组合物体（或变换单个物体），以产生由任务树定义的特定根物体。
• 观测： 智能体可以看到完整的网格和目标物体的描述，但必须推断任务树的结构和求解序列。
• 动力学： 物体组合和变换规则是固定的；只有空间布局和物体身份在变化。
• 课程： 任务跨越深度 1 到 6。深层任务作为浅层任务的课程，且分布是嵌套的（深度为 6 的任务包含所有较浅的子任务）。

实验方案：
作者评估了两种算法：近端策略优化 (PPO) 和 并行 Q 网络 (PQN)。他们测量了：

• 前向迁移 (Forward Transfer)： 分布 $d_{i-1}$ 的最终成功率与分布 $d_i$ 的初始成功率之间的“迁移差距” ($\Delta_i$)。
• 后向迁移 (Backward Transfer)： 在针对后续分布进行训练后，早期分布 $d_i$ 性能的变化。

3. 核心贡献

1. Banyan 基准测试： 一个受控的多任务领域，允许独立变化布局、物体分配和拓扑结构，从而能够研究在数十亿个潜在任务上的持续强化学习。
2. 系统性迁移的证据： 实验证明，增加任何维度（布局、物体分配或拓扑结构）的多样性都会诱导系统性迁移，使智能体在开始新分布时能接近其先前的性能水平。
3. 多样性诱导抑制的证据： 实验证明，虽然适度的多样性有助于迁移，但过度的多样性会抑制长期的持续学习，导致智能体在新的分布上进入平台期，同时继续精炼早期分布的表现。

4. 关键结果

A. 多样性产生系统性迁移（单次偏移）
在涉及从分布 $d_1$ 到 $d_2$ 的单次偏移实验中：

• 前向迁移： 增加 $d_1$ 中的布局数量 ($|L|$)、物体分配数量 ($|O|$) 或拓扑结构数量 ($|T|$) 会使迁移差距 ($\Delta_2$) 向零趋近。在高度多样化的 $d_1$ 上训练的智能体，在开始 $d_2$ 时，其性能水平与在 $d_1$ 上的最终性能相当。
• 后向迁移： 增加 $|L|$ 或 $|O|$ 对后向迁移几乎没有影响。然而，增加拓扑结构数量 ($|T|$) 显著改善了后向迁移，这表明改变任务的结构依赖性对于保留先前分布的知识至关重要。
• 机制： 对 PQN 在 $d_1 \to d_2$ 边界处的 TD 误差分析显示，更高的多样性产生了更低的初始 TD 误差和更好的初始策略。这表明多样性塑造了能够很好地泛化到分布外特征的价值特征。
• 泛化性： 这些效应在连续控制“质点 (Point Mass)”领域中得到了复现，表明该现象并非离散网格世界控制的特有产物。

B. 多样性抑制长期持续学习（一系列偏移）
在涉及十个分布 ($d_1 \dots d_{10}$) 的序列实验中：

• 悖论： 虽然高多样性（$n=256$ 个独特的布局/拓扑结构）成功地在每个边界处消除了迁移差距（智能体在每个新分布开始时都达到了之前的峰值），但它导致智能体在序列过程中进入了平台期，无法进一步改进。
• 性能轨迹：
  • 在中等多样性 ($n=16$) 下，智能体能够持续学习，成功率从 $d_1$ 的 $\approx 0.74$ 提升到 $d_{10}$ 的 $\approx 0.95$。
  • 在高多样性 ($n=256$) 下，新分布上的成功率在所有十个分布中都保持在 $\approx 0.80$ 左右的平坦状态。随着多样性超过 $n=16$，在 $d_{10}$ 上的终点性能实际上呈现单调下降趋势。
• 干扰： 高多样性导致了强烈的后向迁移（在 10 轮后，$d_1$ 的性能从 $\approx 0.80$ 提升至 $\approx 0.95$），但阻止了对新分布的专业化学习。作者将此归因于干扰 (interference)：网络学习了跨分布共享的通用任务结构，但被抑制了学习新分布所需的特定结构的能力。

5. 意义与主张

本文提出了一个显著且带有悖论性的发现：任务多样性是持续强化学习中的一把双刃剑。

• 动机： 多样性对于诱导系统性迁移至关重要，它允许智能体在面对分布偏移时立即适应，而不会对通用任务结构产生灾难性遗忘。
• 局限性： 然而，正是这种促进了单个转换平滑化的多样性，阻碍了智能体在长序列中的复合学习能力。作者认为，“仅靠学习和规模本身可能是不够的”；在多任务机制下，泛化（迁移）与专业化（学习新特性）之间的权衡似乎是权重共享函数逼近的一个内在属性。

这项工作强调了当前强化学习研究中的一个关键差距：虽然多样性因其带来的零样本泛化能力而受到赞誉，但在持续学习过程中，它可能会主动阻碍智能体优化新分布性能的能力。作者发布 Banyan 作为一种工具，供社区进一步研究这些权衡，并开发能够缓解由高任务多样性引起的干扰的算法。