技术摘要：多任务强化学习的概率性能保证

问题陈述

多任务强化学习（MTRL）旨在训练单个策略，使其能够执行从底层（通常是未知的）任务分布中抽取的多个任务。虽然近期的进展提高了平均性能，但现有方法缺乏对未见任务（零样本泛化）的正式性能保证。这种缺乏认证的情况是多任务策略部署在自动驾驶或机器人操作等安全关键领域的一个关键障碍，因为在这些领域中，动力学、奖励或初始条件的变动可能导致灾难性的失败。

本文解决的核心挑战是认证问题：即在仅给定有限的任务样本集和每个任务有限次的展开（rollout）次数的情况下，量化学习到的策略 $\pi$ 在新任务 $M \sim \mathcal{D}$ 上达到特定性能阈值 $B$ 的概率。该问题涉及两种截然不同的不确定性来源：

1. 任务级不确定性： 未知的任务分布 $\mathcal{D}$ 由 $n$ 个任务的有限样本进行近似。
2. 展开级不确定性： 策略在特定任务上的真实性能无法通过闭式解计算，必须从有限的 $m$ 次展开中进行估计。

以往的工作通常假设可以获得精确的单任务性能值，这在连续或复杂的环境中是不现实的。本文通过提供一种能够显式地将展开估计的不确定性传播到任务级泛化步骤中的方法，填补了这一空白。

方法论

所提方法通过组合两个阶段的概率界限来构建高置信度安全证书。该方法具有算法无关性，适用于任何学习到的多任务策略，无论其使用的训练算法为何。

1. 单任务下置信界限

对于每个采样的任务 $M_i$，该方法首先利用 $m$ 次观察到的展开，为策略的性能 $J_{M_i}(\pi)$ 构建一个可靠的下置信界限 $\tilde{J}^\beta_{M_i}(\pi)$。

• 度量假设： 该框架假设使用单调轨迹度量（monotone trajectory metrics），即观察到更长的轨迹前缀不会降低测量的性能（例如，具有非负奖励的折扣回报或成功概率）。这使得有限前缀的观测可以作为无限时界目标的有效下界。
• 界限构建： 根据度量类型，采用标准的集中不等式：
  • 二元度量（成功/失败）： 使用精确的 Clopper–Pearson 界限。
  • 有界实值度量： 该方法利用 Hoeffding 不等式、Dvoretzky–Kiefer–Wolfowitz (DKW) 不等式或经验 Bernstein 界限。后者被认为在样本方差较低或样本集中远离最差情况端点时，比 Hoeffding 不等式更不保守。
• 置信参数： 这些界限以 $1 - \beta$ 的概率成立，其中 $\beta$ 是用户选定的任务内估计置信参数。

2. 任务级泛化（安全证书）

第二阶段将单任务概率界限聚合为针对未知任务分布 $\mathcal{D}$ 的单一保证。

• 定理 5.1（安全证书）： 其核心理论贡献是一个考虑了 $n$ 个采样任务的不确定性和每个任务 $m$ 次展开不确定性的有限样本界限。
• 机制： 定理定义 $k(B)$ 为单任务下界低于性能阈值 $B$ 的采样任务数量。然后，它求解一个违反概率 $\epsilon$，使得真实的安全性水平 $S^\pi_\mathcal{D}(B) = \Pr_{M \sim \mathcal{D}}[J_M(\pi) \ge B]$ 满足：
  $$\Pr[S^\pi_\mathcal{D}(B) \ge 1 - \epsilon] \ge 1 - \delta$$
  其中 $1-\delta$ 是用户选定的全局置信水平。
• 处理不确定性： 不同于假设已知精确任务性能的标准泛化界限，该方法使用二项分布尾部论证，以确保至少 $K$ 个相关的单任务界限同时有效。辅助参数 $K$ 允许该方法放宽“所有界限同时成立”的要求，通过权衡严格程度来获得更紧凑的证书。最终界限通过求解一个涉及二项分布概率的特定方程来计算，从而平衡任务内失败率（$\beta$）与跨任务采样误差。

核心贡献

1. 新型泛化界限： 本文引入了一种新的界限，它将单任务下置信界限与任务级泛化相结合。这是首个在 MTRL 中显式传播展开估计误差至分布级泛化步骤的方法。
2. 算法无关的认证： 该方法不需要了解训练算法或策略的内部结构。它仅依赖于观察到的展开数据。
3. 计算高效性： 认证过程计算量很轻。它涉及通过二分法求解一元方程，且不随状态或动作空间的维度增加而扩展，使其适用于高维连续控制领域。
4. 完备性与紧凑性： 理论分析证明了这些证书在统计上是完备的（以 $1-\delta$ 的概率成立）。实验结果表明，即使在现实的样本规模下（例如数百个任务和数千次展开），这些界限依然保持信息丰富且紧凑。

实验结果

作者在多种环境和训练算法中评估了该方法：

• 环境：
  • Grid World (BridgeWorld)： 一个由滑移概率定义任务分布的离散导航任务。
  • 连续控制 (Cheetah, Walker)： 高维运动控制任务，其中任务由变化的物理参数（质量、体型）定义。
  • Zones： 一个复杂的机器人导航领域，其中任务由线性时序逻辑 (LTL) 公式指定。
• 发现：
  • 认证的安全界限始终追踪经验安全性（通过大规模评估集估算），并且在所有测试配置下都是完备的。
  • 该方法在高维连续控制领域产生了紧凑的保证，优于基于模型的方法（特别是 PAC-IMDP），后者会随着状态空间复杂度的增加而导致紧凑性下降。
  • 增加展开次数 ($m$) 会使单任务界限更加紧凑，从而使认证安全性曲线向有利方向移动。增加任务数量 ($n$) 则提高了泛化界限的分辨率和锐度。
  • 该方法在异构任务分布（包括由 LTL 指定的分布）下依然有效。

意义与主张

本文声称为在形式化保证不可或缺的安全关键设置中，为多任务策略提供认证提供了一个原则性的解决方案。通过将任务视为任意马尔可夫决策过程 (MDP)，并直接从展开中认证性能，该方法避免了构建显式模型或假设任务分布具有特定参数形式的需求。

作者强调，其贡献是对 MTRL 算法开发的补充；其目的并非提出一种新的训练算法，而是提供一种训练后的验证工具。其意义在于能够部署具有可量化风险水平的通用策略，弥合了高性能学习与安全保障之间的鸿沟。该方法被呈现为一个实用的工具，能够在不需要极大量样本的情况下产生可操作的保证，使其在数据采集成本高昂的现实应用中具有可行性。

作者指出，未来的工作包括将该框架扩展到 Sim-to-Real（仿真到现实）迁移场景，其中部署分布可能会偏离训练分布。