🤖 machine learning

Distributionally Robust Multi-Task Reinforcement Learning via Adaptive Task Sampling

本文提出了分布鲁棒自适应任务采样（DRATS），这是一种新颖的多任务强化学习算法，它通过极小化极大目标自适应地优先处理更难的任务，以解决数据分配不平衡问题，从而提升在 MetaWorld-MT10 和 MT50 等基准测试上的数据效率及最坏情况性能。

原作者： Nicholas E. Corrado, Wenyuan Huang, Josiah P. Hanna

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nicholas E. Corrado, Wenyuan Huang, Josiah P. Hanna

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《通过自适应任务采样实现分布鲁棒多任务强化学习》（DRATS）的通俗解释，辅以类比说明。

核心问题：“简单任务”陷阱

想象你是一位老师，试图训练一名学生同时解决10 种不同类型的数学题。有些题目很简单（比如 2+2），有些则极其困难（比如高等微积分）。

在标准的训练方法中，老师给每类题目分配相同的时间。他们在简单的加法题上花 10 分钟，在困难的微积分题上也花 10 分钟。

这里的缺陷在于：

学生在前 5 分钟就掌握了简单的加法题。剩下的 5 分钟被浪费了，因为学生已经完美掌握了这部分内容。
10 分钟后，学生在困难的微积分题上依然完全摸不着头脑。他们迫切需要再练习 50 分钟，但老师却停止了并转向下一项。

结果如何？学生成了简单任务的专家，却在困难任务上失败。在人工智能领域，这被称为不平衡学习。人工智能在简单事物上变得“足够好”，却忽略了那些真正需要帮助的困难事物。

解决方案：DRATS（智能导师）

这篇论文的作者创造了一种新算法，称为DRATS（分布鲁棒自适应任务采样）。你可以把 DRATS 想象成一位智能导师，他密切观察学生，并随时调整学习计划。

DRATS 不再给每个人分配相同的时间，而是问：“谁此刻最吃力？”

识别差距：它衡量学生“需要达到”的水平（目标）与“当前”水平之间的差异。
优先解决困难：如果学生在微积分上表现糟糕，但在加法上表现优异，智能导师就会完全停止给他们布置加法题。它将几乎所有的练习时间都集中在微积分上。
平衡负荷：一旦学生在微积分上有所进步，导师就会慢慢将注意力转回其他可能正在退步的任务上。

工作原理（“极小化极大”策略）

论文使用了一个名为**极小化极大优化（Minimax Optimization）**的复杂数学概念，但你可以这样理解：

想象一场游戏，目标不是获得所有 10 项任务的最高平均分，而是确保最低分尽可能高。

标准人工智能：“我在简单任务上得了 100 分，在困难任务上得了 0 分。我的平均分是 50%。干得好！”
DRATS：“我在简单任务上得了 90 分，在困难任务上也得了 90 分。我的最低分是 90%。这要好得多。”

DRATS 不断追问：“哪项任务是我的‘短板’？”并将资源投入到修复这个特定短板，直到它足够强大。

为何与其他方法不同

论文指出，其他方法试图通过两种方式解决这个问题，但往往不得要领：

梯度操纵：这就像试图通过调整学生的思维方式，强行让他们同时学习两件事。这很复杂，且往往自相矛盾。
课程学习（“由易到难”方法）：这是老派的方法，即从简单任务开始，慢慢过渡到困难任务。论文认为这很糟糕，因为它在学生已经掌握的简单任务上浪费时间，导致困难任务被留到最后，而那时已没有足够的时间。

DRATS 的不同之处在于，它不在乎顺序（由易到难），它关心的是当前的需求。它将学生当前技能与目标之间的“差距”视为最需要解决的关键问题。

结果：实验中发生了什么？

研究人员在几个机器人的“健身房”（模拟环境，如MetaWorld和MuJoCo）中测试了该方法。

测试内容：他们给人工智能分配了 10 到 50 种不同的机器人任务（如开门、推箱子或行走）。
结果：
- 效率：DRATS 学习得更快。它没有浪费时间练习机器人已经掌握的内容。
- 最坏情况表现：机器人不仅仅是在简单任务上变好了；与其他方法相比，它在最困难的任务上实际上表现得好得多。
- 平衡性：机器人最终在每一项任务上都取得了高分，而不是一部分满分、一部分不及格的混合体。

总结

论文声称，通过仅仅改变人工智能练习每项任务的频率（采样），而不是改变人工智能的架构，我们就可以解决“不平衡学习”的问题。

简而言之：不要平等地对待所有任务。如果一项任务很难，就多关注它；如果一项任务很简单，就少关注它。DRATS 就是那个能自动计算出如何做到这一点的算法，确保人工智能成为全面发展的专家，而不是只会一招的“偏科生”。

技术摘要：分布鲁棒自适应任务采样（DRATS）

问题陈述

多任务强化学习（MTRL）旨在训练单个智能体同时优化多个任务的性能，利用知识迁移来提高数据效率。然而，标准的 MTRL 方法往往遭受学习不平衡的困扰：智能体迅速解决简单任务，而在困难任务上进展缓慢。

先前的工作大多将这种不平衡归因于任务梯度的冲突，并提出了涉及梯度操纵（例如梯度手术）或专用网络架构的解决方案。本文识别出一种 distinct、未被充分探索的不平衡原因：数据分配不平衡。标准 MTRL 为所有任务分配相等的交互预算。由于困难任务比简单任务需要显著更多的经验才能解决，均匀分配导致简单任务（几乎不需要更多数据）数据过剩，而困难任务数据不足。虽然课程学习（CL）方法会调整采样分布，但它们通常优先处理简单任务以促进迁移，这在正迁移较弱或任务冲突的设置中可能会加剧数据不平衡。

方法：分布鲁棒自适应任务采样（DRATS）

作者提出了DRATS，这是一种自适应优先采样那些离解决状态最远的任务的算法。该方法通过以下步骤推导得出：

1. 形式化为可行性问题

MTRL 被形式化为一个可行性问题，而非最大化跨任务的平均回报：寻找一个策略 $\theta$ ，使得每个任务 $i$ 中的回报 $J_i(\theta)$ 满足参考目标 $J^{ref}_i$ 。
目标被转化为最小化回报差距 $g_i(\theta) = \max(J^{ref}_i - J_i(\theta), 0)$ 。为了处理因容量限制或冲突导致约束无法同时满足的情况，目标变为最小化所有任务中的最大回报差距（即极小化极大目标）：
$\min_{\theta} \max_{i \in [k]} g_i(\theta)$

2. 极小化极大优化与分布鲁棒性

内部最大化被重述为在任务分布 $q \in \Delta_k$ （概率单纯形）上的最大化。直接求解会导致非平滑、贪婪的解，将所有概率集中在表现最差的那个任务上，从而引起不稳定和数据低效。

为解决这一问题，DRATS 采用分布鲁棒优化（DRO），将任务分布 $q$ 限制在以基础分布 $p_0$ （均匀分布）为中心、半径为 $\epsilon$ 的 Kullback-Leibler (KL) 球内。这产生了如下约束优化问题：
$\min_{\theta} \max_{q \in \mathcal{Q}} \mathbb{E}_{i \sim q}[g_i(\theta)]$
其中 $\mathcal{Q} = \{q \in \Delta_k \mid \text{KL}(q \| p_0) \leq \epsilon\}$ 。

3. 闭式解与算法

利用拉格朗日松弛法，最优任务分布 $q^*$ 被推导为回报差距的softmax闭式解：
$q^*_i = \frac{\exp(\eta g_i(\theta))}{\sum_j \exp(\eta g_j(\theta))}$
这里， $\eta$ 充当逆温度参数，控制优先级的锐度。

DRATS 算法（算法 1）：

数据收集：从当前分布 $q_t$ 中采样任务并收集轨迹。
差距估计：计算回报 $\hat{J}_i$ 的蒙特卡洛估计，并更新参考回报 $J^{ref}_i$ （在线估计为观测到的最大回报）。
差距归一化：计算归一化回报差距 $\hat{g}_i$ 。
分布更新：在目标 $L(\theta, q) = \mathbb{E}_{i \sim q}[g_i(\theta)] - \frac{1}{\eta}\text{KL}(q \| p_0)$ 上通过镜像上升（指数梯度）更新 $q_t$ 。
投影：强制实施最小采样概率 $\epsilon$ ，以确保所有任务都被充分采样以进行稳定的差距估计。
策略更新：使用在线策略算法（例如 PPO）更新策略 $\theta$ ，以最大化加权回报。

4. 收敛保证

作者证明，在标准假设下（包括策略更新的低遗憾保证），DRATS 以 $O(1/\sqrt{T})$ 的速率收敛到最优最坏情况回报差距，其中 $T$ 是迭代次数。

主要贡献

DRATS 算法：提出了一种多任务 RL 算法，该算法基于回报差距自适应地优先处理任务，该算法源自 MTRL 的极小化极大形式化。
理论收敛性：证明了 DRATS 以标准的 $O(1/\sqrt{T})$ 速率收敛到最优最坏任务回报差距的 $\epsilon$ 误差范围内。
实证验证：证明了与现有的课程学习基线（如 Uniform、Learning Progress、Learning Potential、Hard First）相比，DRATS 实现了更高的数据效率、更高的总回报以及显著更高的最坏任务回报。
正交性：证明了 DRATS 与现有的多任务网络架构（如 Soft Modularization、MOORE）兼容，并且无论任务是否表现出正迁移或冲突，都能提升性能。

实验结果

作者在四个基准测试上评估了 DRATS：4 任务 Gridworld、MuJoCo6（6 个连续控制任务）、MetaWorld-MT10 和 MetaWorld-MT50。

总体性能：DRATS 在所有基准测试中实现了最高的总回报。
最坏任务性能：这种提升主要由在困难任务上的卓越性能驱动。例如，在 MuJoCo6 中，DRATS 是唯一成功解决困难Ant和Humanoid任务的方法，而基线方法在Ant任务上未能取得进展。
数据效率：DRATS 以显著更少的交互次数达到了基线的性能水平。在 MT10 中，仅需 600 万时间步，DRATS 就在困难任务（如pick-place、push）上超越了 Uniform 基线的最终回报。
与基线的比较：
- Uniform：过度分配资源给简单任务；无法解决困难任务。
- Learning Progress/Potential：倾向于优先处理具有高学习率或高价值估计误差的任务，这通常与简单任务相关，从而忽视了陷入停滞的困难任务。
- Hard First (SMT)：在困难任务上遭受性能崩溃；一旦任务基于阈值被判定为“已解决”，采样概率会急剧下降，导致智能体遗忘该任务并需要重新学习。
消融实验：
- 自适应采样 vs. 重加权：自适应采样（DRATS）比重加权均匀采样数据的目标具有显著更高的数据效率。由于数据收集不足，重加权会导致困难任务的梯度估计具有高方差。
- 超参数：DRATS 对温度 $\eta$ 和步长 $\alpha$ 的选择具有鲁棒性。

意义与主张

本文主张 DRATS 解决了 MTRL 中的一个根本性低效问题：数据资源的错配。通过将焦点从梯度冲突转移到数据分配，DRATS 提供了一种数据高效的机制来平衡任务间的性能。

作者强调：

DRATS 是分布鲁棒优化在连续控制设置的多任务 RL 中的首次应用。
与许多假设从简单任务到困难任务存在正迁移的课程学习方法不同，DRATS 明确针对最坏情况回报差距，使其即使在任务冲突或迁移较弱的情况下也有效。
该方法具有模块化特性；它仅修改数据收集过程，可与专用架构或梯度操纵技术结合使用。

本文结论认为，DRATS 提供了一种原则性、理论依据充分的实现平衡多任务学习的方法，提高了所有任务的学习效率和最终策略的鲁棒性。