技術的概要：分布ロバスト適応タスクサンプリング（DRATS）

問題定義

マルチタスク強化学習（MTRL）は、知識転移を活用してデータ効率を向上させながら、単一のエージェントが複数のタスクの性能を同時に最適化することを目的としている。しかし、標準的な MTRL 手法はしばしば学習の偏りに悩まされる。エージェントは簡単なタスクを急速に解決する一方で、難しいタスクでは進捗が遅いという現象である。

先行研究はこの偏りの原因を主にタスク勾配の競合に求め、勾配操作（例えば勾配手術）や特殊なネットワークアーキテクチャを含む解決策を提案してきた。本論文は、偏りの原因として、未だ十分に探求されていないデータ割当ての偏りを特定する。標準的な MTRL は、すべてのタスクに均等な相互作用予算を割り当てる。難しいタスクは簡単なタスクよりも解決に著しく多くの経験が必要であるため、均等な割当ては、さらにデータがあまり必要ない簡単なタスクへのデータ過剰割当てと、難しいタスクへのデータ不足割当てを招く。カリキュラム学習（CL）手法はサンプリング分布を適応させるが、転移を促進するために通常、まず簡単なタスクを優先する。これは、正の転移が弱い場合やタスクが競合する場合に、データの偏りを悪化させる可能性がある。

手法：分布ロバスト適応タスクサンプリング（DRATS）

著者は、解決から最も遠いタスクのサンプリングを適応的に優先するアルゴリズムDRATSを提案する。この手法は以下の手順で導出される。

1. 実行可能性問題としての定式化

タスク間の平均リターンを最大化する代わりに、MTRL を実行可能性問題として定式化する。つまり、すべてのタスク $i$ においてリターン $J_i(\theta)$ が基準目標 $J^{ref}_i$ を満たすような方策 $\theta$ を見つける問題である。
目的関数は、リターンギャップ $g_i(\theta) = \max(J^{ref}_i - J_i(\theta), 0)$ の最小化に変換される。制約が容量制限や競合により同時に満たせない場合を扱うため、目標はすべてのタスクにわたる最大リターンギャップの最小化（ミニマックス目的）となる。
$$\min_{\theta} \max_{i \in [k]} g_i(\theta)$$

2. ミニマックス最適化と分布ロバスト性

内側の最大化は、タスク分布 $q \in \Delta_k$（確率単体）上の最大化として再定式化される。これを直接解くと、最も性能の悪い単一のタスクにすべての確率を集中させる、滑らかでなく貪欲な解となり、不安定さとデータ非効率性を引き起こす。

これを解決するため、DRATS は**分布ロバスト最適化（DRO）**を採用し、タスク分布 $q$ を、基準分布 $p_0$（一様分布）を中心とする半径 $\epsilon$ のカルバック・ライブラー（KL）球内に制限する。これにより、以下の制約付き最適化問題が得られる。
$$\min_{\theta} \max_{q \in \mathcal{Q}} \mathbb{E}_{i \sim q}[g_i(\theta)]$$
ここで、$\mathcal{Q} = \{q \in \Delta_k \mid \text{KL}(q \| p_0) \leq \epsilon\}$ である。

3. 閉形式解とアルゴリズム

ラグランジュ緩和を用いることで、最適なタスク分布 $q^*$ は、リターンギャップのソフトマックスとして閉形式で導出される。
$$q^*_i = \frac{\exp(\eta g_i(\theta))}{\sum_j \exp(\eta g_j(\theta))}$$
ここで、$\eta$ は優先付けの鋭さを制御する逆温度パラメータとして機能する。

DRATS アルゴリズム（アルゴリズム 1）:

1. データ収集: 現在の分布 $q_t$ からタスクをサンプリングし、軌跡を収集する。
2. ギャップ推定: リターンのモンテカルロ推定値 $\hat{J}_i$ を計算し、基準リターン $J^{ref}_i$ を更新する（オンラインで観測された最大リターンとして推定）。
3. ギャップ正規化: 正規化されたリターンギャップ $\hat{g}_i$ を計算する。
4. 分布更新: 目的関数 $L(\theta, q) = \mathbb{E}_{i \sim q}[g_i(\theta)] - \frac{1}{\eta}\text{KL}(q \| p_0)$ に対して、ミラーアセント（指数勾配）を用いて $q_t$ を更新する。
5. 射影: すべてのタスクが安定したギャップ推定のために十分にサンプリングされることを保証するため、最小サンプリング確率 $\epsilon$ を強制する。
6. 方策更新: 重み付けされたリターンを最大化するために、オンポリシーアルゴリズム（例：PPO）を用いて方策 $\theta$ を更新する。

4. 収束保証

著者は、標準的な仮定（方策更新に対する低後悔保証を含む）の下で、DRATS が最適最悪ケースリターンギャップに $O(1/\sqrt{T})$ の速度で収束することを証明する。ここで $T$ は反復回数である。

主要な貢献

1. DRATS アルゴリズム: MTRL のミニマックス定式化から導出され、リターンギャップに基づいてタスクを適応的に優先するマルチタスク RL アルゴリズムの導入。
2. 理論的収束: DRATS が、標準的な $O(1/\sqrt{T})$ の速度で、最適最悪タスクリターンギャップの $\epsilon$ 誤差以内に収束することの証明。
3. 実証的検証: DRATS が、既存のカリキュラム学習ベースライン（例：Uniform, Learning Progress, Learning Potential, Hard First）と比較して、より高いデータ効率、より高い総和リターン、そして著しく高い最悪タスクリターンを達成することを示す。
4. 直交性: DRATS が既存のマルチタスクネットワークアーキテクチャ（例：Soft Modularization, MOORE）と互換性があり、タスクが正の転移を示すか競合するかにかかわらず性能を向上させることを示す。

実験結果

著者は、4 タスク Gridworld、MuJoCo6（6 つの連続制御タスク）、MetaWorld-MT10、MetaWorld-MT50 の 4 つのベンチマークで DRATS を評価した。

• 総和性能: DRATS はすべてのベンチマークで最も高い総和リターンを達成した。
• 最悪タスク性能: 改善は主に最も難しいタスクでの優れた性能によって引き起こされた。例えば、MuJoCo6 において、DRATS は難しいAntおよびHumanoidタスクを成功裏に解決した唯一の手法であり、ベースラインはAntにおいて進捗を得られなかった。
• データ効率: DRATS は、はるかに少ない相互作用でベースラインの性能レベルに到達した。MT10 において、わずか 600 万ステップで、難しいタスク（例：pick-place, push）における Uniform ベースラインの最終リターンを上回った。
• ベースラインとの比較:
  • Uniform: 簡単なタスクに過剰に割当て、難しいタスクを解決できない。
  • Learning Progress/Potential: 高い学習率または高い値推定誤差を持つタスクを優先する傾向があり、これはしばしば簡単なタスクと相関し、行き詰まっている難しいタスクを軽視する。
  • Hard First (SMT): 難しいタスクで性能が崩壊する。閾値に基づいてタスクが「解決済み」と宣言されると、サンプリング確率が急激に低下し、エージェントがタスクを忘却して再学習を必要とする。
• アブレーション:
  • 適応サンプリング vs. 再重み付け: 適応サンプリング（DRATS）は、均一にサンプリングされたデータの目的関数を再重み付けするよりも、はるかにデータ効率的である。再重み付けは、データ収集が不十分なため、難しいタスクに対して高分散の勾配推定値をもたらす。
  • ハイパーパラメータ: DRATS は温度 $\eta$ とステップサイズ $\alpha$ の選択に対してロバストである。

意義と主張

本論文は、DRATS が MTRL における根本的な非効率性、すなわちデータ資源の誤割当てに対処すると主張する。勾配競合からデータ割当てへと焦点を移すことで、DRATS はタスク間での性能をバランスさせるデータ効率的なメカニズムを提供する。

著者は以下を強調している。

• DRATS は、連続制御設定におけるマルチタスク RL への分布ロバスト最適化の最初の適用である。
• 簡単なタスクから難しいタスクへの正の転移を仮定する多くのカリキュラム学習手法とは異なり、DRATS は明示的に最悪ケースのリターンギャップを標的とするため、タスクが競合する場合や転移が弱い場合でも有効である。
• この手法はモジュール性が高い。データ収集プロセスのみを変更し、特殊なアーキテクチャや勾配操作技術と組み合わせることができる。

論文は、DRATS がバランスの取れたマルチタスク学習を達成するための原理的かつ理論的に裏付けられたアプローチを提供し、学習の効率性とすべてのタスクにおける最終方策のロバスト性の両方を向上させると結論付けている。