Task diversity produces systematic transfer but inhibits continual reinforcement learning

技術要約：Banyan – タスクの多様性が転移に与える影響を研究するための、手続き型生成環境

1. 問題提起

継続的強化学習（Continual Reinforcement Learning; CRL）は、現在のタスクにおいて向上するだけでなく、タスク分布の変化に伴って適応できるエージェントの開発を目指している。先行研究では、多様なタスクでの学習がゼロショット汎化（凍結された重みによる評価）を誘発することを確立しているが、分布の変化に伴う重みの更新を通じて「学習を継続する」能力に対して、タスクの多様性がどのように影響するかについては依然として不明である。既存の継続的RLベンチマークは、通常、せいぜい数百のタスクにわたる逐次的学習を扱うが、大規模な手続き型生成環境（XLandやAdAなど）は数百万のタスクを含んでいるものの、分布の変化における「量」と「種類」の多様性が学習にどのような影響を与えるかを分離して調査するために必要な制御性を欠いている。

2. 手法：Banyan環境

著者らは、構成的なタスク空間における継続的RLを研究するために設計された、GPU加速型の手続き型生成ドメインであるBanyanを導入する。Banyanは、タスク $\tau = \langle L, T, O \rangle$ を、独立して制御可能な3つの軸に分解する：

• レイアウト ($L$): 壁の構成や物体の初期配置を含む環境マップであり、ナビゲーション問題を定義する。
• タスクツリー・トポロジー ($T$): ゴールの抽象的な構造。サブゴール（変換または組み合わせ）の深さ、分岐、および依存関係の順序を定義する。
• オブジェクト割り当て ($O$): タスクツリーの各ノードに割り当てられる具体的な物体の識別。

タスクのメカニズム:

• ゴール: エージェントはグリッド内を移動し、タスクツリーで定義された特定のルートオブジェクトを生成するために、物体を拾う、落とす、あるいは組み合わせる（または単一のアイテムを変換する）必要がある。
• 観測: エージェントはグリッド全体とゴールオブジェクトの説明を見るが、タスクツリーの構造と解決手順を推論しなければならない。
• ダイナミクス: 物体の組み合わせおよび変換ルールは固定されており、空間的なレイアウトと物体の識別のみが変化する。
• カリキュラム: タスクは深さ1から6まで及ぶ。深いタスクは浅いタスクのカリキュラムとして機能し、分布は入れ子状になっている（深さ6のタスクは、それより浅いすべてのサブタスクを含んでいる）。

実験プロトコル:
著者らは2つのアルゴリズム、PPO (Proximal Policy Optimization) と PQN (Parallelised Q-Network) を評価する。以下の指標を測定する：

• 前方転移 (Forward Transfer): 分布 $d_{i-1}$ における最終成功率と、分布 $d_i$ における初期成功率の間の「転移ギャップ」($\Delta_i$)。
• 後方転移 (Backward Transfer): 後続の分布での学習後における、以前の分布 $d_i$ でのパフォーマンスの変化。

3. 主な貢献

1. Banyanベンチマーク: レイアウト、オブジェクト割り当て、およびトポロジーを独立して変化させることができ、数十億の潜在的なタスクにわたる継続的RLの研究を可能にする、制御された多タスクドメイン。
2. 系統的な転移の証拠: レイアウト、オブジェクト割り当て、またはトポロジーのいずれの軸における多様性を高めることが、系統的な転移を誘発し、エージェントが新しい分布において以前のパフォーマンスレベルに近い状態で開始できることを示す実験的証明。
3. 多様性による抑制の証拠: 中程度の多様性は転移を助ける一方で、過度な多様性は長期的な継続的学習を阻害し、エージェケーションが新しい分布において性能を向上させることを妨げ、以前の分布での性能向上を継続させることを示す実験的証明。

4. 主な結果

A. 多様性は系統的な転移を生む（単一のシフト）
分布 $d_1$ から $d_2$ への単一のシフトを含む実験において：

• 前方転移: $d_1$ におけるレイアウトの数 ($|L|$)、オブジェクト割り当ての数 ($|O|$)、またはトポロジーの数 ($|T|$) を増やすと、転移ギャップ ($\Delta_2$) がゼロに向かって減少する。高度に多様な $d_1$ で学習したエージェントは、$d_1$ での最終パフォーマンスに近いレベルで $d_2$ を開始する。
• 後方転移: $|L|$ または $|O|$ を増やしても後方転移にはほとんど影響を与えなかった。しかし、トポロジーの数 ($|T|$) を増やすと後方転移が大幅に改善され、タスクの構造的依存関係を変化させることが、以前の分布の知識を保持するために極めて重要であることが示唆された。
• メカニズム: $d_1 \to d_2$ の境界における PQN の TD誤差の分析により、高い多様性が低い初期 TD誤差と優れた初期ポリシーをもたらすことが明らかになった。これは、多様性が分布外でも汎化しやすい価値特徴量を形成していることを示唆している。
• 汎用性: これらの効果は連続制御の「ポイントマス (Point Mass)」ドメインでも再現されており、この現象が離散グリッドワールド制御のアーティファクトではないことを示している。

B. 多様性は長期的な継続的学習を阻害する（一連のシフト）
10個の分布 ($d_1 \dots d_{10}$) を含む実験において：

• パラドックス: 高い多様性（ユニークなレイアウト/トポロジーが $n=256$）は、各境界において転移ギャップを解消することに成功したが（エージェントは各新しい分布において前のピークでのパフォーマンスで開始できた）、シーケンス内での学習能力を**プラトー（停滞）**させた。
• パフォーマンスの軌跡:
  • 中程度の多様性 ($n=16$) では、エージェントは学習を続け、$d_1$ での成功率 $\approx 0.74$ から $d_{10}$ での $\approx 0.95$ まで向上した。
  • 高い多様性 ($n=256$) では、新しい分布に対する成功率は、10個の分布すべてにわたって $0.80$付近で横ばいとなった。$d_{10}$における最終的なパフォーマンスは、多様性が$n=16$ を超えて増加するにつれて単調に減少した。
• 干渉: 高い多様性は強い後方転移（10ラウンド後の $d_1$ でのパフォーマンスは $\approx 0.80$ から $\approx 0.95$ へ向上）をもたらしたが、新しい分布への特化を妨げた。著者らはこれを干渉によるものと考えている。ネットワークは分布間で共有される一般的なタスク構造を学習するが、新しい分布に必要とされる特定の構造を学習することを阻害されるのである。

5. 意義と主張

本論文は、**「タスクの多様性は、継続的RLにとって諸刃の剣である」**という、重要かつ、やや逆説的な発見を主張している。

• 動機: 多様性は、分布の変化に対して即座に適応（一般的なタスク構造の破滅的忘却なしに）するための、ゼロショット汎化を誘発するために不可欠である。
• 限界: しかし、個別の遷移を滑らかにする同じ多様性が、長いシーケンスにおける学習の積み重ねを阻害する。著者らは、「学習とスケールだけでは、継続的RLを実現するには不十分である可能性がある」と論じている。汎化（転移）と特化（新しい詳細の学習）の間のトレードオフは、多タスク環境における重み共有関数近似に固有の性質であると考えられる。

本研究は、現在のRL研究における重要なギャップを浮き彫りにしている。多様性はゼロショット汎化のために称賛されているが、継続的に学習する場合、エージェントが新しい分布におけるパフォーマンスを最適化する能力を能動的に妨げる可能性がある。著者らは、これらのトレードオフをさらに調査し、高いタスク多様性によって引き起こされる干渉を軽減できるアルゴリズムを開発するためのツールとして、Banyanをコミュニティに公開している。