技術要約：スケーラブルな帰納的汎化のための、デカップルされた行動クローニング（DIBS）

問題提起

本論文は、強化学習（RL）における**帰納的汎化（inductive generalization）**の課題に取り組んでいる。この枠組みにおいて、エージェントは「帰納的ファミリー」内の未知のタスクインスタンスに対して転移可能な方策を学習する必要がある。これらのファミリーは、共通の論理構造（SPECTRLのような時系列論理仕様によって定義されることが多い）を持つが、インデックス $i$ に基づいて低レベルの述語（例：ターゲットの位置、障害物の位置）のインスタンス化が異なるタスクで構成されている。

核心となる直感は、帰納的に関連するタスクは、帰納的に関連する方策を持つべきであるということである。先行研究である GenRL [32] は、高次の方策進化関数 $\Omega: \Pi \to \Pi$ を学習することでこれを捉えようと試みた。すなわち $\pi_{i+1} = \Omega(\pi_i)$ となるような関数である。GenRL は $\Omega$ を、係数 $\kappa$ によって定義される方策パラメータ上の多項式として近似する。

しかし、GenRL は根本的なトレーニングのスケーラビリティにおけるボトルネックを抱えている。GenRL は、現在の $\kappa$ の推定値によって生成された各タスクの方策を実行し、その結果得られた報酬を集計して $\kappa$ を更新するという、結合された RL ループを通じて $\kappa$ 係数を学習する。学習タスクの数（$|Train|$）が増加するにつれ、この集計された報酬フィードバックはノイズが多く、かつ相反するものとなる。この不安定性が、学習ループの収束を妨げ、未知のインデックスに対するエージェントの汎化能力を弱めてしまう。

手法：DIBS

著者らは、タスク固有の方策の学習と、進化関数の学習を分離することで、このスケーラビリティのボトルネックを解決するフレームワークである DIBS (Decoupled Inductive Behavioral Cloning) を提案する。このプロセスは、2つの明確なステージで構成される。

ステージ I：教師ラベル付きデータセットの集約

方策と係数を同時に学習する代わりに、DIBS はまず、標準的な RL アルゴリズム（例：PPO）を用いて、各訓練タスク $R_i$ に対する「教師」方策 $\hat{\pi}_i$ を独立して学習する。これらの独立した教師が単一の多項式テンプレートに適合できるように、DIBS は2つの具体的な課題に対処している。

1. インデックス間の教師のドリフト（Cross-Index Teacher Drift）:
   独立した学習を行うと、隣接する教師方策がパラメータ空間内で任意にドリフトし、単一の滑らかな多項式で適合させることが困難になる。

   • 解決策: 著者らは、教師の学習中にクロスインデックス正則化を導入した。教師 $\hat{\pi}_i$ の損失関数には、項 $\lambda_x \|\hat{\pi}_i - \hat{\pi}_{i-}\|^2_2$ が含まれる（ここで $\hat{\pi}_{i-}$ は前のインデックスの教師である）。これにより、ソフトな連続性の制約が課され、オプティマイザはインデックス間で滑らかに進化する解へとバイアスがかかる。

2. カバレッジと信頼性の低いラベル:
   オンポリシーのロールアウトでは、テンプレートが汎化するために必要な全状態空間をカバーできない可能性があり、一方でオフポリシーのデータ（例：リプレイバッファからのデータ）には、教師の行動が信頼できない低品質な状態が含まれる可能性がある。

   • 解決策: DIBS は**信頼性フィルタ（confidence filter）**を採用している。ニューラルネットワークを訓練し、「高品質な」状態（仕様を満たすことに成功したロールアウト中に訪問された状態）と、「低品質な」状態（初期の探索やリセット時からの状態）を区別させる。信頼確率 $p_{conf}(s)$ が閾値 $\tau_c$ を超える状態行動ペアのみが、最終的なデータセット $\tilde{D}_i$ を形成するために保持される。

ステージ II：行動クローニングによる $\kappa$ の学習

第2ステージでは、$\kappa$ 係数は**行動クローニング（Behavioral Cloning: BC）**を通じて学習される。

• アルゴリズムは、集約された教師ラベル付きデータセット $\{\tilde{D}_i\}_{i \in Train}$ に対して、多項式テンプレート $\Omega$（$\kappa$ によってパラメータ化される）を適合させる。
• 目的関数は、展開されたテンプレート方策 $\pi_i$ によって生成される行動と、教師の行動 $a$ との間の二乗誤差を最小化することである：
  $$L_{BC}(\kappa) = \sum_{i \in Train} \frac{1}{|\tilde{D}_i|} \sum_{(s,a) \in \tilde{D}_i} \|\pi_i(s) - a\|^2_2$$
• これにより、GenRL のノイズの多いマルチタスク報酬集計が、高密度で安定した教師あり学習に置き換えられる。このフェーズでは教師は固定されているため、不安定なフィードバックループが排除される。

主な貢献

1. アルゴリズム (DIBS): GenRL の不安定なマルチタスク RL ループを、安定した教師あり学習パイプラインに置き換えるデカップルされたアプローチ。
2. 技術:
   • クロスインデックス正則化: 教師の方策がタスクインデックス間で滑らかに進化することを保証し、多項式適合を容易にする。
   • 信頼性に基づくデータセットフィルタリング: 行動クローニングのデータセットに高品質な状態行動ペアのみが含まれるようにし、未探索状態における教師の信頼できない行動から学習するリスクを軽減する。
3. 柔軟性: ARS (Augmented Random Search) アルゴリズムに密結合している GenRL とは異なり、DIBS は教師の学習フェーズにおいて任意の標準的な RL アルゴリズムを使用できる。

実験結果

著者らは、様々な動的な複雑さを備えた4つの連続制御環境（CAR2D（平面運動）、REACHER（マニピュレーション）、SIMPLEDRONE、DRONEATTITUDE（3Dナビゲーションおよび姿勢制御））で DIBS を評価した。

• 学習のスケーラビリティ: DIBS は、訓練タスクの数が増加しても、顕著に優れた安定性を示した。ベンチマーク全体で集計すると、DIBS は GenRL と比較して、解決された訓練インデックスの割合において 3.82倍の向上を達成した。
• ゼロショット汎化: DIBS は、未知のタスクを解決する上で GenRL や他のベースライン（MAML, VariBAD, 標準的な BC, ARS）を凌駕した。GenRL と比較して、解決された未知のインデックスの割合において 6.19倍の向上を達成した。
• アブレーション研究:
  • デカップリングを取り除いた場合（GenRL の結合されたループに戻した場合）、より困難な環境（例：より多くのブロックがある REACHER）において性能が崩壊した。
  • クロスインデックス正則化を取り除くと、汎化性能が急激に低下した（例：SIMPLEDRONE において、解決された未知のタスク数が 26 から 3 へ減少）。これは、滑らかな教師の進化の必要性を裏付けている。

意義と主張

本論文は、DIBS が先行する帰納的汎化手法のスケーラビリティの限界を根本的に解決することを主張している。タスク固有の方策の学習と、汎化ルールの学習をデカップルすることで、本手法は以下を実現する：

1. 不安定性の排除: 結合された RL ループに固有の、累積誤差やノイズの多い報酬信号を取り除く。
2. スケーラビリティの実現: 従来のメソッドが失敗するような、より大規模なタスクファミリーや、より複雑な動的環境（長期ホライゾンや分岐タスク）を扱うことを可能にする。
3. 汎化性能の向上: 学習プロセスの安定性が、汎用的な構造を抽出する能力と直接相関しており、それが優れたゼロショット性能につながっている。

著者らは、DIBS を、タスクが時系列論理によって定義される系統的な変化（帰納的ファミリー）を示す設定における、堅牢なソリューションとして位置づけている。