技術的概要：強化学習駆動の模倣学習における教師 - 学生表現整合性

問題定義

模倣学習（IL）は、ロボット工学などで見られるような高次元の観測空間における強化学習（RL）に伴うサンプル複雑性と「次元の呪い」を克服するために頻繁に利用される。一般的なパラダイムでは、低次元の分析的状態表現に対して RL ベースの「教師」を訓練し、その行動を高次元の観測（例えば画像）で動作する「学生」の方針に蒸留する。

しかし、教師と学生が個別に訓練される場合、重大な課題が生じる。教師はしばしば「特権情報」（学生からの観測からは推測できないが教師に利用可能な状態変数、例えば正確な目標座標や隠れた物体の位置など）に依存する。これにより「回避不可能な模倣ギャップ」が生じる。すなわち、教師は特権的な視点に対して最適な方策を学習するが、必要な情報が学生の入力から欠落しているため、学生はその方策を模倣することが不可能となる。

従来、このギャップは IL 後に RL 微調整フェーズを学生に追加することで対処されてきた。しかし、これにより RL の高いサンプル複雑性と訓練の不安定性が再導入される。あるいは、模倣可能性を強制するために教師の報酬関数や行動空間を変更する手法もあるが、これらのアプローチはしばしば重たい特徴量エンジニアリングを必要とし、調整が困難なハイパーパラメータを導入するか、教師のタスク性能を低下させる。

手法

著者は、模倣ギャップを構造的に埋めるために共有埋め込み空間を学習する、新規かつタスク非依存のアルゴリズムを提案する。報酬を変更したり、事後に学生を微調整したりするのではなく、この手法は教師が学生によって本質的に模倣可能な方策を学習することを保証する。

中核アーキテクチャ

このアプローチは、教師と学生が異なるモダリティ（$o_T$ および $o_S$）を通じて同じ基底環境状態 $s_t$ を観測するマルチビュー表現学習フレームワークを利用する。これらの観測は以下を含むものとしてモデル化される：

1. 共通成分（$c_t$）： 両エージェントで共有される情報（例えば、相対的な障害物の位置）。
2. 私的成分（$p_T, p_S$）： エージェント固有の情報（例えば、教師に対する正確な目標座標）。

目的は、$o_T$ と $o_S$ の両方を、私的情報を教師の RL 訓練中に隠蔽し、$c_t$ のみを含む潜在空間にマッピングするエンコーダを学習することである。

訓練フェーズ

システムは 2 つのモジュールを含む交互フェーズで動作する：

1. 対照的表現学習（埋め込みモジュール）：

   • 目的： 教師と学生の観測から共通の潜在空間へのマッピングを学習する。
   • メカニズム： InfoNCE 対照損失を使用する。同じ時間ステップからの対になった観測 $(o_T, o_S)$ を正のペアとして扱い、バッチ内の対になっていない観測を負のペアとして扱う。
   • 整合損失（$L_{alignment}$）： 両エージェントの方策ネットワークが一貫した表現を視認することを保証するため、対になった埋め込み間の類似性を明示的に最大化する。
   • 安定性損失（$L_{stability}$）： 以前の状態に対する方策ネットワークの生ロジットのシフトにペナルティを課すことで、訓練中の潜在空間における大きな逸脱を防ぐ。RL 方策は小さな埋め込みのシフトに対して敏感であるため、これは極めて重要である。
   • 勾配分離： 決定的に、RL 方策（フェーズ 2）からの勾配はエンコーダネットワークを通じて逆伝播されない。これにより、方策が報酬を最大化するために教師の生観測から私的情報を抽出することを学習する「不正」を防ぐ。

2. 強化学習（方策モジュール）：

   • 教師方策（$\pi_T$）は、タスク報酬を最大化するために**近接方策最適化（PPO）**を用いて訓練される。
   • ただし、方策は生観測ではなく、学習された潜在埋め込みのみで動作する。
   • 埋め込みには私的情報が含まれていないため、教師は学生が利用可能な共有情報のみを活用して報酬を最大化することを強制される。

先行研究との主要な相違点

• 報酬の KL 発散項を通じて非模倣可能な状態への訪問を教師にペナルティを与える SITT [8] とは異なり、この手法は報酬関数を変更したり、トレードオフ係数（$\alpha$）を導入したりしない。
• 対照ペアを選択するためにドメイン知識を必要とする手法とは異なり、このアプローチは完全にタスク非依存であり、教師 - 学生軌道の時間的整合性に依存する。

実験結果

この手法は、模倣ギャップを浮き彫りにするために設計された 2 つのシミュレーション環境で評価された：

1. CollectHealth： 教師は正確な箱の位置を知っているが、学生は限られた視野（FOV）を持ち、ターゲットを見つけるために向きを変える必要がある 3 次元ナビゲーションタスク。
2. TunnelVision： 教師は周囲のすべてのセルを見るが、学生は前方の 3 つのセルのみを見るグリッドワールドナビゲーションタスク。

性能指標

本研究は、提案手法を以下の手法と比較した：

• 行動クローン（BC）： 個別に訓練された教師を用いた標準的な IL。
• SITT： 非模倣可能な教師行動にペナルティを課す最先端のベースライン。

主要な発見：

• 模倣ギャップの削減： 提案手法は、両環境においてほぼゼロの模倣ギャップ（$\Delta \approx 0.00$ から $0.01$）を達成し、BC（ギャップ $\approx 0.53-0.81$）および SITT（ギャップ $\approx 0.19-0.43$）を大幅に上回った。
• 学生の性能： 蒸留された学生の方策は、TunnelVision で 1.00、CollectHealth で 0.98 の成功率を達成し、RL 微調整を必要とせずに教師の性能に匹敵、あるいは上回った。
• 教師の性能： 報酬変更により教師の性能が低下した SITT と異なり、提案手法は元の報酬関数が変更されなかったため、高い教師性能（1.00 および 0.99）を維持した。
• アブレーション研究：
  • 整合損失を除去すると、特に CollectHealth において学生の性能が顕著に低下し、明示的な埋め込み類似性の必要性が確認された。
  • 安定性損失を除去すると、高感度環境である TunnelVision で大幅な性能低下が生じ、敏感な設定における方策の崩壊を防ぐために安定した埋め込みが不可欠であることを示した。

意義と貢献

本論文は以下の貢献を主張する：

1. 新規タスク非依存手法： 共有潜在表現を学習することで模倣ギャップを埋めるプラグアンドプレイアプローチを導入し、報酬関数の変更や複雑な特徴量エンジニアリングの必要性を排除する。
2. 模倣可能性の構築： 対照的学習を通じて教師を共有埋め込み空間上で動作させることを制限することで、教師が学生によって本質的に再現可能な行動を学習することを保証し、特権情報に起因する回避不可能なギャップを回避する。
3. 優れた実証的性能： 提案手法は、学生の成功率と模倣ギャップの削減において、強力なベースライン（BC および SITT）を一貫して上回り、かつ教師の最適タスク性能を維持する。
4. 安定化メカニズム： 明示的な整合損失と安定性損失の導入は、表現のシフトに対する RL 方策の感度に対処し、事後微調整なしで堅牢な訓練を可能にする。

著者は、この手法が特権的な教師から高次元の方策を蒸留するための堅牢な解決策を提供し、タスクの根本的な報酬構造を変更することなく既存の IL フレームワークへの統合に適していると結論付けている。