技術要約：対照的目標推論による一貫したゼロショット模倣

問題提起

本論文は、エージェントがテスト時に追加の環境相互作用、勾配更新、または報酬関数へのアクセスなしに、単一のデモンストレーションからエキスパートの行動を再現しなければならない設定である、**ゼロショット模倣学習（Zero-Shot Imitation Learning: IL）**に対処している。既存のアプローチは、デモンストレーションを直接模倣する（行動クローニング）か、逆強化学習（Inverse Reinforcement Learning: IRL）を通じて報酬関数を推論することに依存することが多い。しかし、行動クローニングは分布の変化（distributional shift）に弱く、標準的なIRL手法は、異なる状態に到達する相対的な困難さ（分配関数）を考慮できないため、報酬推論の特定不足という問題に直面することが多い。

著者らは、エージェントが基礎的な知識を構築するために、自己教師あり相互作用（デモンストレーション、報酬、人間によるデータなし）を通じて事前学習を行うフレームワークを提案している。核心となる課題は、これらのエージェントが単一の軌跡からデモンストレーターの意図を推論し、さらなる学習なしにその意図を達成するための方策を実行できるようにすることである。

手法：対照的逆強化学習（Contrastive Inverse Reinforcement Learning: CIRL）

提案されたフレームワークである対照的逆強化学習（CIRL）は、マルチタスクIRL問題を目標推論問題へと再構成する。これは、多くのタスクが単一のゴール状態によって要約できるという観察に基づいている。この手法は、事前学習中に統合される3つの主要なコンポーネントで構成されている：

1. 最大エントロピー対照強化学習（Maximum Entropy Contrastive Reinforcement Learning: MaxEnt CRL）:

   • エージェントは、自己教師あり目的関数を用いて、目標条件付き方策を学習する。
   • これは、対照的強化学習（CRL）を最大エントロピー（MaxEnt）の設定へと拡張したものである。単に割引将来報酬を学習するだけでなく、エージェントは割引将来報酬の和とエントロピーの両方を最適化する。
   • クリティック関数 $f_{\phi,\psi}(s, a, g)$ は、ノイズ対照推定（Noise Contrastive Estimation: NCE）を用いて、現在の状態・行動・目標のタプルと負のサンプルを区別することで、割引状態占有測度を推定する。
   • アクターはエントロピー正則化された目的関数を最大化し、ソフトQ関数 $\tilde{Q}_g(s, a)$ を学習する。

2. 自動目標提案（GoalKDE）:

   • 外部報酬なしでの探索を促進するために、エージェントはGoalKDE、すなわち自動目標サンプリングメカニズムを採用する。
   • エージェントは、リプレイバッファ内の状態に対してガウスカーネル密度推定（KDE）を適合させる。
   • エージェントは、KDEの下で確率が最も低い（訪問頻度が低い）状態から目標をサンプリングし、自律的に状態空間を探索するように促す。

3. 変分目標推論（Variational Goal Inference）:

   • テスト時、デモンストレーション軌跡 $\tau$ が与えられると、エージェントはエキスパートの目標 $\hat{g}$ を推論しなければならない。
   • 著者らは、目標条件付き報酬を用いたMaxEnt IRLの下では、報酬を推論することは潜在的な目標を推論することと同等であることを証明している。
   • 彼らは、目標の事後分布を近似するために、平均場変分モデル $q_\xi(g|\tau) = \prod_{t=0}^T q_\xi(g|s_t, a_t)$ を用いる。この償却推論モデルは、軌跡から意図を「読み取る」ことを学習するように、軌跡に対する目標の尤度を最大化するように訓練される。

主要な理論的貢献

本論文は、CIRL手法の**一貫性（consistency）**に関する理論的証明を提供している：

• 一一貫した目標推論: 著者らは、CIRLが、異なる状態への到達の相対的な困難さ（分配関数 $Z_g$）を考慮することで、デモンストレーターの意図を一貫して回復することを証明している。
• 先行研究の不整合性: 彼らは、Forward-Backward（FB）表現のような構造的に類似した手法が不整合であることを示している。FB手法は、分配関数を考慮せずに状態訪問回数に基づいて報酬を推論する。著者らは、FBが、容易にアクセスできる状態と、真に到達困難な目標としての状態を区別できないために、デモンストレーターの方策を誤って特定してしまうことを示す、2状態MDPの反例を提示している。

実験結果

著者らは、Reacher、Pusher、Ant、PointMazeタスクを含むJaxGCRLおよびUnsupervised Reinforcement Learning Benchmark (URLB) 環境でCIRLを評価している。

• ベースラインとの性能比較: CIRLは、以下の手法を含む従来のゼロショット模倣手法を一貫して上回っている：
  • 1-Nearest Neighbor (1-NN): エキスパートの軌跡内の最近傍の状態の行動をコピーする素朴なベースライン。
  • Forward-Backward (FB) Representations: ゼロショットRLおよび模倣における最先端の手法。
  • HILP: 非監視型事前学習のための潜在変数アプローチ。
• アブレーション研究:
  • 事前学習: 自己教師あり事前学習を伴うCIRLは、伴わない手法よりも大幅に優れた性能を示す。
  • 目標推論: 平均場近似を用いた目標推論は、全軌跡を入力として使用するモデルよりも普遍的に優れており、計算効率と性能の両面で優れている。
  • 探索: GoalKDEは、一部の環境（Reacherなど）ではほぼ完璧な模倣スコアを達成するが、高次元空間（AntやPointMazeなど）では「オラクル」目標サンプラーとの差が拡大しており、複雑な状態空間における探索戦略の改善の余地を示唆している。
• 汎化性能: CIRLは、標準的な報酬最大化タスク（非目標条件付き）で訓練された方策を、エージェントの3D位置と速度に関連する目標を推論することで模倣することに成功しており、目標空間仮説が複雑な報酬構造を捉えられることを示している。

意義と主張

本論文は、目標が行動のコンパクトかつ表現力豊かな要約として機能すると主張している。報酬関数の仮説空間を目標条件付き報酬へと限定することで、著者らは以下を示す：

1. 効率性: 行動を目標条件付き報酬の制限された空間に投影することで、模倣はより効率的になる。
2. 理論的正当性: 本手法は理論的に一貫しており、分配関数を無視することで失敗する他の手法に対し、意図を正しく推論できる。
3. 自己教師ありの基盤: 事前学習中にデモンストレーションや報酬信号を一切使用せずとも（目標を提案し、それに到達しようとし、その結果から学ぶというプロセスを通じて）、純粋な自己教師あり探索を通じて、インタラクティブなエージェントの基礎を構築することが可能である。

著者らは、この「想像して実践する（imagine-and-practice）」ループが、多様なタスク分布にわたって転移可能な方策の学習を可能にし、ゼロショット模倣の基本メカニズムとしての「目標」の再評価を支持すると結論づけている。