技術要約: Noise-Guided Transport (NGT)

問題提起

本論文は、限られた数のエキスパートによるデモンストレーションしか利用できない**低データ環境（low-data regime）における模倣学習（Imitation Learning, IL）**の課題に取り組んでいる。このような設定では、標準的な行動複製（Behavioral Cloning, BC）は累積誤差によって汎化に失敗することが多い。一方で、従来の敵対的模倣学習（Adversarial Imitation Learning, AIL）手法（例：GAIL、DAC）は、不安定性、強力な正則化（勾配ペナルティなど）への依存、あるいは希少なデータに対して非効率な大規模な事前学習や高容量アーキテクチャへの依存といった課題を抱えている。著者らは特に、Humanoidの移動制御のような高次元で複雑なダイナミクスを含む連続制御タスクを対象としている。これは、データの不足が決定的なボトルネックとなる領域である。

手法: Noise-Guided Transport (NGT)

NGTは、報酬学習の問題を、**ランダムな事前分布からの学習（learning from random priors）という概念に基づき、敵対的訓練を通じて解かれる最適輸送（Optimal Transport, OT）**問題として定式化した、軽量なオフポリシー模倣学習手法である。

コアメカニズム

1. ランダムな事前分布からの学習: この手法は、決定論的なターゲット・マッピングを提供する、凍結されたランダム初期化ニューラルネットワーク（$f^\dagger_\xi$）を「事前分布（prior）」として利用する。学習可能な予測器ネットワーク（$f_\xi$）は、この事前分布の出力を一致させるように最適化される。

2. 敵対的報酬学習: エキスパートのデータのみから学習する標準的な一クラス（one-class）のアプローチとは異なり、NGTはエージェントの振る舞いを負の信号として扱う。ポテンシャル関数 $h_\xi(x) = \ell(f_\xi(x), f^\dagger_\xi(x))$ を定義する（ここで $\ell$ は非負のマッチング損失である）。報酬学習の目的関数は以下のように定式化される：
   $$L(\xi) = \mathbb{E}_{x \sim P_{expert}}[h_\xi(x)] - \mathbb{E}_{x \sim P_{agent}}[h_\xi(x)]$$
   $L(\xi)$ を最小化することで、$h_\xi$ がエキスパートデータに対して低い値を、エージェントのデータに対して高い値を割り当てるように訓練する。最終的な報酬は $r_\xi(x) = \exp(-h_\xi(x))$ として導出され、これにより正値性が保証され、エキスパートとエージェントの振る舞いのコントラストが鮮明になる。

3. 最適輸送との等価性: 著者らは、1-リプシッツ（1-Lipschitz）ポテンシャルの空間上で $L(\xi)$ を最小化することが、エージェントとエキスパートの分布間のアースムーバー距離（EMD）を最大化することと等価であることを示している。学習されたポテンシャル $h_\xi$ はカントロヴィッチ・ルビンシュタイン双対性を体現しており、エージェントをエキスパートへと導くOTコスト・ランドスケープを効果的に構築する。

実装上の詳細と安定性

EMDとの等価性に必要な1-リプシッツ制約の理論的保証を確保するため、NGTは以下のアーキテクチャおよび訓練上の選択を採用している：

• スペクトル正規化 (Spectral Normalization, SN): 予測器および事前分布ネットワークのすべての線形層に適用し、リプシッツ定数を制約する。
• 直交初期化 (Orthogonal Initialization, OI): 凍結された事前分布ネットワークに使用し、フルランクの写像と単位特異値を保証することで、SNを必要とせずに事前分布のリプシッツ定数を1に近く保つ。
• 損失関数:
  • 標準的なタスクには、堅牢な回帰損失であるHuber損失が使用される。
  • 高次元で困難なタスク（例：Humanoid）では、分布的損失（distributional loss）（具体的には「ガウス型」ヒストグラム損失、$\ell_{HLG}$）を採用する。これは回帰問題を各次元のビンに対する分類問題へと変換し、ラベルスムージングと順序構造を利用して安定性と汎化性能を向上させる。これにより、予測器が事前分布の各次元に対してビンの分布を出力するという、アーキテクチャ上の非対称性が導入される。
• 勾配ペナルティなし: 他のオフポリシーAILベースライン（例：DAC, SAM）とは異なり、NGTは安定性のために計算コストの高い勾配ペナルティ（GP）を必要とせず、代わりにSNとランダム事前分布フレームワークの設計に依拠している。

主な貢献

1. 新規な報酬目的関数: ランダムな事前分布からの学習という問題から、不確実性の推定と疑似密度推定を自然に組み込んだ敵対的報酬学習の目的関数を導出したこと。
2. 理論的裏付け: 提案された目的関数が最適輸送（具体的にはEMD）の双対形式と一致することを証明し、経験的損失が真の目的関数に収束するという理論的保証を提供したこと。
3. サンプル効率: 特殊な大規模アーキテクチャや事前学習を必要とせず、極めて限定されたデータ（わずか20トランジション）で強力な性能を達成する手法であること。
4. 状態のみ（State-Only）への対応能力: エキスパートのアクションが利用できない設定（state-only）でも模倣学習を実行できる能力。これは多くのベースラインが失敗するシナリオである。
5. 実践的な堅牢性: スペクトル正規化と直交初期化が、オフポリシーの敵対的訓練を安定させるのに十分であることを示し、勾配ペナルティの必要性を排除したこと。

実験結果

著者らは、Gymnasiumの連続制御スイート、特に困難な Humanoid-v4 タスクにおいて、低データ環境（1、4、11個のエキスパート・デモンストレーション）下でNGTを評価した。

• 性能: NGTは、BC、PWIL、DAC/SAM、W-DAC/SAM、MMD-DAC/SAM、RED、DiffAILを含む多様なベースラインを一貫して上回った。
• 低データでのスケーリング: NGTは、デモンストレーションの数やサブサンプリング率の変化に対して、一貫した安定したスケーリングを示した。
• 高次元タスクでの成功: わずか20トランジションという条件下で、state-onlyの設定においてもHumanoidの移動制御を学習できたのはNGTのみであった。DiffAILはHumanoidにおいて有望な結果を示したが、他のタスクでは苦戦し、より高い計算オーバーヘッドが発生した。
• 安定性: NGTはランダムシード間でタイトな分散を示し、GANベースのIL手法でよく見られる訓練の不安定性やモード崩壊（mode collapse）に陥ることがなかった。
• 効率性: NGTは、最も高速なベースラインと同等の競争力のある実行速度（ステップ/秒）を維持し、DiffAILなどで観察される実行時の性能低下を回避した。

意義と主張

本論文は、NGTが、データが乏しい環境における模倣学習のための軽量で、サンプル効率が高く、理論的に裏付けられた代替案を提供すると主張している。ランダムな事前分布からの学習の原理を活用することで、NGTは事前学習の複雑さや、勾配ペナルティを用いた敵対的訓練の不安定さを伴うことなく、堅牢な性能を達成している。

著者らは、本研究を、患者の可用性や臨床的な変動性によって高品質で多様なエキスパート・デモンストレーションの取得が制限されるバイオロボティクスやヘルスケアのような応用領域における、模倣学習への関心を再燃させるための一歩として位置づけている。彼らは、本手法が複雑な制御ポリシーを学習するためのデータ要件を削減することで、これらの分野における進展を可能にすることを強調している。また、提案された目的関数が、一般的な生成モデリングタスクに対しても幅広い適用可能性を持つことを示唆している。