技術サマリー：NavOL – オンライン模倣学習を用いたナビゲーション方策

問題定義

オープンワールド、動的、かつ散らかった環境におけるロボットの視覚ナビゲーションは、依然として重大な課題です。既存のアプローチは、それぞれ固有の限界に直面しています：

• オフライン模倣学習： 効率的である一方で、これらの手法は静的で事前に収集されたデータセットに依存しており、展開中にエージェントが遭遇する状態を網羅していない場合、 rollout 中に分布シフトと累積誤差に悩まされます。
• 強化学習（RL）： RL は環境との相互作用を可能にしますが、慎重に設計された報酬関数に大きく依存し、しばしば希薄な報酬に直面し、サンプル効率の低さに悩まされるため、複雑な環境での大規模なトレーニングが困難です。
• データ不足： 大規模で高品質な実世界の軌跡を収集するにはコストがかかり、モデルの容量を制限します。一方、純粋な合成データ生成（例：NavDP）は効率を向上させますが、トレーニング中の分布ドリフトを修正できないオフラインパイプラインのままです。

核心的なボトルネックは、報酬設計を必要とせずに分布シフトを軽減しつつ、模倣学習のサンプル効率とオンライン学習の相互作用の利点を組み合わせた、スケーラブルなパラダイムの欠如です。

手法：NavOL

NavOL は、オフライン模倣学習とオンライン RL の間のギャップを埋めるオンライン模倣学習パラダイムを提案します。これは、IsaacLab シミュレーターを用いたクローズドループのロールアウト–更新フレームワーク内で動作します。

1. モデルアーキテクチャ

NavOL は、事前学習されたマルチモーダル拡散方策（具体的には NavDP から）を基盤とし、2 つの協調するコンポーネントで構成されます：

• 軌道生成器（$f$）： 拡散トランスフォーマー（DiT）であり、RGB-D 観測とゴール指示を、短いホライズンの相対的なウェイポイントのシーケンスにマッピングします。視覚エンコーディングには DepthAnythingV2 ViT バックボーンを使用し、トランスフォーマーデコーダーで特徴を融合します。
• クリティックネットワーク（$V$）： 生成器と視覚トークンおよび DiT バックボーンを共有します。候補軌道の安全性と実現可能性をスコアリングし、スカラーの安全性スコアを出力します。これにより、システムはサンプリングされた軌道をランク付けし、最も安全な計画を実行できます。

2. オンライン模倣学習パイプライン

トレーニングプロセスは、2 つのステージを交互に実行します：

• ロールアウトステージ：
  • エージェントは、現在の方策を使用してシミュレーター内でナビゲートします。
  • エキスパート監督： 環境マップ（NavMesh）への特権的なアクセスを持つグローバルプランナーが、現在のポーズからゴールまでの最適経路を計算します。この経路は、真の軌道ラベルとして機能するように高密度化され、平滑化されます。
  • データ集約： 各ステップで、エージェントは確率 $\rho$ で方策のアクションを実行するか、確率 $1-\rho$ でエキスパートのアクションを実行します。この「DAgger スタイル」の相互作用により、方策は実際に訪問する状態から学習し、共変量シフトを軽減します。
  • 安全性ラベリング： 障害物までの距離に基づいて目標安全性スコアを導出し、クリティックネットワークを監督します。
• 更新ステージ：
  • 拡散方策とクリティックは、新たに収集された観測–軌道ペアでトレーニングされます。
  • 方策は、観測、ゴール、エキスパート軌道に条件付けられた標準的なデノイジング目的関数（予測ノイズと目標ノイズ間の MSE）を用いて最適化されます。
  • クリティックは、目標安全性スコアに対する MSE 損失を用いて最適化されます。
  • 重要なのは、システムが前回のイテレーションからのデータを破棄し、更新効率を最大化するために最新のロールアウトのみでトレーニングすることです。

3. 実装とスケーリング

• シミュレーション： IsaacLab に基づき、高忠実度レンダリング（グローバルイルミネーション、反射、影）とドメインランダム化（カメラポーズ、照明、エージェント寸法）で構築されています。
• 効率性： システムは 8 台の RTX 4090 GPU で 50 個のシーンを並列に実行し、時間あたり 2,000 以上の新しい軌跡を収集します（平均して各軌跡は 400 ステップ以上）。
• 初期化： 方策は、事前学習された NavDP モデルの重みで初期化され、強力な行動の事前分布を提供しますが、アブレーション研究により、性能を低下させながらゼロからトレーニングすることも可能であることが示されています。

主要な貢献

1. NavOL フレームワーク： オンラインで収集されたエキスパート実演を用いて方策を反復的に更新し、報酬設計を不要にする、ナビゲーションのための新規オンライン模倣学習フレームワーク。
2. スケーラブルなパイプライン： 多様な 3D シーンにおいて、時間あたり数千の高品質軌跡を収集し、学習できる高度に並列化されたロールアウト–更新パイプライン。
3. 新しいベンチマーク： 3D-Front データセットに基づく屋内視覚ナビゲーションベンチマークの導入。ゼロショット一般化を厳密に評価するため、8 つのドメイン外シーンと定義済みのスタート–ゴールペアを特徴としています。
4. 実証的検証： シミュレーションおよび実世界のゼロショット展開の両方で、最先端のベースラインに対して一貫した性能向上を示す広範な実験。

結果

シミュレーションベンチマーク

• NavDP ベンチマーク： NavOL は、すべての指標においてベースライン（DD-PPO、iPlanner、ViPlanner、および元の NavDP）を上回ります。平均成功率（mSR）は80.4%、平均成功重み付き経路長（mSPL）は**76.3%**を達成し、NavDP（SR 77.8%、SPL 74.8%）を凌駕します。
• NavOL ベンチマーク： より困難な新しいベンチマークにおいて、NavOL は mSR 69.0%、mSPL **63.7%**を達成します。これは、最も強力なベースラインである NavDP（SR 42.2%、SPL 37.7%）や、ViPlanner（SR 33.0%）、iPlanner（SR 18.7%）などの他の手法を大幅に上回ります。
• 安定性： 定性的分析により、NavOL は障害物の近くでも安定した衝突フリーの軌道を生成するのに対し、NavDP は失敗につながる高い変動と振動挙動を示すことが明らかになりました。

実世界展開

• ゼロショット Sim-to-Real： シミュレーションで Dingo ロボット上でトレーニングされた方策は、RealSense D435i カメラを搭載した Unitree Go2 ロボットに展開されました。
• 性能： 3 つの散らかった実世界シナリオ（オフィス、ジム、廊下）において、NavOL はそれぞれ80%、70%、**100%**の成功率を達成しました。一方、NavDP はそれぞれ 40%、20%、20% にとどまりました。
• クロス・エンボディメント： 結果は、異なるロボットエンボディメント間での強力な一般化を示し、学習された空間表現の堅牢性を裏付けています。

効率性分析

• NavDP から初期化された NavOL は、mSR 69.0% を達成するためにわずか16 GPU 日（8 GPU で 2 日）を要しました。
• 対照的に、元の NavDP は mSR 42.2% を達成するために約1,024 GPU 日（32 台の A100 で 32 日）を要しました。
• 初期化なしの「ゼロから」の NavOL バリアント（16 GPU 日）さえも、元の NavDP を上回っており、オンライン監督アプローチのデータ効率の高さを浮き彫りにしています。

意義と主張

本論文は、NavOL が以下の点でオフライン模倣学習と強化学習の両方の限界を克服したと主張しています：

1. 分布シフトの軽減： 方策自身が探索したロールアウト上でトレーニングし、エキスパートによる修正（DAgger スタイル）を取り入れることで、オフライン方策に典型的な累積誤差を防ぎます。
2. 報酬設計の排除： 特権的なグローバルプランナーの使用により、直接的な軌道監督を提供し、希薄なまたは手動で設計された報酬関数の必要性を排除します。
3. スケーラビリティ： IsaacLab との統合により大規模な並列化が可能となり、高忠実度なオンライントレーニングの実現性と効率性を高めています。
4. 堅牢性： ゼロショット実世界実験によって実証されているように、このフレームワークは未見の環境や異なるロボットエンボディメントに対して良好に一般化する方策を生み出します。

著者らは、オンラインプランナー監督を模倣学習に組み込むことがナビゲーション性能を大幅に向上させ、堅牢な具身エージェント toward へのよりデータ効率的でスケーラブルな道筋を提供すると結論付けています。