技術要約: TerraTransfer

問題提起

エンドツーエンドの自動運転は最先端の性能を達成しているが、それは高コストで多段階のトレーニングレシピに依存している。標準的なアプローチでは、ログされた人間の運転データを用いた大規模な模倣事前学習に続き、様々な微調整（教師あり適応、オープンループRL、またはクローズドループRL）が行われる。このワークフローには以下のボトルネックが存在する：

1. データコスト: 数百万の運転フレームおよび数十万時間のマルチカメラログの収集とラベル付け。
2. 計算コスト: 画像を用いたクローズドループ強化学習（RL）は、フォトリアリスティックなレンダリングと、各ステップでの重いビジョンバックボーンのフォワードパスを必要とするため、重大な計算負荷を生み出す。
3. 分布のギャップ: 模倣学習はエキスパートによるデモンストレーションの質に制限され、ログされた交通データには存在しない稀な安全クリティカルな状態（衝突、ニアミスなど）への対応に苦慮する。

ベクトル化されたシミュレータにおけるセルフプレイは、人間によるデータなしで自然な運転挙動や稀なイベントを生成できるため、より安価な代替手段となるが、これらのポリシーは生のセンサー入力ではなく、ベクトル化されたシーン状態（バウンディングボックス、運動学）を消費するため、実世界のエンドツーエンドシステムへのデプロイが困難である。

手法

著者らは、「運転の学習」と「視覚の学習」を切り離し、どの段階においてもエキスパートのデモンストレーションを必要としない二段階のパラダイム、TerraTransferを提案している。

フェーズ1: セルフプレイ事前学習（運転の学習）

プランニング・ポリシー（$\pi_\theta$）は、ベクトル化されたドライビングシミュレータであるTerraZeroにおけるマルチエージェント・セルフプレイを用いて、ゼロから（$tabula\ rasa$）学習される。

• アーキテクチャ: ポリシーは、シーン内の全エージェントを制御するために単一のパラメータセットを使用する。これは、DeepSetsエンコーダと共有MLPを用いて、エゴ状態、道路要素、およびパートナーエージェントを処理する。
• トレーニング: ポリシーは、目標到達、衝突回避、快適性などの加重された運転品質項からなる報酬関数を用いた近接方策最適化（PPO）によって最適化される。
• ドメインランダム化: ドライバーの好みはエピソードごとにランデックス化され、エゴの観測の一部として提示される。これにより、ポリシーは連続的な運転スタイルの学習が可能となる。
• 成果: これにより、ベクトル状態において堅牢に走行するが、画像を処理できない「教師（teacher）」ポリシーが生成される。

フェーズ2: ビジョン・アライメント（視覚の学習）

凍結された教師ポリシーは、ログされた人間の軌跡を一切参照することなく、「生徒（student）」ビジョン・ポリシーを監督するために使用される。

• アーキテクチャ: 生徒は、教師の凍結されたエゴエンコーダ、共有MLP、およびアクターヘッドを継承する。教師の集合値エンコーダ（道路およびパートナー用）は、線形アダプタを備えた事前学習済みDINOv3バックボーンに基づく画像条件付きエンコーダに置き換えられる。
• 監督信号: 生徒は、（画像、シーン状態）のペアとなったデータセットでトレーニングされる。ターゲットは、教師の行動分布および、対応するベクトル状態から導出された特徴量である。
• 損失関数:
  1. 行動アライメント: 生徒の行動分布と教師の分布の間のKLダイバージェンスを最小化する。
  2. 構造的アライメント: 新規なバッチ関係的低ランク構造損失（batch-relational low-rank structural loss）。経験的分析により、教師の特徴量は低ランクかつ冗長であることが明らかになっている。絶対的な特徴座標を一致させる代わりに、生徒は主成分となる低ランク部分空間内における教師の特徴の関係的な幾何学構造（ペアワイズのシーン類似性）を再現するように訓練される。これにより、分散の低い方向にあるノイズに生徒を適合させることを回避する。

主な貢献

1. デモンストレーション不要のレシピ: エキスパートのデモンストレーションを監督に一切必要としない、エンドツーエンドの運転のためのフレームワーク。セルフプレイによる運転能力と、ペアリングされた（画像、状態）データのみに依存する。
2. デカップルされた学習: 運転ポリシーの学習（ベクトル空間）と知覚の学習（画像空間）を分離することで、様々なビジョンフロントエンドやセンサー構成に対して、単一のセルフプレイ教師を再利用することを可能にする。
3. バッチ関係的低ランク構造損失: 教師の特徴が高度に冗長であるという経験的知見に基づき、低ランク部分空間内の関係的構造を一致させることで、ビジョン特徴をベクトル特徴とアライメントさせる手法。
4. クローズドループ性能: 得られたポリシーは、フォトリアリスティックな3D Gaussian Splattingベンチマークにおいて競争力のある結果を示し、大規模なエキスパートデータで訓練された従来のEnd-to-End手法と同等以上の性能を発揮する。

実験結果

本手法は、nuScenesのシナリオから派生したフォトリアリスティックなクローズドルブループベンチマークであるHUGSimにおいて、集計されたHD-Scoreを用いて評価された。

• ベースラインとの比較: TerraTransferポリシーは、集計HD-Score 0.490を達成し、最高の模倣学習ベースライン（LTF, 0.360）および最強の公開されているECOバリアント（0.452）を上回った。これは、特権的なベクトル状態で動作する、自身のセルフプレイ教師（0.520）の性能に迫るものである。
• データ効率: アライメントフェーズでは、nuPlanデータセットから183万のペアフレーム（約51時間のデータ）のみを必要とした。これはECOベースラインの微調整に使用されたデータの約40%に相当するが、TerraTransferはECOの性能を上回った。
• クロスデータセット汎化: ポリシーはnuPlanデータでアライメントされたが、評価はnuScenes由来のシナリオで行われ、インディストリビューションの軌跡ラベルなしでの強力な汎化性能を示した。
• 限界: 本論文では、バウンディングボックスによる学習のため、微細な視覚的手がかり（例：ブレーキランプ）を見落としていること、歩行者やサイクリストへの露出が限定的であること、および信号交差点への完全なサポートが欠けていることが指摘されている。

重要性と主張

論文は、TerraTransferがエンドツーエンドの自動運転に向けた極めて効果的でデータ効率の高い道筋を提供すると主張している。「運転の学習」のコストをシミュレーション内での一度限りのスケーラブルなセルフプレイへと移行することで、このアプローチは、高価で精選されたエキスパート・デモンストレーションへの依存を排除する。結果として得られるポリシーは、ベクトルベースのセルフプレイから生の画像知覚へと、堅牢で自然な運転能力が転移可能であることを示しており、従来の模倣学習パイプラインと比較して、大幅に削減されたデータおよび計算要件で、最先端のクローズドループ性能を達成している。