技術的サマリー：CLOVER

問題定義

エンドツーエンドの自動運転プランナーは、通常、単一の記録された人間の軌跡を用いた模倣学習によって訓練されます。しかし、それらの評価は、安全性、実現可能性、進行、快適性を評価するルールベースのプランニング指標（例：NAVSIM PDMS/EPDMS）を用いて行われます。これにより、根本的な「訓練と評価の不一致」が生じます：

1. 記録された経路に近い軌跡であっても、安全性ルールに違反したり、安全でない相互作用を引き起こしたりする可能性があります。
2. デモンストレーションから逸脱する代替軌跡は、有効で高スコアである可能性がありますが、訓練中には一度も観測されません。

この不一致は、複数の候補軌跡を生成し、最良のものを選択する「提案選択型プランナー」にとって特に制限的です。その性能は、高品質な代替案を網羅する生成器の能力（カバレッジ）と、それらを正しくランク付けするスコアラーの能力（ランク付けの質）という、2 つの相互に関連する要因によって制約されます。単一軌跡の監督は、実現された 1 つの行動の周りで候補セットを収束させがちであり、運転の多モーダルな性質（例：速度維持対ブレーキ対車線変更）を捉え損ないます。

手法：CLOVER フレームワーク

CLOVER（Closed-LOop Value Estimation and Ranking）は、提案生成と軌跡ランク付けの間のループを閉じるように設計されたフレームワークです。軽量な生成器–スコアラーアーキテクチャを採用し、2 つの明確な訓練ステージで動作します。

アーキテクチャ

• 生成器: 多視点カメラ画像と自己状態に基づき、$K$ 個の候補となる将来の自己軌跡（$\tau_i$）を生成します。
• スコアラー: 各候補に対して、計画指標のサブスコア（衝突、走行可能領域、進行、快適性など）を予測する軌跡レベルのモジュールです。
• 推論: 候補は、合成された予測スコア（公式の PDMS ルール $\Gamma_{PDMS}$ を使用）によってランク付けされ、最上位の軌跡が選択されます。ルールベースの評価器は、展開時には必要ありません。

ステージ 1: 評価器でフィルタリングされた提案カバレッジ

単一軌跡の模倣における多様性の欠如に対処するため、CLOVER は訓練中の各シーンに対して疑似専門家セット $\mathcal{E}(o)$ を構築します。

• 生成: 記録された軌跡を摂動させる代わりに、候補は、訓練時のみ利用可能な特権的なメトリックキャッシュ情報（ルート中心線、将来の障害物占有）を用いて、解釈可能な行動ファミリー（例：横方向オフセットの変化、加速度プロファイル、停止・発進行動、境界ケース）から生成されます。
• フィルタリング: 候補は、走行可能領域と占有に対して事前フィルタリングされ、真のルールベース評価器によってスコアリングされ、多様なサブスコアパターンとスコア範囲を確保するカバレッジ意識型戦略を通じて選択されます。
• 訓練目的: 生成器は、記録された軌跡を事前分布として保持しつつ、これらの疑似専門家をカバレッジするように訓練されます。スコアラーは、真の評価器サブスコアを予測するように事前訓練されます。
  • 損失関数: $L_{stage1} = \lambda_{gt} L_{gt} + \lambda_{pe} L_{pe} + \lambda_{score} L_{score}$。ここで、$L_{pe}$ は疑似専門家セットのカバレッジを促進します。

ステージ 2: 保守的クローズドループ自己蒸留

このステージは、不完全な学習済み報酬を直接最大化することの不安定性を回避するため、保守的な交互手順を用いて拡張された提案分布を洗練させます。

1. スコアラーフェーズ: スコアラーは、現在生成された提案セットにおける真の評価器サブスコアに適合させられます。
2. 生成器フェーズ: 固定された「教師」（現在の生成器）が提案を生成します。スコアラーがそれらを評価して、2 つのターゲットセットを選択します：
   • Top-k セット: 合成された予測スコアによって選択されます。
   • ベクトル・パレートセット: サブスコア空間における非支配提案で構成され（安全性・進行・快適性のトレードオフを保持）、選択されます。
   • 学生生成器は、教師の分布からの逸脱を抑制する安定性正則化項を用いて、これらのターゲットをカバレッジするように訓練されます。
   • 損失関数: $L_{gen} = \lambda_{traj} L_{gt} + \lambda_{topk} L_{set} + \lambda_{pareto} L_{set} + \lambda_{stab} L_{stab}$。

理論的正当性

本論文は、不完全なスコアラーがいつ生成器を確実に改善できるかを分析します。これは、選択セットの充実条件を提唱します：スコアラーによって選択されたターゲット（Top-k またはパレート）が、現在の提案分布と比較して、真の高品質軌跡で統計的に充実している場合、保守的なセットレベルの蒸留は、高スコア軌跡に対する確率質量を増加させます。著者らは、スコアラーによって選択されたターゲットが、平均的な提案プールよりも有意に高い真のスコアを持つため、CLOVER がこの条件を実証的に満たすことを示しています。

主な貢献

1. CLOVER フレームワーク: 提案生成と軌跡スコアリングを結合し、訓練と評価の不一致に対処する、クローズドループの値推定およびランク付けフレームワーク。
2. 評価器でフィルタリングされた疑似専門家監督: 単一軌跡の模倣をセットレベルの多モーダル訓練に拡張する手法。訓練時の特権情報を用いて、多様で高品質な候補セットを構築します。
3. 保守的クローズドループ自己蒸留: スコアラーを真のサブスコアに適合させ、安定性正則化を伴う教師選択型 Top-k およびベクトル・パレートターゲットを用いて生成器を洗練させる交互訓練戦略。無制限の報酬最大化の落とし穴を回避します。
4. 理論的および実証的分析: 選択されたターゲットが真の評価器下で統計的に充実している場合、不完全なスコアラーが効果的に洗練を導くことができることを示す実証。スコアラー選択セットにおける有意な充実ギャップを実証データで検証しています。

実験結果

CLOVER は、NAVSIM v1、NAVSIM v2（EPDMS）、NavHard、および nuScenes オープンループベンチマークで評価されました。

• NAVSIM v1: 94.5 PDMS を達成し、強力なベースラインである DrivoR（93.7）を上回り、すべてのサブスコアで 1 位または 2 位にランクインしました。
• NAVSIM v2 (navtest): 90.4 EPDMS（更新された公式実装）および 87.2 EPDMS（元のコード）を達成し、報告されている最強の結果と同等かそれ以上でした。
• NavHard: 困難な navhard-two-stage スプリットにおいて、48.3 EPDMS を達成し、報告されている最強の結果と一致しました。
• nuScenes Open-Loop: 比較対象の手法の中で、最低の L2 変位誤差（ST-P3 プロトコル下で 0.31m）および最良/同率最良の衝突率（0.10%）を達成しました。
• アブレーションおよび分析:
  • ステージ 1 は提案空間を大幅に拡張しました（Oracle@64 が 0.9933 から 0.9976 に増加）が、低スコアの尾部を導入しました。
  • ステージ 2 はこの分布を洗練させ、選択された PDMS を 0.9448 に向上させつつ、高い多様性を保持しました（ペアワイズ ADE が 5.20 対ベースライン 1.80）。
  • この改善は、単に最良の top-1 軌跡を選択することではなく、より強力な候補分布の強化に起因していました。

意義と主張

本論文は、CLOVER が主要な自動運転プランニングベンチマークにおいて新たな最先端性能を確立したと主張しています。その意義は以下の点にあります：

• 不一致の解消: 単一軌跡の模倣に依存するのではなく、評価器から提供されるフィードバックを明示的に用いて、軌跡レベルの値推定器を訓練し、候補分布を洗練させること。
• 信頼性の高い洗練: 選択されたターゲットが真の評価器下で統計的に充実しており、更新が保守的である限り、不完全な学習済みスコアラーが提案洗練のための有用な仲介役となり得ることを示すこと。
• 提案中心の改善: 最終的な計画指標の改善が、最終選択だけでなく、候補セット全体の質と多様性の両方を強化することから生じることを示すこと。

著者らは、CLOVER はアクター・クリティック強化学習に似ているが、オンライン環境との相互作用や試行錯誤的な探索なしに、記録されたシーンとルールベースの評価器上で完全にオフラインで動作するため、区別されると指摘しています。今後の研究として、Extended Comfort (EC) などの指標に対する時間的一貫性をよりよくモデル化するため、履歴認識型またはシーケンスレベルのスコアラーを統合することが提案されています。