技術要約: FlowR2A

問題提起

マルチモーダルな走行計画（プランニング）は、既存の2つのパラダイム間の根本的な緊張関係に直面しています：スコアリングベースの手法とアンカーベースの手法です。

• スコアリングベースの手法は、大規模で固定されたアクション語彙を利用し、シミュレーションに基づく高密度な報酬ラベルを用いて候補を評価するスコアラーを訓練します。これは、アクションと結果の関係に関する豊かな教師信号を提供しますが、これらの手法は本質的に判別的（$p(r|a)$）です。固定された語彙の外側にある新しいプロポーザルを生成することはできず、動的な実世界のシナリオへの適応性に限界があります。
• アンカーベースの手法は、一連のアクションアンカーからプロポーザルを動的にデコードすることを可能にし、シーン適応型の生成を実現します。しかし、これらは通常、スパースな教師あり学習に依存しており、単一のグランドトゥルース（GT）軌道に最も近いプロポーザルのみを教師あり学習する「勝者総取り（winner-takes-all）」型の損失関数を用いることが一般的です。これにより、学習信号を受け取らないアンカーに対しては低品質または退化したプロポーザルが生成され、エゴ（自車）の状態からのショートカット学習や、アクションの結果に対する認識不足といった模倣学習の病理を継承してしまいます。

核心となる課題は、高密度な報酬による教師あり学習と、生成的なプロポーザル・モデリングが、歴史的に相互排他的であったことです。

手法: FlowR2A

著者らは、シミュレーションベースの報酬を判別的なターゲットから生成的な条件へと再定義するフレームワークであるFlowR2Aを提案します。アクションに対して報酬を予測することを学習するのではなく、FlowR2Aはフローマッチング・デコーダを用いて、報酬条件付きのアクション分布 $p(a|r)$ を学習します。

1. コアとなる定式化

• 高密度なアクション・報酬ペア: 本手法は、nuPlanデータからクラスタリングされた8,192個の軌道からなる高密度なアクション語彙（$V_a$）を構築します。すべての訓練シーンにおいて、各軌道をシミュレーションして報酬ラベルを生成することで、アクション空間全体にわたる高密度な $(a, r)$ ペアを作成します。
• 生成モデリング: モデルは、これらの報酬を条件として扱い、$p(a|r)$ という生成分布を学習します。これにより、モデルは単にアクションをランク付けするのではなく、アクションとその結果（安全性、進行度、快適性、ルール遵守）の間の相関関係を内部化することを強制されます。
• フローマッチング: フローベースのアクションデコーダは、報酬条件の下でノイズからクリーンな軌道を復元するように訓練され、速度マッチング損失（velocity-matching loss）を利用します。

2. 報酬の構築とコンディショニング

ハードな安全制約とソフトな進行目標のバランスを取るために、著者らは特定の報酬エンジニアリングを導入しています。

• 細粒度の信号: 単一のスカラー値ではなく、システムは、過失衝突なし（NC）、走行可能領域遵守（DAC）、走行方向遵守（DDC）、信号遵守（TLC）、エゴ進行（EP）、衝突までの時間（TTC）、レーンキープ（LK）、履歴の快適性（HC）を含むサブメトリクスを公開します。
• タイムステップごとのコンディショニング: 安全性（TTC）や遵守（DAC）に関するバイナリラベルは、タイムステップごとの配列（例：投影された衝突時間、オンロード/オンルートのフラグ）に置き換えられます。これにより、ハードな制約に対して高い時間解像度が提供されます。
• 報酬ノイズ拡張: 連続的な報酬（EPおよびPDMスコア）は、訓練中に軽微なガウスノイズで汚染されます。これはラベルスムージングとして機能し、デコーダが正確な報酬値を軌道の識別子として過度に依存することを防ぎ、実行不可能な状態に陥ることなく高報酬領域へと汎化するのを助けます。

3. アーキテクチャ

• 知覚エンコーダ: Transfuserを使用して、マルチビュー画像とBEV LiDAR特徴量をシーンコンテキストとエージェントトークンへとエンコードします。
• 報酬エンコーダ: 異種混合の報酬信号を条件埋め込みへとマッピングします。これは、訓練中に報酬埋め込みをランダムにドロップする（ヌルトークンに置き換える）ことで、Classifier-Free Guidance (CFG) をサポートします。
• フローベース・アクションデコーダ: ノイズを含む入力からクリーンな軌道を予測する、トランスフォーマーベースのデコーダです。報酬条件とタイム埋め込みを注入するために、適応層正規化（AdaLN）を使用します。
• モードセレクター: 予測されたサブスコアに基づいて生成されたプロポーザルをランク付けし、最終的な出力を選択する軽量なトランスフォーマーです。

4. 推論戦略

FlowR2Aは、制御可能なテスト時サンプリングをサポートします。

• 報酬ガイダンス: Classifier-Free Guidance (CFG) を使用して、デコーダを分布内の高報酬領域へと誘導します。
• アンカー・サンプリング: 中間ステップ $t_{init}$ でデノイジングプロセスを開始することにより、任意の参照軌道（例：模倣学習の出力）からのゼロショットサンプリングを可能にします。これにより、報酬条件の下で洗練させつつ、アンカーの粗い構造を保持します。

主な貢献

1. 新しいパラダイム: $p(a|r)$ を学習することにより、スコアリングベースの手法の高密度な教師あり学習と、アンカーベースの手法の生成能力を統合したマルチモーダル・プランニング・フレームワーク。
2. 報酬構築レシピ: 細粒度のタイムステップごとの報酬コンディショニングと報酬ノイズ拡張を用いて、相反する目的のバランスを取る手法。これにより、ハードな安全制約とソフトな進行目標の間の緊張関係を効果的に処理します。
3. 最先端の性能: NAVSIM v1 および v2 ベンチマークにおいてトップの結果を達成し、従来のメソッドよりも大幅に高品質なマルチモーダル・プロポーザルを生成しました。

実験結果

NAVISIM v1 および v2 ベンチマークで評価されました：

• NAVISIM v1: FlowR2Aは 92.8 PDMS を達成し、前述の最高値（Hydra-MDP++）を 1.1 ポイント以上上回りました。安全性（TTC）および進行度（EP）の指標において顕著な差を示しました。
• NAVISIM v2: 88.9 EPDMS を達成し、安全性と進行度のサブメトリックでリードしました。
• プロポーザルの品質: 生成されたすべてのプロポーザルの品質を評価した際、FlowR2Aは iPad や DiffusionDrive といったアンカーベースのベースラインと比較して、有意に高い平均PDMSと低い標準偏差を示しました。これは、FlowR2Aが散漫な候補ではなく、一貫した、分布通りのプロポーザルを生成していることを示しています。
• 効率性: モデルは、デノイジングステップ数と初期ノイズレベルを調整することで、速度と品質のトレードオフをサポートしており、性能低下を最小限に抑えつつ、推論時間をフレームあたり 44ms まで短縮できます。

意義と主張

本論文は、FlowR2Aが、高密度な教師あり学習と生成モデリングの間の長年のトレードオフを解決することを主張しています。報酬を生成的な条件として再定義することで、モデルは、固定された集合から悪い候補をフィルタリングするためのスコアラーに頼るのではなく、サンプリングされたすべてのプロポーザルが実現可能である可能性が高い分布を学習します。

著者らは、プロポーザルの高い品質は、モデルが全アクション空間にわたってアクションとその結果の相関関係を内部化していることに由来すると強調しています。現在の実装は報酬生成にルールベースのシミュレーションに依存していますが、この生成的な定式化は、将来的に学習ベースの報酬モデルや他のスコアリングメカニズムと互換性を持つように設計されています。この研究は、全条件付きアクション分布をモデリングすることが、固定された語彙からの選択や単一のグランドトゥルース軌道への回帰と比較して、マルチモーダル・プランニングにおいて優れたアプローチであることを示唆しています。