テクニカルサマリー：特権的な情報とカメラ情報の間のギャップ（Privileged-to-Camera Gap）に留意せよ

問題提起

カメラ主体の自動運転モデルは、RGB画像、自車状態の特徴量、およびルートコマンドのみを用いて、将来の自車ウェイポイントを予測する。エンドツーエンドのシステムは、これらの入力を直接制御へとマッピングすることでスケーラビリティを実現しているが、著者らは、標準的なウェイポイント監督（supervision）だけでは、近傍の道路利用者（アクター）の表現が弱く監督されたままになることが多いと主張している。複雑な都市部において、自車の軌跡は、特定の車両、歩行者、またはサイクリストといった少数の要素に依存することが頻繁にある。純粋なウェイポイント目的関数は最終的な経路を制約するものの、中間的な画像特徴量が、「どの」アクターが存在し、「どの」アクターが関連しており、「どのように」動いているかを明示的にエンコードすることを強制するには不十分な場合がある。

本研究が取り組む核心的な問題は、推論時に特権的なアクター状態の情報（例：シミュレータ内の正確な座標）を必要とせずに、訓練のみによるアクターレベルの監督によって、RGBのみのオープンループ・ウェイポイント予測を改善できるかどうかである。著者らは、カメラ入力のみに依存するモデルと、正確な道路利用者状態を使用するモデルとの性能差である「特権的情報とカメラ情報の間のギャップ（privileged-to-camera gap）」を定量化することを目指している。

手法

フレームワークの概要

提案手法は、カメラ主体のウェイポイント予測を、監督されたアクター中心の表現学習問題として扱う。本システムは、Road-User Sidecar (RU-sidecar) 監督を導入している。これは、カメラベースのモデルの訓練を導くために、シミュレータの状態からオフラインで生成された補助ラベルである。これらのラベルは、推論時には決して使用されない。

フレームワークは、主に以下の3つのコンポーネントで構成される：

1. 展開可能なカメラパス (Deployable Camera Path): マルチビューRGB、自車状態、およびルートコマンドを入力として受け取る学生モデル。このモデルは、アクター中心の中間表現（アクター・トークン）を予測し、その関連性をランク付けし、選択されたアクターの短期間の未来を予測し、これらを用いて将来の自車ウェイポイントを予測する。
2. オフライン・ラベル生成器 (Offline Label Generator): シミュレータの状態を処理して、訓練用のサイドカー・ラベル（$S_t$）を生成するモジュール。これらには以下が含まれる：
   • アクターの幾何学属性および属性 ($B_t$): クラス、位置、方位、速度、および有効性マスク。
   • 画像に接地されたラベル ($G_t$): カメラビュー内に投影されたアクターの位置。
   • ターゲット条件付きの関連性 ($C_t$): 距離、相対速度、衝突までの時間、ルート・レーンへの関連性、脆弱な道路利用者（VRU）ステータス、および**事後的（hindsight）**な将来の自車パスとの重複に基づき、アクターをランク付けする関連性スコア（$c_i$）。
   • 選択されたアクターの未来 ($F_t$): 上位$K$個の関連するアクターに対する短期間の運動ターゲット。
3. 非展開型シミュレータ・パス (Non-Deployable Simulator Path): 正確なシミュレータのアクター状態（$A_t$）を入力として使用する診断用リファレンスモデル。これは、残存する性能ギャップを推定するためのオーラクル（神託）として、またオプションとして、蒸留のための教師として機能する。

モデル・アーキテクチャ

展開可能なモデルは、RGB履歴を処理するために共有ビジュアルエンコーダ（ConvNeXt-Tiny）を使用する。このモデルは、以下の学生インターフェースを備えている：

• アクター・トークン・ヘッド (Actor-Token Head): 固定されたカメラ由来のアクター・スロットとその属性を予測する。
• セレクター (Selector): アクター・スロットを自車への関連性に基づいてランク付けする。
• ダイナミクス・ヘッド (Dynamics Head): 上位$K$個に選択されたアクターの短期間の未来を予測する。
• ウェイポイント・プランナー (Waypoint Planner): 選択されたアクター・フューチャー・トークンに注意（アテンション）を向け、自車の軌跡を予測する。

訓練中、予測されたスロットは、決定論的な貪欲法による中心点近傍マッチングを通じて、サイドカー・アクターと照合される。損失関数には以下が含まれる：

• 主要損失: ウェイポイント模倣損失（$L_{wp}$）。
• サイドカー損失: オブジェクト性／幾何学（$L_{obj}$）、属性（$L_{attr}$）、関連性ランキング（$L_{sel}$）、および選択されたアクターのダイナミクス（$L_{dyn}$）。
• オプションの蒸留: シミュレータ状態モデルを用いた教師との整合性（$L_{dist}$）。

実験プロトコル

実験では、LMDriveから取得した固定のシミュレータ・スナップショットを用い、ルート分離分割（route-disjoint splits）（一つのルートが複数の分割に現れない形式）を採用している。評価は厳密にオープンループで行われ、保持されたルートに対する最終変位誤差（F辺FDE）および平均変位誤差（ADE）を測定する。本研究では以下を比較する：

• プレーンなウェイポイントのみのRGBベースライン。
• 一致させた「教師なし」の非サイドカー・コントロール（同一のアーキテクチャだが、サイドカー損失はなし）。
• RU-sidecarモデル（教師との整合性あり、およびなし）。
• 非展開型の診断モデル（オーラクル・サイドカー選択、およびシミュレータ状態ダイナミクス）。

主な結果

定量的パフォーマンス

テスト分割において、教師との整合性を行わないRU-sidecarモデルは、1.223 ± 0.01 mの最終変位誤差（FDE）を達成した。

• これは、プレーンなウェイポイントのみのRGBベースライン（1.815 m）と比較して、32.6%の減少である。
• 一致させた「教師なし」の非サイドカー・コントロール（1.716 m）と比較して、28.7%の減少である。
• このモデルは、1445/1494の保持されたルートにおいてベースラインを上回り、1417/1494のルートにおいて一致させたコントロールを上回った。

教師との整合性 (Teacher Alignment): シミュレータ状態の教師を加えることで、FDEはさらに1.186 mへと減少したが、シード値による変動性が高まった。著者らは、これを堅牢な「教師なし」の結果に次ぐ二次的なものとして扱っている。

診断 (Diagnostics):

• オーラクル・サイドカー選択アクター診断（正確なアクター選択を使用するが、特徴量はカメラ由来）は、1.146 mのFDEを達成した。
• シミュレータ状態アクター・ダイナミクス診断（正確なアクター状態を使用する）は、0.174 mのFDEを達成した。
• RU-sidecarモデル（1.223 m）とシミュレータ状態診断（0.174 m）の間の大きな差は、依然として重大な「特権的情報とカメラ情報の間のギャップ」が存在することを裏付けている。

スライス分析

改善は、すべてのアクター条件付きスライスにおいて一貫して見られた：

• アクター密集シーン: 有効なサイドカー・アクターが4つ以上のサンプルにおいて、FDEが29.1%減少。
• 脆弱な道路利用者 (VRU): 歩行者またはサイクリストが存在する場合、FDEが30.0%減少。
• ホライゾン別: すべての6つの予測ホライゾンにおいて誤差の減少が観察された。

アブレーション研究の結果

• アクターの未来に関する監督（$L_{dyn}$）またはセレクターの監督（$L_{sel}$）を取り除くと、パフォーマンスがベースライン付近まで退化した。これは、両方のコンポーネントが利得を得るために不可欠であることを示している。
• 単純なウェイポイント損失の重み付け変更や、シャッフルされた教師を用いたコントロールでは、有意な改善は見られなかった。これは、得られた利得がアーキテクチャの変更や損失の重み付け変更ではなく、アクター中心の監督構造に特有のものであることを示唆している。

意義と主張

本論文は、シミュレータ由来の、訓練時のみ使用されるサイドカー監督が、カメラ主体のモデルにおけるオープンループ・ウェイポイント予測を大幅に改善することを実証していると主張している。問題をアクター中心の表現学習として定式化することで、モデルはRGB入力のみから道路利用者の構造（存在、関連性、および運動）を学習し、それが結果として軌跡計画を支援する。

主な貢献は以下の通りである：

1. 定式化: カメラ主体のウェイポイント予測を、監督されたアクター中心の表現学習問題として扱うこと。
2. 手法: RGBのみの推論を損なうことなく、アクターの接地、関連性、および運動のためのRU-sidecarラベルを導入すること。
3. 評価: ルート分離分割を用い、アクター監督の効果をアーキテクチャの変更や損失の重み付け変更から分離した、制御された「コントロール・ラダー（制御の梯子）」を提供すること。
4. ギャップの定量化: カメラ由来の表現と特権的なアクター状態との間に残るギャップを、経験的な証拠とともに提示すること。

限界と謙虚な姿勢:
著者らは、自らの主張がオープンループ・シミュレーションの診断に限定されていることを明示している。本研究は、クローズドループの安全性、衝突回避、実世界への転移、またはデプロイメントの準備性を確立するものではない。さらに、アクター・フューチャー・ヘッドは、絶対的な未来状態の予測（Dyn-FDE）が依然として不十分であることから、デプロイ可能な予測モジュールではなく、「表現形成およびプランナーへの条件付けメカニズム」として特徴付けられている。主要に支持される主張は、「教師なしのRU-sidecarレシピ」の有効性であり、教師との整合性は、不安定性を伴うわずかな利得しか提供しなかった。