技術要約：自動運転用VLMにおける検証可能な推論のための将来軌跡の遅延露出

問題提起

自動運転（AD）向けの最新のVision-Language-Action（VLA）モデルは、Vision-Language Model（VLM）コンポーネントの推論能力を高めるために、Chain-of-Thought（CoT）による監督にますます依存しています。しかし、既存のアノテーション・パイプラインでは、通常、教師モデルが推論を生成する前に、ログに記録されたグランドトゥース（GT）の将来軌跡にモデルをさらしてしまいます。

著者らは、**軌跡アンカリング・バイアス（trajectory anchoring bias）**と名付けられた現象を特定し、実証的に検証しました。GT軌跡が明らかになると、教師モデルはシーンの証拠から意思決定を推論するのではなく、既知の結果を合理化する傾向があります。これにより、以下の問題が生じます：

1. 因果的忠実性の低下（Reduced Causal Faithfulness）： 生成されたCoTは幾何学的にはGTと一致していますが、そのアクションを支持するシーンの証拠を忠実に特定することに失敗します。
2. ハルシネーションの増加（Increased Hallucinations）： モデルは、既知の軌跡を正当化するために、因果関係が困難なシーンにおいて、因果的な手がかり（例：交通標識の捏造）を捏造する傾向が著しく高まります。
3. 監督のミスマッチ（Supervision Mismatch）： GT軌跡が、意思決定のターゲットではなく、推論のショートカット（事前決定のアンカー）として機能し、モデルが既知の結果に対して逆推論による説明を行うことを学習させてしまいます。

GT軌跡を隠すことでこのショートカットは排除できますが、新たな課題が生じます。オープンエンドな軌跡生成は、高レベルの意思決定と精密な幾何学的合成および低レベルのダイナミクスを絡み合わせるため、VLMにとってタスクが困難になり、検証も難しくなります。

手法

これらの課題に対処するため、著者らは新しいベンチマーク定式化と学習戦略である AD-MCQ および DEFT-RLVR からなるフレームワークを提案しています。

1. AD-MCQ: 自動運転マルチプルチョイス問題（Autonomous-Driving Multiple-Choice Question）

オープンエンドな座標生成の代わりに、著者らはADプランニングを、明示的な軌跡候補の中から選択するタスクとして構成しました。

• 離散的軌跡プロトタイプ（Discrete Trajectory Prototypes）： ログされた将来軌跡のコーパスに対してK-meansクラスタリングを行うことで、$K=8192$ のコードブックを構築します。これにより、連続的な軌跡を有限の運動語彙へと量子化します。
• 候補の構築（Candidate Construction）： 各シーンについて、GT軌跡を最も近いプロトタイプ（オラクル）にマッピングします。ディストラクター（紛らわしい選択肢）は、スケールが一致した代替案や等速直線運動の補外を含む、幾何学的に類似しているが異なるプロトタイプを抽出することで構築されます。
• 検証可能性（Verifiability）： タスクは、シャッフルされた $M$ 個の候補の中から正しいオプションのインデックスを選択することになります。これにより、オープンエンドな幾何学的合成を必要とせずに、正確に検証可能な決定ターゲットを提供します。

2. DEFT-RLVR: 検証可能な報酬を用いた将来軌跡の遅延露出（Deferred Exposure of Future Trajectories for RLVR）

AD-MCQに基づき、著者らは学習中のアンカリング・バイアスを軽減するために DEFT-RLVR（Reinforcement Learning with Verifiable Rewardss: 検証可能な報酬を用いた強化学習のための遅延露出）を提案しています。

• 2段階のインタラクション：
  • ターン1（因果的決定推論）： ポリシーモデルはシーンのコンテキスト（視覚的履歴、エゴ状態、ナビゲーション指示）のみを受け取り、候補となる軌跡を見ることなく、高レベルの決定と推論トレースを生成しなければなりません。
  • ターン2（明示的軌跡へのグラウンディング）： モデルがシーン由来の決定を確定させた後にのみ、候補となる軌跡が公開されます。モデルは、自身の確定した決定に最も一致する候補を選択します。
• 遅延露出（Deferred Exposure）： この設計により、候補の幾何学形状が決定の「形成」ではなく、決定の「グラウンディング（接地）」を形作るように保証され、モデルが見える回答に基づいて推論を行うショートカットを防ぎます。
• 構造化されたルーブリック報酬（Structured Rubric Rewards）： モデルがランダムな推測やショートカットの利用によってMCQ形式を悪用することを防ぐため、プロセス監督を導入しています。
  • 正解のMCQ回答が得られたロールアウトに対して、ターン1の推論トレースは、インスタンス固有のルーブリック（評価基準）に基づいて評価されます。
  • ルーブリックは、シーンの証拠に基づいて大規模VLMによりオフラインで生成されます。
  • オンラインのテキストのみのジャッジが、視覚入力や候補オプションにアクセスすることなく、ルーブリックの基準（例：グラウンディング、ハルシネーションの不在、因果的一貫性）に対して推論トレースを評価します。
  • 最終的な報酬は、正確な選択報酬とルーブリック報酬の積となります（$R = R_{MCQ} \times R_{RUB}$）。

主な貢献

1. 軌跡アンカリング・バイアスの特定： 本論文は、CoTアノテーション中にGT軌跡を露出させることが、事後的な合理化と深刻なハルシネーションを誘発し、AD推論における因果的忠実性を低下させるという経験的な証拠を提示しています。
2. AD-MCQベンチマーク： 軌跡レベルの粒度（制動時間、速度プロファイル、横方向の幾何学）を維持しながら、オープンエンドな生成を正確な選択に置き換えることで、検証可能な候補軌跡ベンチマークを提供し、スケーラブルで制御可能な難易度を実現します。
3. DEFT-RLVRフレームワーク： 候補の露出をポリシーが決定を下すまで遅らせる学習パラダイムを提供します。これはルーブリックに基づくプロセス監督と組み合わされることで、ベースとなるVLMの一般的な視覚能力を維持しつつ、AD推論を向上させます。

実験結果

著者らは、ベースモデルとして Qwen3-VL-8B-Instruct および Qwen3.5-4B を使用し、Qwen3.5-397B-A17B を教師/ジャッジとして評価を行いました。

• AD推論パフォーマンス：

  • DEFT-RLVR は、学習なしのベースラインおよびアブレーションを大幅に上回りました。Qwen3-VL-8Bモデルにおいて、ベースモデルの精度が28.1%であったのに対し、DEFT-RLVRはAD-MCQ-500テストセットで 77.9% の精度を達成しました。
  • また、因果的忠実性スコア（CFS）を0.431（学習なしのDEFT）から 0.658 へ、高レベル決定（HLD）の一貫性を0.425から 0.501 へ向上させました。
  • JEFT（同時露出）のアブレーションと比較して、DEFT-RLVRは一貫した利点を示し（例：Qwen3-VL-8Bで+15.3%の精度向上）、遅延露出がショートカット駆動の最適化を抑制することを裏付けました。

• 一般的な視覚能力：

  • 一般的な視覚能力を低下させる教師モデルによる蒸留（SFT）とは異なり、DEFT-RLVRは一般的な能力を維持、あるいは向上させました。
  • Qwen3-VL-8Bにおいて、平均的な一般視覚能力スコアは 54.81% から 56.09% へと上昇しました。著者らは、これをRLベースのポリシー勾配の微細な性質と、タスクに求められる共有された視覚的・空間的推論によるものとしています。

• 汎化性能：

  • 本手法は nuScenes ドメインにおいて強力な分布外（OOD）転移を示し、DEFT-RLVRによって精度を39.6%（学習なし）から 49.5% へ向上させました。
  • この利点は、異なる候補セットの構築やディストラクターの幾何学においても堅牢でした。

• 効率性：

  • DEFT-RLVRにおけるインスタンス固有のルーブリック生成は、正解のみを用いた学習と比較して、学習時間のオーバーヘッドをわずか 0.5% に抑えました。また、オンラインの画像条件付きルーブリック判定バリアントよりも 41.1% 高速でした。

重要性と主張

本論文は、DEFT-RLVR が以下の理由により、検証可能なAD推論のためのスケーラブルで柔軟な基盤を提供すると主張しています：

1. 決定と検証の分離： 将来の軌跡を「決定前のアンカー」から「決定後の検証ターゲット」へと変えることで、モデルにまずシーンの証拠から推論することを強制します。
2. 二重のボトルネックの回避： 軌跡の直接的なトークン生成ではなく候補選択を用いることで、軌跡の量子化誤差と、直接生成タスクでよく見られる一般的な視覚能力の低下というボトルネックを回避します。
3. 検証可能なRLの実現： オープンエンドな幾何学的合成を必要とせずに、自動運転のような複雑で連続的な制御タスクに対して、検証可能な報酬（RLVR）を用いた強化学習を適用するメカニズムを提供します。

著者らは、本アプローチが、CoT監督がしばしばバイアスのある（結果が既知の）データに依存してしまうという現在のVLA学習パイプラインにおける重要なギャップに対処し、一般的な視覚能力を維持しながら、汎用的なAD推論を向上させると結論付けています。