Devil is in Narrow Policy: Unleashing Exploration in Driving VLA Models

この論文は、自律走行 VLA モデルにおける探索の欠如という課題を解決するため、実行可能軌道の拡張と多様性を意識したサンプリング・報酬設計を組み合わせたフレームワーク「Curious-VLA」を提案し、Navsim ベンチマークで最先端の性能を達成したことを報告しています。

要約

自動運転の「狭い思考」を解き放つ：Curious-VLA の仕組み

この論文は、自動運転 AI が「なぜ失敗するのか」という根本的な問題を見つけ、それを解決する新しい方法（Curious-VLA）を提案しています。

専門用語を排し、日常の例えを使って分かりやすく解説します。

---

🚗 問題：AI は「正解」だけを覚えて、好奇心を失った

現在の自動運転 AI は、人間が運転した「正解のデータ（正解ルート）」を大量に勉強して、その真似をするように作られています。これを**模倣学習（IL）**と呼びます。

しかし、ここに大きな落とし穴がありました。

🧠 アナロジー：「優等生」の罠

想像してください。ある生徒が、テストで「100 点を取るための唯一の正解ルート」だけを徹底的に暗記したとします。

• 得意なこと： 普段通りの道なら、完璧に走れます。
• 苦手なこと： 急に道が塞がったり、新しい交差点に出たりすると、「正解ルート」がないからどうすればいいか分からず、パニックになって止まってしまう、あるいは**「これしかない！」と無理やり同じ動きをして事故を起こす**ことがあります。

論文では、これを**「狭い政策（Narrow Policy）」と呼んでいます。
AI が「正解」に固執しすぎて、「他にもいい方法があるかも？」と試す好奇心（探索）を失ってしまっている**状態です。

さらに、その後に「自分で考えて上達させる（強化学習）」段階に入っても、AI の頭の中が「正解ルート」しかないので、「試行錯誤する余地」が全くなく、成長が止まってしまうという問題が起きていました。

---

💡 解決策：Curious-VLA（好奇心旺盛な AI）

著者たちは、この「狭い思考」を打破するために、Curious-VLAという新しい AI 学習システムを開発しました。
これは、AI に「正解」だけでなく、「あり得るあらゆる可能性」を体験させることで、「好奇心」を蘇らせる仕組みです。

ステップ 1：模倣学習の段階で「正解」だけじゃない道を作る

（Feasible Trajectory Expansion：実行可能な経路の拡張）

• 今までのやり方： 「正解のルート」だけをコピーして覚える。

• Curious-VLA のやり方：
  「正解」はあくまで**「人間が選んだ 1 つの選択肢」**に過ぎないと考えます。
  AI には、「この状況なら、左に少し寄るのもアリ」「右に少し寄るのもアリ」「少し急ぐのもアリ」といった、**物理的に安全な「複数の正解候補」**を大量に作らせて学習させます。

  例え話：
  料理のレシピを覚える時、

  • 旧方式：「A さんのレシピ」だけを完璧に覚える。
  • 新方式：「A さんのレシピ」だけでなく、「B さんのアレンジ版」「C さんのアレンジ版」も全部試させて、「味付けの幅」を広く覚える。
    これにより、AI は「正解」に固執せず、状況に応じて柔軟に動けるようになります。

ステップ 2：強化学習の段階で「面白い失敗」を褒める

（Adaptive Diversity-Aware Sampling & Spanning Driving Reward）

AI が自分で試行錯誤する段階（強化学習）では、以下の 2 つの工夫をしています。

1. 「同じような答え」ばかり出す AI は退場させる
   もし AI が「左に行こう」「左に行こう」と同じことしか言わないなら、それは「好奇心」がない証拠です。そんなデータは学習から除外し、「あえて違う道を選ぼうとした」データに集中して学習させます。

   例え話：
   将棋の練習で、「いつも同じ手しか指さない」生徒には「もっと違う手も考えてごらん」と言います。「新しい手」を試した生徒こそが、次の一手を学びます。

2. 「少しの差」でも大きく評価する
   従来の評価基準では、「完璧な運転」と「少しだけ運転が上手な運転」の差が小さすぎて、AI が「どっちも同じ」と感じてしまいました。
   Curious-VLA は、「少しだけ上手な運転」でも、大きく評価ポイント（報酬）を上げるように計算式を変えました。

   例え話：
   走っている時に、「1 秒だけ速く着いた」だけでも、「すごい！もっと頑張れ！」と大げさに褒める。そうすると、AI は「もっと速く走る方法」を必死に探そうとするようになります。

---

🏆 結果：驚異的な成果

この方法で学習させた Curious-VLA は、世界最高峰の自動運転テスト（Navsim）で**最高記録（SOTA）**を達成しました。

• 多様性： 状況に応じて、複数の「あり得るルート」を提案できるようになりました。
• 品質： その中から、最も安全で快適なルートを選ぶ能力も向上しました。
• ベスト・オブ・N： 一度に複数の選択肢をシミュレーションして、その中から最高なものを選ぶと、**人間のドライバーに匹敵するレベル（94.8 点）**に達しました。

---

🌟 まとめ

この論文の核心は、**「AI に『正解』だけを押し付けるのではなく、『可能性』を広く体験させること」**です。

• 問題点： 正解に固執しすぎて、新しい状況に対応できない「狭い思考」の AI。
• 解決策： 正解以外の「安全な選択肢」も教え、試行錯誤を促す「好奇心」を育む学習法。

まるで、「正解を丸暗記する優等生」から、「状況に応じて柔軟に考え、新しい道を見つけ出す探検家」へと AI を進化させたようなものです。これにより、複雑な現実世界の道路でも、安全かつ柔軟に運転できる AI が実現しました。

技術概要

論文「Devil is in Narrow Policy: Unleashing Exploration in Driving VLA Models」の技術的サマリー

本論文は、自律運転における Vision-Language-Action (VLA) モデルの性能を制限する根本的な課題「狭い方策（Narrow Policy）」を特定し、これを解決するための新しい学習フレームワーク「Curious-VLA」を提案する研究です。

以下に、問題定義、手法、主要な貢献、結果、そして意義について詳細をまとめます。

1. 問題定義：「狭い方策（Narrow Policy）」の限界

現在の自律運転 VLA モデルは、通常「模倣学習（IL: Imitation Learning）」の後に「強化学習（RL: Reinforcement Learning）」を行う 2 段階のトレーニングパイプラインを採用しています。しかし、著者らはこのプロセスに以下の根本的な欠陥があることを発見しました。

• 探索と利用のバランスの崩壊: 模倣学習（SFT）段階において、モデルは教師データ（Ground Truth）の軌道に過度に依存（利用）し、探索が縮小します。その結果、RL 段階に入る際の初期方策の分散（エントロピー）が極端に低くなります。
• 強化学習の早期飽和: 探索が不足しているため、RL 段階（特に GRPO などのクリティックフリー手法）で生成されるサンプルの多様性が乏しくなります。これにより、報酬の分散が小さくなり、利得（Advantage）がゼロに近づいて勾配が消失します。その結果、モデルは学習が早期に飽和し、高性能な方策へ更新されなくなります。
• 行動の多様性の欠如: 既存のモデル（Qwen2.5-VL や ReCogDrive など）は、複数の可行的な経路が存在する状況でも、単一のモードに収束するか、安全でない行動をとる傾向があり、多様な探索ができていません。

2. 提案手法：Curious-VLA

この「狭い方策」の問題を解決し、VLA モデルの探索能力を解放するために、Curious-VLA という 2 段階のフレームワークを提案しています。

第 1 段階：模倣学習（IL）における改善

模倣学習段階で、多様な軌道データを生成・学習させるための 3 つの戦略を導入します。

1. 実行可能軌道の拡張（Feasible Trajectory Expansion, FTE）:
   • 教師データ（Ground Truth）を「人間の行動の一つの例」に過ぎないと捉え、拡散モデル（ReCogDrive）を用いて、物理的に妥当かつ多様な複数の軌道（実行可能軌道）を合成します。
   • これにより、トレーニングデータの多様性を大幅に向上させます（14.2 万サンプル）。
2. Chain-of-Thought (CoT) データ合成:
   • 推論プロセスを「重要物体の知覚」「運転説明」「メタ行動の説明」「軌道予測」の 4 段階に構造化し、大規模言語モデル（Qwen2.5-VL-72B）を用いて自動生成します。これにより、モデルの推論能力を強化します。
3. ステップごとの正規化（Step-wise Normalization, SN）:
   • 軌道の遠近による物理スケールの不均衡（遠方のウェイポイントは誤差が大きくなりやすい）を解消するため、各時間ステップごとに軌道を独立して正規化します。これにより、多様な軌道パターンの識別性を高め、勾配のバランスを改善します。

第 2 段階：強化学習（RL）における改善

強化学習段階で、探索を維持し、効率的な学習を促すための 2 つのメカニズムを導入します。

1. 適応的多様性認識サンプリング（Adaptive Diversity-Aware Sampling, ADAS）:
   • 学習対象のシナリオを動的に選択します。複数の推論パスで予測軌道が類似している（多様性が低い）シナリオを除外し、報酬の分散が大きい（多様な結果が得られる）シナリオを優先的にサンプリングします。これにより、RL における利得の崩壊を防ぎます。
2. スパンニング・ドライビング・リワード（Spanning Driving Reward, SDR）:
   • 従来の報酬関数を焦点損失（Focal Loss）風の関数で再設計します。これにより、最適行動と非最適行動の間の報酬の差（スパン）を拡大し、運転の質に対する報酬の感度を高めます。

3. 主要な貢献

1. 「狭い方策」問題の特定と定量的検証: 自律運転 VLA における IL-RL パイプラインのボトルネックとして「Narrow Policy」を初めて明確に定義し、「行動診断（Behavioral Diagnostics）」という 3 つの指標（多様性、品質、性能）を用いて定量的に実証しました。
2. Curious-VLA フレームワークの提案: データ合成、サンプリング、報酬設計の全段階を網羅的に改善し、VLA モデルの探索能力を体系的に解放する新しい学習フレームワークを提案しました。
3. SOTA 性能の達成: Navsim ベンチマークにおいて、既存の手法を凌駕する性能を達成しました。

4. 実験結果

Navsim ベンチマーク（v1/v2）:

• Navsim v1: 単一カメラ入力条件下で、PDMS（Performance Driving Metric Score）90.3 を達成し、SOTA となりました。Best-of-N（N=6）サンプリングでは 94.8 を記録し、人間の正解（Human GT）レベルに達しました。
• Navsim v2: 拡張指標 EPDMS で 85.3 を達成し、これも SOTA となりました。
• 多様性の向上: 既存モデル（Qwen2.5-VL, ReCogDrive）が極端に低い軌道多様性（mean-pFDE: 0.20m〜0.33m）を示すのに対し、Curious-VLA は 1.415 という高い多様性を維持しつつ、最低誤差（min-FDE: 0.547）も改善しました。

nuScenes ベンチマーク:

• 実世界データでの一般化能力も検証され、L2 誤差と衝突率において既存の VLA モデルや E2E モデルを上回る結果を示しました。

アブレーション研究:

• FTE 内の「Step-wise Normalization」が多様な軌道から学習する上で決定的に重要であることを示しました。
• RL 段階での「ADAS」サンプリング戦略が、学習の崩壊を防ぎ、安定した性能向上に寄与することを証明しました。

5. 意義と結論

本論文は、自律運転システムにおける「探索と利用（Exploit-Explore）」のジレンマが、単なるアルゴリズムの問題ではなく、トレーニングパイプライン全体の設計（特に初期方策の多様性）に起因することを明らかにしました。

Curious-VLA は、追加のモジュールや複雑なアーキテクチャ変更なしに、データ合成、サンプリング戦略、報酬設計の最適化を通じて、VLA モデルが複雑な運転状況において多様かつ安全な意思決定を行えるようにしました。これは、オープンワールド環境におけるより信頼性の高い自律運転システムの開発に向けた重要な一歩であり、VLA モデルのポテンシャルを最大限に引き出すための新たな指針を提供しています。