🤖 machine learning

DriveJudge: Rethinking Autonomous Driving Evaluation with Vision-Language Models

本論文は、Vision-Language Modelによる推論と物理的に根ざしたルール関数を統合することで、人間と整合したベンチマーク・タスクにおいて、より優れた、解釈可能でコンテキストを考慮した性能を実現する、新しい自動運転評価エージェントであるDriveJudgeを導入するものである。

原著者： Xinglong Sun, Kevin Xie, Jenny Schmalfuss, Despoina Paschalidou, Xiuming Zhang, Sanja Fidler, Kashyap Chitta, Jose M. Alvarez

公開日 2026-06-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xinglong Sun, Kevin Xie, Jenny Schmalfuss, Despoina Paschalidou, Xiuming Zhang, Sanja Fidler, Kashyap Chitta, Jose M. Alvarez

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットに車の運転を教えていると想像してください。あなたは道路のルールを教えました。「車線を維持せよ」「人を跳ねるな」「前進し続けよ」といった具合に。しかし、現実の世界は混沌としています。時には、路面の窪物を避けたり、停車中のトラックを回避したりするために、一時的に車線を越えたり、予期せず減速したりする必要があるのです。

ここで、ロボットを評価する従来の方法は通用しなくなり、新しい手法である「DriveJudge」が登場します。

問題点：「硬直したルールブック」対「混乱した裁判官」

この論文は、これまで人々が自動運転車を採点するために用いてきた2つの主な方法を特定していますが、どちらにも欠陥があります。

硬直したルールブック（旧来の手法）：
チェックリストだけを持っている厳格な教師を想像してください。もし車が白線を踏んだら、その教師は「間違い」と判定します。もし車が3秒間停止したら、「間違い」と判定します。

欠陥： この教師は「文脈（コンテキスト）」を理解していません。もし車が落ちてきた木の枝を避けるために車線を越えたとしても、ルールブックは依然として「間違い！」と判定します。ルールを技術的に破ったという理由だけで、賢明で安全な判断に対して罰を与えてしまうのです。

混乱した裁判官（新しいAI）：
最近では、人々は高度なAI（視覚言語モデル、VLMと呼ばれるもの）を使って、裁判官の役割を担わせるようになりました。これらのAIは、場面を「見て」、状況を理解することができます。「ああ、車は木を避けるために車線を越えたのだな、これは問題ない」といった具合です。

欠陥： これらのAIはストーリーを理解することには長けていますが、正確な距離を測定することには極めて弱いです。実際には衝突寸前であるにもかかわらず、「走行は安全です」と言ってしまうことがあります。なぜなら、彼らは数インチ単位の正確なカウントができないからです。また、説明が曖昧になりがちで、なぜそのスコアを付けたのかという理由を把握するのが困難です。

解決策：DriveJudge（「賢い現場監督」）

著者たちは、DriveJudgeを作成しました。これは建設現場における**「賢い現場監督」**のような役割を果たします。

単に車を見て推測したり、単にリストをチェックしたりするのではなく、DriveJudgeは2段階のステップを踏みます。

「観察と思考」フェーズ： AI（現場監督）は、現場を見て、「ここで実際に何が起きているのか？」と問いかけます。AIは、その文脈を理解するために脳を使います。建設現場なのか？停車中のトラックがいるのか？
「道具の選択」フェーズ： 見ているものに基づいて、どの特定のツールを使うかを決定します。
- シナリオA： 車が高速道路を通常通り走行している場合。現場監督は**「車線維持」ツールと「速度」**ツールを手に取ります。
- シナリオ B： 車が建設用のバリケードを避けて蛇行している場合。現場監督は考えます。「ああ、今は車線維持は重要ではない。安全のために他の車線に入る必要があるのだ」。そこで、彼は「車線維持」のツールを置き、代わりに**「衝突回避」**のツールを手に取ります。

状況に応じてルールをオン・オフすることで、DriveJudgeは両方の良いとこ取りを実現します。つまり、数学的なツールを用いることによる「厳格なルールブック」の精密さと、状況を理解してルールを無視できる「スマートなAI」の理解力を併せ持っているのです。

検証方法

これを証明するために、チームは単なる推測ではなく、大規模な「運転試験」データセットを構築しました。

彼らは33,000件以上のトリッキーな走行クリップ（「ロングテール」と呼ばれる、奇妙なことが起きる走行シーン）を収集しました。
彼らは人間にこれらのクリップをラベル付けさせました。「たとえルールを破っていたとしても、この運転行動は妥当であったか？」という問いに対してです。
そして、DriveJudgeが人間の専門家のように振る舞うよう、このデータを用いて学習させました。

結果

DriveJudgeを従来のメソッドと比較してテストしたところ、以下の結果が得られました。

ルールブックへの勝利： DriveJudgeは、従来のルールブックが不当に罰してしまうような「妥当な」運転を、より正確に見抜くことができました。
混乱したAIへの勝利： DriveJudgeは、単なる「雰囲気」で推測するAIよりも、より安全な経路を選択することができました。
スコア： 簡単に言えば、DriveJudgeはあるテストで21ポイント、別のテストでは6.5%高いスコアを叩き出し、従来の最高水準の手法を上回りました。

まとめ

この論文は、自動運転車を真に安全でスマートにするためには、単なるルールのリストやチャットボットの意見に頼るだけでは不十分であると主張しています。私たちは、「道路のストーリー」を理解し、その上で**「適切な数学」を適用**できるシステムを必要としています。DriveJudgeこそがそのシステムです。厳格であるべき時と、柔軟であるべき時を知っている裁判官なのです。

技術要約: DriveJudge: Vision-Language Modelを用いた自動運転評価の再考

1. 問題提起

自動運転の分野は、エンドツーエンドのポリシー学習へと急速に移行しており、これは定常的なシナリオでは優れた性能を発揮するものの、ロングテールな非定常イベントに対しては苦戦するという課題を抱えています。これらのポリシーを進展させる上での決定的なボトルネックは、信頼性が高く、解釈可能で、かつコンテキスト（文脈）を考慮した評価指標の欠如です。既存の評価パラダイムには、以下のような重大な限界があります：

ルールベースの指標（例：EPDMS）: 解釈可能で物理的な根拠に基づいている一方で、本質的にコンテキストに依存しません。これらは固定されたルールを一律に適用するため、複雑なシナリオにおいて合理的な挙動（例：障害物を回避するために一時的に車線維持の制約を緩めるなど）であっても、過剰にペナルティを与えてしまうことがあります。
Vision-Language Model (VLM) ベースの評価: コンテキストへの適応性は高いものの、曖昧な好みの比較や直接的なスコア予測に依存することがよくあります。これらの手法は、明示的な物理的根拠や空間的な精度に欠けることが多く、微細な安全性評価を行うには信頼性に欠け、安全性、快適性、進行度といった特定の運転要素へと分解することが困難です。

核心となる課題は、VLMsのコンテキスト理解能力と、決定論的なルールベース指標の空間的精度および物理的根拠を組み合わせた評価フレームワークを開発することです。

2. 手法: DriveJudge

著者らは、VLMに導かれた、ルールに基づいた評価エージェントであるDriveJudgeを提案しています。以前のVLMのみに頼る研究とは異なり、DriveJudgeは運転評価をエージェントによる意思決定プロセスとして定式化しています。

2.1 コアアーキテクチャ

DriveJudgeは、環境シーンのコンテキストを解釈し、決定論的なルール関数を選択的に呼び出すことで動作します。

入力: エージェントは、前方カメラの画像と、オブジェクトボックス、レーンマップ、予測軌跡を含む鳥瞰図（BEV）の可視化を含むマルチモーダルな入力を受け取ります。
コンテキスト推論: VLM（具体的にはQwen-3）がシーンを分析し、どの評価ルールが関連しているかを判断します。VLMはゲーティングベクトル $\hat{g}_i$ を出力し、各要素は特定のルール（例：車線維持、衝突までの時間）の現在の運転状態に対する関連性を示します。
ルールの呼び出し: ゲーティングベクトルに基づき、システムは定義済みのルールセット（例：安全性、車線遵守、進行度、快適性をカバーするEPDMSルール）から、決定論的なルール関数 ( $f^m$ ) を選択的に実行します。
スコア集計: 最終的な運転スコアは、選択されたルールの出力を、その関連性によって重み付けして集計することで算出されます。これにより、システムは不要な制約（例：障害物回避のためにナッジが必要な際の車線維持ペナルティなど）を無視することが可能になります。

2.2 トレーニング・パイプライン

DriveJudgeの訓練と検証を行うため、著者らは大規模なデータセットをキュレーションし、2段階のポストトレーニング・パイプラインを採用しました。

データセットのキュレーション: PhysicalAI-Autonomous-Vehiclesデータセットから、33,577個の困難な運転サンプルからなるデータセットを作成しました。これは、人間による運転が特定のルールに抵触していても、コンテキスト上は「合理的」であるようなロングテール・シナリオに焦点を当てています。人間のアノテーターは、その挙動が合理的であったかどうかをラベル付けし、その根拠を提供しました。
教師あり微調整 (SFT): モデルは、人間によるアノテーションに基づいて、正しいゲーティングベクトル（どのルールを呼び出すべきか）を予測するように訓練されます。ルール呼び出しのグラウンドトゥルース（正解）は、「合理的」とラベル付けされた人間の軌跡を不当にペナルチを与えてしまうであろうルールを特定することによって導き出されます。
強化学習 (RL): SFTに続いて、モデルはダウンストリームタスク、特に軌跡の好みの選択における性能を向上させるために、強化学習（Group Relative Policy Optimization, GRPOを使用）による最適化が行われます。報酬は、モデルによる軌跡のランキングが人間の好みに一致しているかどうかに基づいています。

3. 評価ベンチマーク

論文では、指標自体の品質を評価するために、人間の感覚に整合させた2つのベンチマークタスクを導入しています。

運転品質の分類: 指標は、合理的な運転挙動と不合理な運転挙動を区別できなければなりません（二値分類）。性能は、Accuracy（正解率）、AUC、およびAverage Precision (AP) によって測定されます。
軌跡の好みの選択: 2つの候補軌跡が与えられたとき、指標は人間が好む方の軌跡に高いスコアを割り当てなければなりません。性能は、選択精度によって測定されます。

4. 主な結果

実験により、DriveJudgeが両方のベンチマークタスクにおいて既存のベースラインを大幅に上回ることが示されました。

運転品質の分類: DriveJudge (8Bモデル) は 78.90 AUC を達成し、標準的なルールベース指標であるEPDMSを +21.23 AUC 上回りました。また、失敗の検出（AP-）においても、EPDMSの26.34から59.04へと大幅な改善を示しました。
軌跡の好みの選択: DriveJudgeは 82.83% の精度を達成し、最新のVLMベースのクリティックであるDriveCritic (76.33%) や、GPT-5、Geminiなどの他のベースラインを凌駕しました。
アブレーション研究:
- VLM + Tools: VLMによる推論とルールベースのツール呼び出しの組み合わせは不可欠です。直接的なVLMによるスコアリング（ツールなし）や、非VLMエージェントは、大幅に劣る性能となります。
- SFT + RL: 強化学習は、教師あり微調整されたモデルから初期化された場合にのみ、実質的な利得をもたらします。ゼロショットモデルからRLを開始すると、改善はごくわずかであり、モデルをタスク構造に接地させるためのSFTの必要性が浮き彫りになりました。
- スケーリング: SFTの性能はデータサイズに応じて線形にスケールしますが、RLはある一定の地点で収穫逓減を示します。これは、単なる量よりも高品質な選好データが必要であることを示唆しています。

5. 意義と主張

本論文は、DriveJudgeが意味論的な推論と物理的な根拠の間の溝を埋めることで、解釈可能かつ精密な運転評価の新たな基準を確立すると主張しています。

コンテキスト適応性: 硬直したルールが機能しない「ロングテール」の問題を解決し、一時的なルールの緩和を必要とする操作の評価を可能にします。
解釈可能性: ルールを明示的に呼び出すことにより、ブラックボックス型のVLMスコアリングとは異なり、評価プロセスが透明かつ分解可能になります。
ポリシーのベンチマーク: 最先端のプランニングモデル（例：Hydra-MDP、DriveSuprim）に適用した際、DriveJudgeはEPDMSよりも高いスコアを割り当てました。これは、現在のポリシーが従来の指標が示すよりも高い能力を持っている可能性を示唆しています。また、現在のベンチマーク（NAVSIMなど）が飽和状態に近づいており、より微細な評価手法が必要であることを示唆しています。

著者らは、DriveJudgeが、従来の指標では不十分な複雑なロングテール・シナリオにおけるポリシー訓練において、将来の自動運転研究のためのより強力な基盤を提供すると結論付けています。