🤖 machine learning

DriveJudge: Rethinking Autonomous Driving Evaluation with Vision-Language Models

Cet article introduit DriveJudge, un nouvel agent d'évaluation de la conduite autonome qui intègre le raisonnement des modèles vision-langage à des fonctions de règles ancrées physiquement pour atteindre une performance supérieure, interprétable et sensible au contexte sur des tâches de référence alignées sur l'humain.

Auteurs originaux : Xinglong Sun, Kevin Xie, Jenny Schmalfuss, Despoina Paschalidou, Xiuming Zhang, Sanja Fidler, Kashyap Chitta, Jose M. Alvarez

Publié 2026-06-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xinglong Sun, Kevin Xie, Jenny Schmalfuss, Despoina Paschalidou, Xiuming Zhang, Sanja Fidler, Kashyap Chitta, Jose M. Alvarez

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment conduire une voiture. Vous lui avez appris les règles de la route : « Restez dans votre voie », « Ne percutez pas les gens » et « Continuez d'avancer ». Mais la vie réelle est désordonnée. Parfois, pour éviter un nid-de-poule ou un camion à l'arrêt, le robot doit brièvement franchir une ligne de voie ou ralentir de manière inattendue.

C'est ici que l'ancienne méthode pour juger le robot échoue, et que la nouvelle méthode, DriveJudge, entre en scène.

Le Problème : Le « Manuel de Règles Rigide » vs Le « Juge Confus »

L'article identifie deux principales façons dont les gens ont tenté d'évaluer les voitures autonomes jusqu'à présent, et les deux présentent des défauts :

Le Manuel de Règles Rigide (Vieille École) :
Imaginez un professeur strict qui n'a qu'une liste de contrôle. Si la voiture franchit une ligne blanche, il la note mal. Si la voiture s'arrête pendant 3 secondes, il la note mal.
- Le Défaut : Ce professeur ne comprend pas le contexte. Si la voiture franchit la ligne pour éviter une branche d'arbre qui tombe, le manuel de règles dira quand même : « Faux ! ». Il punit des décisions intelligentes et sûres parce qu'elles ont techniquement enfreint une règle.
Le Juge Confus (Nouvelle IA) :
Récemment, des personnes ont commencé à utiliser une IA sophistiquée (appelée Modèles de Vision-Langage ou VLM) pour agir comme des juges. Ces IA peuvent « voir » la scène et comprendre que « Oh, la voiture a franchi la ligne pour éviter un arbre, c'est correct ».
- Le Défaut : Ces IA sont excellentes pour comprendre l'histoire, mais elles sont très mauvaises pour mesurer les distances exactes. Elles pourraient dire : « La voiture est en sécurité », alors qu'elle est sur le point de s'écraser parce qu'elles ne savent pas compter les pouces avec précision. Elles sont également un peu vagues, ce qui rend difficile de savoir pourquoi elles ont donné un certain score.

La Solution : DriveJudge (Le « Contremaîche Intelligent »)

Les auteurs ont créé DriveJudge, qui agit comme un Contremaîche Intelligent sur un chantier de construction.

Au lieu de simplement regarder la voiture et de deviner, ou simplement de vérifier une liste, DriveJudge réalise une danse en deux étapes :

La Phase « Observer et Réfléchir » : L'IA (le Contremaîche) observe la scène et se demande : « Que se passe-t-il réellement ici ? ». Elle utilise son cerveau pour comprendre le contexte. Y a-t-il une zone de construction ? Y a-t-il un camion à l'arrêt ?
La Phase « Sélection d'Outils » : En fonction de ce qu'elle voit, elle décide quels outils spécifiques utiliser.
- Scénario A : La voiture roule normalement sur une autoroute. Le Contremaîche saisit l'outil « Maintien de la Voie » et l'outil « Vitesse ».
- Scénario B : La voiture évite un obstacle de construction. Le Contremaîche pense : « Ah, le maintien de la voie n'a pas d'importance en ce moment ; la voiture doit être dans l'autre voie pour être en sécurité ». Il pose donc l'outil « Maintien de la Voie » et ramasse l'outil « Évitement de Collision ».

En activant ou en désactivant sélectivement les règles selon la situation, DriveJudge obtient le meilleur des deux mondes : la précision du manuel de règles rigide (parce qu'il utilise de vrais outils mathématiques) et la compréhension de l'IA intelligente (parce qu'elle sait quand ignorer les règles).

Comment Ils l'Ont Testé

Pour prouver que cela fonctionne, l'équipe n'a pas seulement fait des suppositions. Ils ont construit un énorme ensemble de données d'« Examen de Conduite » :

Ils ont collecté plus de 33 000 clips de conduite délicats (la « longue traîne » de la conduite, là où des choses étranges arrivent).
Ils ont demandé à des humains de marquer ces clips : « Ce comportement de conduite était-il raisonnable, même s'il a enfreint une règle ? »
Ils ont utilisé ces données pour entraîner DriveJudge à agir comme un expert humain.

Les Résultats

Lorsqu'ils ont mis DriveJudge à l'épreuve face aux anciennes méthodes :

Battre le Manuel de Règles : DriveJudge était bien meilleur pour repérer une conduite « raisonnable » que l'ancien manuel de règles, qui aurait injustement punie ce comportement.
Battre l'IA Confuse : DriveJudge était meilleur pour choisir la trajectoire la plus sûre que l'IA qui se contentait de « deviner » selon ses impressions.
Le Score : En termes simples, DriveJudge a obtenu une bien meilleure note (21 points de mieux sur un test, 6,5 % de mieux sur un autre) que les meilleures méthodes précédentes.

La Conclusion

L'article soutient que pour rendre les voitures autonomes véritablement sûres et intelligentes, nous ne pouvons pas simplement nous appuyer sur une liste de règles ou simplement sur l'opinion d'un chatbot. Nous avons besoin d'un système qui comprend l'histoire de la route et qui applique ensuite la bonne mathématique pour la juger. DriveJudge est ce système : un juge qui sait quand être strict et quand être flexible.

Résumé Technique : DriveJudge : Repenser l'évaluation de la conduite autonome avec les modèles vision-langage

1. Énoncé du problème

Le domaine de la conduite autonome s'oriente de plus en plus vers l'apprentissage de politiques de bout en bout (end-to-end), qui performent bien dans les scénarios nominaux mais peinent face aux événements de longue traîne ou non nominaux. Un goulot d'étranglement critique pour l'avancement de ces politiques est l'absence de métriques d'évaluation fiables, interprétables et sensibles au contexte. Les paradigmes d'évaluation existants souffrent de limitations significatives :

Métriques basées sur des règles (ex: EPDMS) : Bien qu'interprétables et ancrées physiquement, elles sont intrinsèquement agnostiques au contexte. Elles appliquent des règles fixes de manière uniforme, pénalisant souvent de manière excessive des comportements raisonnables dans des scénarios complexes (par exemple, l'assouplissement temporaire des contraintes de maintien de voie pour contourner un obstacle).
Évaluations basées sur des modèles vision-langage (VLM) : Bien que sensibles au contexte, elles reposent souvent sur des comparaisons de préférences ambiguës ou des prédictions de scores directs. Ces approches manquent d'un ancrage physique explicite et de précision spatiale, ce qui les rend peu fiables pour des évaluations de sécurité fines et difficiles à décomposer en aspects de conduite spécifiques (sécurité, confort, progression).

Le défi central consiste à développer un cadre d'évaluation combinant la compréhension contextuelle des VLM avec la précision spatiale et l'ancrage physique des métriques déterministes basées sur des règles.

2. Méthodologie : DriveJudge

Les auteurs proposent DriveJudge, un agent d'évaluation guidé par un VLM et ancré par des règles. Contra à les travaux antérieurs qui reposent uniquement sur des jugements de VLM, DriveJudge formule l'évaluation de la conduite comme un processus de prise de décision agentique.

2.1 Architecture centrale

DriveJudge fonctionne en interprétant le contexte de la scène environnementale et en invoquant sélectivement des fonctions de règles déterministes.

Entrée : L'agent reçoit des entrées multimodales, comprenant des images de caméras frontales et des visualisations en vue de dessus (Bird's-Eye View - BEV) contenant des boîtes d'objets, des cartes de voies et des trajectoires prédites.
Raisonnement contextuel : Un VLM (spécifiquement Qwen-3) analyse la scène pour déterminer quelles règles d'évaluation sont pertinentes. Il produit un vecteur de porte $\hat{g}_i$ , où chaque élément indique la pertinence d'une règle spécifique (ex: maintien de voie, temps avant collision) pour l'état de conduite actuel.
Invocation de règles : Sur la base du vecteur de porte, le système exécute sélectivement des fonctions de règles déterministes ( $f^m$ ) issues d'un ensemble prédéfini (ex: les règles EPDMS couvrant la sécurité, le respect des voies, la progression et le confort).
Agrégation de scores : Le score de conduite final est calculé en agrégeant les sorties des règles sélectionnées, pondérées par leur pertinence. Cela permet au système d'ignorer les contraintes non pertinentes (ex: ignorer les pénalités de maintien de voie lorsqu'un léger écart est nécessaire pour éviter un obstacle).

2.2 Pipeline d'entraînement

Pour entraîner et valider DriveJudge, les auteurs ont constitué un jeu de données à grande échelle et ont employé un pipeline de post-entraînement en deux étapes :

Curation du jeu de données : Un jeu de données de 33 577 échantillons de conduite complexes a été créé à partir du jeu de données PhysicalAI-Autonomous-Vehicles. Il se concentre sur des scénarios de longue traîne où la conduite humaine peut violer certaines règles tout en restant "raisonnable" dans son contexte. Des annotateurs humains ont étiqueté si le comportement était raisonnable et ont fourni des justifications.
Apprentissage supervisé (SFT) : Le modèle est entraîné pour prédire le vecteur de porte correct (quelles règles invoquer) sur la base des annotations humaines. La vérité terrain pour l'invocation des règles est dérivée en identifiant les règles qui pénaliseraient incorrectement une trajectoire humaine étiquetée comme "raisonnable".
Apprentissage par renforcement (RL) : Après le SFT, le modèle subit une optimisation par RL (utilisant le Group Relative Policy Optimization, GRPO) pour améliorer ses performances sur les tâches en aval, spécifiquement la sélection de préférence de trajectoire. La récompense est basée sur la capacité du modèle à aligner son classement de trajectoires avec les préférences humaines.

3. Benchmarks d'évaluation

Le papier introduit deux tâches de benchmark alignées sur l'humain pour évaluer la qualité des métriques de conduite elles-mêmes :

Classification de la qualité de conduite : La métrique doit distinguer les comportements de conduite raisonnables et déraisonnables (classification binaire). La performance est mesurée via l'exactitude (Accuracy), l'AUC et la précision moyenne (AP).
Sélection de préférence de trajectoire : Étant donné deux trajectoires candidates, la métrique doit attribuer un score plus élevé à celle préférée par les humains. La performance est mesurée par l'exactitude de sélection.

4. Résultats clés

Les expériences démontrent que DriveJudge surpasse significativement les bases de référence existantes sur les deux tâches de benchmark :

Classification de la qualité de conduite : DriveJudge (modèle 8B) atteint une AUC de 78,90, surpassant la métrique basée sur des règles standard EPDMS de +21,23 AUC. Il montre également une amélioration massive dans la détection des échecs (AP-), passant de 26,34 (EPDMS) à 59,04.
Sélection de préférence de trajectoire : DriveJudge atteint 82,83 % d'exactitude, dépassant le récent critique basé sur VLM, DriveCritic (76,33 %), ainsi que d'autres bases de référence comme GPT-5 et Gemini.
Études d'ablation :
- VLM + Outils : Combiner le raisonnement VLM avec l'invocation d'outils basés sur des règles est essentiel. Le scoring direct par VLM (sans outils) ou les agents non-VLM sont nettement moins performants.
- SFT + RL : L'apprentissage par renforcement génère des gains substantiels uniquement lorsqu'il est initialisé à partir d'un modèle ayant subi un apprentissage supervisé (SFT). Partir d'un modèle zero-shot pour le RL entraîne des améliorations négligeables, soulignant la nécessité du SFT pour ancrer le modèle dans la structure de la tâche.
- Mise à l'échelle (Scaling) : La performance du SFT augmente linéairement avec la taille des données, tandis que le RL montre des rendements décroissants après un certain point, suggérant la nécessité de données de préférence de haute qualité plutôt que de simple volume.

5. Signification et affirmations

Le papier affirme que DriveJudge établit un nouveau standard pour une évaluation de la conduite interprétable et précise en comblant le fossé entre le raisonnement sémantique et l'ancrage physique.

Sensibilité au contexte : Il répond avec succès au problème de la "longue traîne" où les règles rigides échouent, permettant l'évaluation de manœuvres qui nécessitent un assouplissement temporaire des règles.
Interprétabilité : En invoquant explicitement des règles, le processus d'évaluation est transparent et décomposable, contrairement au scoring par VLM de type "boîte noire".
Évaluation des politiques : Appliqué à des modèles de planification de pointe (ex: Hydra-MDP, DriveSuprim), DriveJudge attribue des scores plus élevés qu'EPDMS, suggérant que les politiques actuelles pourraient être plus capables que ne l'indiquent les métriques conventionnelles. Cela suggère également que les benchmarks actuels (comme NAVSIM) approchent peut-être de la saturation, nécessissant des méthodes d'évaluation plus nuancées.

Les auteurs concluent que DriveJudge fournit une base plus solide pour la recherche future en conduite autonome, particulièrement pour l'entraînement de politiques dans des scénarios complexes de longue traîne où les métriques traditionnelles sont insuffisantes.