ScenePilot-Bench: A Large-Scale Dataset and Benchmark for Evaluation of Vision-Language Models in Autonomous Driving

Ce papier présente ScenePilot-Bench, une nouvelle évaluation à grande échelle conçue pour mesurer les capacités des modèles vision-langage dans la conduite autonome en s'appuyant sur le vaste jeu de données ScenePilot-4K et une suite d'indicateurs multidimensionnels axés sur la sécurité.

L'essentiel

🚗 Le "Permis de Conduire" pour les Intelligences Artificielles

Imaginez que vous voulez apprendre à une intelligence artificielle (IA) à conduire une voiture autonome. Jusqu'à présent, on lui apprenait à reconnaître des panneaux ou à dire "il y a un chat". Mais pour conduire en sécurité, l'IA doit comprendre bien plus : elle doit savoir où sont les autres voitures, combien de temps il reste avant un accident, et comment tourner le volant sans percuter personne.

C'est là que les auteurs de cet article interviennent avec deux inventions majeures : ScenePilot-4K (la bibliothèque de leçons) et ScenePilot-Bench (l'examen final).

1. La Bibliothèque de Leçons : ScenePilot-4K 📚

Pensez à ScenePilot-4K comme à une immense bibliothèque de vidéos de conduite, mais avec une différence cruciale : chaque vidéo est accompagnée d'un livret d'explications ultra-détaillé.

• La taille : C'est colossal. Ils ont collecté 3 847 heures de vidéos de conduite (un peu plus de 4 mois de conduite non-stop !).
• La diversité : Ces vidéos ne viennent pas seulement d'un seul pays. Elles couvrent 63 pays et 1 210 villes. C'est comme si l'IA avait voyagé partout dans le monde : elle a vu des routes de campagne en Chine, des autoroutes aux États-Unis, et des ruelles étroites au Japon.
• Les annotations (les notes du prof) : Pour chaque vidéo, l'équipe a ajouté des informations que les IA ne voient pas toujours :
  • La météo et l'heure : "Il fait beau, c'est le jour."
  • Le risque : "Attention, ce piéton est dangereux."
  • La géométrie : "La voiture rouge est à 12 mètres devant nous."
  • Le futur : "Dans 0,5 seconde, nous serons ici."

C'est comme si, au lieu de juste regarder un film, l'IA avait un professeur qui lui chuchotait à l'oreille tout ce qui se passe, tout ce qui est dangereux et ce qu'il faut faire.

2. L'Examen Final : ScenePilot-Bench 📝

Avoir des vidéos, c'est bien. Mais comment savoir si l'IA est vraiment prête pour la route ? C'est le rôle de ScenePilot-Bench. C'est un examen de conduite très strict, divisé en 4 épreuves :

1. Compréhension de la scène (Le récit) : L'IA doit décrire ce qu'elle voit.
   • Exemple : "Il fait soleil, c'est une route rurale à deux voies, pas de carrefour, le risque est faible."
   • Analogie : C'est comme demander à un passager de raconter l'histoire de la route.
2. Perception spatiale (Le radar) : L'IA doit mesurer les distances et les angles.
   • Exemple : "La voiture à droite est à 5,75 mètres de nous."
   • Analogie : C'est comme un radar qui doit dire exactement où sont les autres objets, pas juste les voir.
3. Planification du mouvement (Le pilote) : L'IA doit prédire la trajectoire.
   • Exemple : "Dans 3 secondes, nous serons à telle position."
   • Analogie : C'est comme jouer aux échecs contre la route : il faut anticiper les coups de l'adversaire (les autres voitures).
4. Le Score GPT (L'humain juge) : Une autre IA très intelligente (GPT-4) lit la réponse de l'IA testée et lui donne un score sur la qualité de son raisonnement.

3. Les Résultats de l'Examen 🏆

Les chercheurs ont passé plusieurs IA célèbres à l'examen. Voici ce qu'ils ont découvert :

• Les IA "Généralistes" (comme GPT-4 ou Gemini) : Elles sont excellentes pour raconter une histoire. Elles savent dire "il y a un camion". Mais dès qu'il faut mesurer une distance précise ou planifier un virage, elles commencent à halluciner (inventer des choses) ou à faire des erreurs dangereuses. C'est comme un écrivain brillant qui ne sait pas conduire.
• Les IA "Spécialisées" (entraînées spécifiquement) : Quand on prend une IA et qu'on la force à étudier la bibliothèque ScenePilot-4K, elle s'améliore énormément. Elle devient plus sûre, plus précise et comprend mieux les règles de la route.
• Le grand gagnant : Le modèle nommé ScenePilot-2.5-3B. C'est une IA qui a été entraînée directement sur leurs données. Elle a obtenu le meilleur score global. Cela prouve que pour conduire, il ne suffit pas d'être "intelligent" en général, il faut être entraîné spécifiquement à la géométrie et aux risques de la route.

4. Le Défi des Pays Étrangers 🌍

Une partie très intéressante de l'étude est le test de généralisation.

• Le test : Ils ont entraîné l'IA uniquement avec des vidéos de Chine (où l'on conduit à droite), puis l'ont testée en Europe ou au Japon (où l'on conduit parfois à gauche).
• Le résultat : L'IA reste très bonne pour décrire la scène et voir les objets. Mais dès qu'il faut prendre une décision de conduite (comme tourner à gauche ou à droite selon les règles locales), elle trébuche un peu.
• La leçon : L'IA comprend la physique de la route, mais elle doit encore apprendre les "coutumes" locales (les règles de circulation spécifiques à chaque pays).

En résumé 🎯

Cet article nous dit que pour créer une voiture autonome intelligente, il ne suffit pas de lui donner des yeux (caméras) et un cerveau (IA). Il faut lui donner :

1. Une expérience massive et variée (la bibliothèque de 3 800 heures).
2. Un système d'évaluation rigoureux qui ne se contente pas de vérifier si l'IA "parle bien", mais si elle "conduit bien".

ScenePilot-Bench est donc le nouveau "Permis de conduire" officiel pour les intelligences artificielles, garantissant qu'elles sont prêtes à rouler en toute sécurité, partout dans le monde.

Résumé technique

Voici un résumé technique détaillé de l'article "ScenePilot-Bench: A Large-Scale Dataset and Benchmark for Evaluation of Vision-Language Models in Autonomous Driving", rédigé en français.

1. Problématique

L'intégration des Modèles Vision-Langage (VLM) dans les systèmes de conduite autonome promettait d'améliorer la compréhension sémantique et le raisonnement spatial. Cependant, l'évaluation de ces modèles dans des scénarios réels reste un goulot d'étranglement majeur. Les benchmarks existants souffrent de plusieurs limites :

• Manque de généralisation : Ils sont souvent limités à des régions géographiques spécifiques ou à des conditions de circulation uniformes (ex: uniquement à droite).
• Évaluation superficielle : Les métriques actuelles se concentrent souvent sur la justesse textuelle ou la détection d'objets, sans évaluer la cohérence géométrique, la perception spatiale égocentrique ou la planification de trajectoire physiquement réalisable.
• Hallucinations et sécurité : Les VLM génériques ont tendance à halluciner des objets ou des relations non ancrées dans la réalité, ce qui est critique pour la sécurité routière.
• Absence de normes culturelles : Les règles de circulation (conduite à gauche vs à droite) et les infrastructures varient considérablement d'un pays à l'autre, mais peu de benchmarks testent la robustesse face à ces décalages de domaine.

2. Méthodologie

Les auteurs proposent une solution complète composée d'un jeu de données massif et d'un benchmark d'évaluation rigoureux.

A. Le Jeu de Données : ScenePilot-4K

C'est un ensemble de données à grande échelle de vidéos de conduite en première personne (POV), conçu pour combler les lacunes des jeux de données existants.

• Échelle et Diversité : Il regroupe 3 847 heures de vidéos (27,7 millions d'images), collectées sur Bilibili et YouTube. Il couvre 63 pays/régions et 1 210 villes, incluant des systèmes de circulation à droite et à gauche.
• Annotations Multi-tâches Unifiées : Contrairement aux bases de données précédentes qui séparent souvent les annotations, ScenePilot-4K aligne sur les mêmes clips :
  • Descripteurs sémantiques de la scène (météo, type de route, intersection).
  • Évaluation des risques (niveau de dangerosité).
  • Identification des participants clés (véhicules, piétons, etc.).
  • Trajectoire de l'égo-véhicule et paramètres de la caméra (intrinsèques/extrinsèques).
• Pipeline d'Annotation : Un pipeline automatisé utilise des modèles VLM (Qwen2-VL) pour la description et l'évaluation des risques, YOLO11s pour la détection d'objets, et VGGT pour l'estimation de la profondeur, de la calibration caméra et des trajectoires.

B. Le Benchmark : ScenePilot-Bench

Construit sur ScenePilot-4K, ce benchmark évalue les VLM selon quatre axes principaux via un protocole basé sur des clips (10 images) pour assurer la stabilité temporelle :

1. Compréhension de la Scène (Scene Understanding) : Évalue la cohérence sémantique globale et le raisonnement sur les risques (métriques : SPICE raffiné, précision de classification des risques).
2. Perception Spatiale (Spatial Perception) : Mesure la capacité à localiser les objets et à inférer les relations spatiales (distances et angles relatifs à l'égo et entre objets).
3. Planification de Mouvement (Motion Planning) : Évalue la prédiction des actions de haut niveau (accélérer, freiner, tourner) et la génération de trajectoires futures (métriques : ADE, FDE, DCS-Acc).
4. Score GPT (GPT-Score) : Utilise GPT-4o pour évaluer l'alignement sémantique entre la réponse du modèle et la vérité terrain.

Stratégies de Généralisation : Le benchmark inclut des protocoles stricts pour tester la robustesse :

• LOCO (Leave-One-Country-Out) : Entraînement sur tous les pays sauf un, test sur le pays exclu.
• Adaptation Gauche-Droite : Entraînement uniquement sur des pays à conduite à droite, test sur des pays à conduite à gauche (et vice-versa).

3. Contributions Clés

1. ScenePilot-4K : Le plus grand jeu de données de conduite en première personne avec des annotations unifiées multi-tâches (sémantique, risque, trajectoire, caméra) et une diversité géographique sans précédent.
2. ScenePilot-Bench : Un benchmark open-loop complet qui dépasse la simple détection d'objets pour évaluer la "intelligence corporelle spatiale" (Spatial Embodied Intelligence), en liant le langage au raisonnement géométrique et à la sécurité.
3. Métriques de Sécurité et de Robustesse : Introduction de métriques pondérées qui pénalisent les erreurs géométriques dangereuses et des protocoles de test de généralisation inter-régionale et inter-culturelle.
4. Analyse Empirique : Une évaluation approfondie de modèles commerciaux (GPT-4o, Gemini) et open-source (Qwen, ReasonDrive), révélant les limites actuelles des modèles génériques dans la conduite autonome.

4. Résultats Expérimentaux

Les expériences comparatives sur le benchmark mettent en évidence plusieurs tendances :

• Limites des VLM Génériques : Les modèles commerciaux et open-source de grande taille (ex: GPT-4o, Qwen2.5-VL) excellent dans la compréhension sémantique (description fluide de la scène) mais échouent souvent dans la perception spatiale précise et la planification de mouvement. Ils manquent de cohérence géométrique égocentrique.
• Impact du Fine-Tuning Spécifique :
  • Le modèle spécialisé ReasonDrive-7B s'améliore après fine-tuning sur ScenePilot-4K, notamment en planification, mais reste déséquilibré.
  • Les modèles ScenePilot (fine-tunés directement sur des backbones Qwen avec les données ScenePilot-4K) obtiennent les meilleurs résultats globaux. Le modèle ScenePilot-2.5-3B-200k atteint le score global le plus élevé (65,37), surpassant les modèles beaucoup plus grands non adaptés. Cela démontre que la qualité des données et l'alignement des tâches sont plus critiques que la simple taille du modèle.
• Généralisation Géographique :
  • La compréhension sémantique de la scène se transfère bien entre les pays.
  • La perception spatiale reste robuste, bien que les erreurs géométriques augmentent légèrement.
  • La planification de mouvement est la plus sensible aux décalages de domaine. Les modèles peinent à prédire les manœuvres correctes (ex: tourner à gauche vs droite) dans des pays non vus lors de l'entraînement, soulignant la dépendance aux normes locales de circulation.

5. Signification et Impact

Ce travail marque une avancée significative pour la recherche en conduite autonome assistée par IA :

• Nouveau Standard d'Évaluation : Il établit un cadre rigoureux pour évaluer non seulement ce que le modèle "voit", mais ce qu'il "comprend" et "prévoit" en termes de sécurité et de physique.
• Vers une Intelligence Corporelle Spatiale : Il déplace le focus de la simple reconnaissance d'images vers une intelligence capable de raisonner dans un cadre de référence égocentrique et de respecter les contraintes physiques et réglementaires.
• Guide pour le Futur : Les résultats indiquent que pour créer des systèmes de conduite autonome robustes, il est essentiel d'utiliser des jeux de données diversifiés géographiquement et d'entraîner les modèles spécifiquement sur des tâches de planification et de perception spatiale, plutôt que de s'appuyer uniquement sur des modèles de langage généraux.

En résumé, ScenePilot-Bench fournit l'infrastructure nécessaire pour transformer les VLM en véritables "co-pilotes" fiables pour la conduite autonome, en identifiant clairement les lacunes actuelles et en offrant une voie pour les combler.