LightEMMA: A Longitudinal Evaluation of Vision-Language Models for Autonomous Driving

Les voitures autonomes reposent depuis longtemps sur des systèmes rigides basés sur des règles qui suivent un script strict, ou sur des cadres d'apprentissage qui associent directement les données brutes des capteurs à des commandes de direction. Bien que ces approches aient fait des progrès significatifs, elles peinent souvent face à l'imprévu : des situations rares et complexes qui sortent de leurs données d'entraînement, comme un ouvrier de chantier faisant un signe de la main ou un schéma de circulation soudain et ambigu. Pour combler cette lacune, les chercheurs se sont tournés vers les modèles de vision-langage. Il s'agit de systèmes d'intelligence artificielle puissants, entraînés pour comprendre à la fois les images et le langage humain, capables de raisonner sur une scène de la même manière qu'un conducteur humain pourrait le faire : en décrivant ce qu'il voit, en interprétant l'intention et en prenant des décisions basées sur le contexte. L'espoir prédominant était que, à mesure que ces modèles deviendraient plus avancés et capables de raisonnement général, ils deviendraient naturellement de meilleurs conducteurs, surpassant éventuellement les systèmes spécialisés conçus uniquement pour la route.

Une équipe de chercheurs de l'Université du Michigan s'est donné pour mission de tester cette hypothèse par un examen rigoureux et à long terme de la performance réelle de ces modèles. Ils ont introduit un nouveau cadre d'évaluation appelé LightEMMA, conçu pour mesurer les compétences de conduite de ces modèles sans leur donner d'entraînement particulier ou modifier leurs paramètres internes. Au lieu d'enseigner la conduite aux modèles, les chercheurs leur ont simplement demandé de regarder une scène de rue et de prédire où la voiture devrait se diriger ensuite. Ils ont testé quinze modèles différents issus de cinq grandes familles, couvrant trois années de développement rapide, en utilisant un ensemble de données exigeant de scènes de conduite urbaine réelles. L'objectif était de voir si les modèles les plus récents et les plus puissants étaient réellement de meilleurs conducteurs que leurs prédécesseurs, ou si le bond de l'intelligence générale n'avait pas réussi à se traduire par une conduite plus sûre et plus précise.

Les résultats de cette étude longitudinale révèlent un décalage surprenant. Malgré le fait que les modèles deviennent plus volumineux, plus rapides dans leur raisonnement général et plus capables de comprendre un langage complexe, ils ne se sont pas systématiquement améliorés dans la prédiction des trajectoires de véhicules. En fait, certaines des générations les plus récentes ont moins bien performé que les versions plus anciennes de la même famille. Lorsque les chercheurs ont mesuré la précision des trajectoires prédites par rapport aux trajectoires réelles empruntées par de vraies voitures, ils ont constaté que les modèles plus récents commettaient souvent des erreurs plus importantes. Par exemple, alors qu'un des modèles les plus performants de la famille GPT a atteint une erreur moyenne d'un peu plus d'un mètre sur une fenêtre de prédiction de trois secondes, d'autres modèles plus récents de la même famille ou de familles différentes ont montré des taux d'erreur plus élevés, dépassant parfois les deux mètres. Cela suggère que le simple fait de rendre un modèle plus « intelligent » au sens général ne le rend pas automatiquement meilleur conducteur.

L'étude a également mis en lumière des manières spécifiques dont ces modèles échouent face à des scénarios de conduite réels. Une erreur courante impliquait une dépendance excessive à l'historique récent du véhicule. Si un véhicule venait de tourner à droite à une intersection, les modèles continuaient souvent à prédire une courbe vers la droite, même lorsque la voiture s'était redressée et que la route devant elle était dégagée. Ils peinaient à mettre à jour leur modèle mental basé sur la vue actuelle, projetant plutôt l'action précédente vers l'avant. Dans d'autres cas, les modèles ne parvenaient pas à concilier des indices visuels contradictoires. Lorsqu'un feu de signalisation passait au vert mais qu'un véhicule était arrêté directement devant, certains modèles prédisaient correctement que la voiture devait attendre, tandis que d'autres ignoraient l'obstacle et prédisaient que la voiture passerait l'intersection. De même, en approchant d'un feu rouge, certains modèles prédisaient un arrêt soudain et brusque plutôt qu'une décélération fluide, tandis que d'autres ne ralentissaient pas du tout.

Au-delà de la précision, les chercheurs ont examiné les coûts pratiques de l'utilisation de ces modèles pour la conduite. Ils ont constaté que le temps d'inférence — le temps nécessaire au modèle pour traiter une image et générer une prédiction — variait considérablement. Le modèle le plus rapide mettait environ 4,5 secondes pour traiter une seule image, tandis que le plus lent mettait plus de 40 secondes. Pour une voiture circulant à des vitesses d'autoroute, attendre même quelques secondes pour prendre une décision est beaucoup trop long ; la conduite en temps réel nécessite des décisions en millisecondes. De plus, le coût de l'utilisation de modèles commerciaux pour cette tâche était significatif, certains coûtant plusieurs centimes par image, ce qui reviendrait à une dépense prohibitive pour un fonctionnement continu. L'étude a également noté que même les meilleurs modèles échouaient occasionnellement à suivre les instructions, produisant des sorties difficiles à lire ou à analyser, bien que les chercheurs aient développé une méthode pour corriger la plupart de ces erreurs de formatage.

En fin de compte, ce travail suggère que le chemin vers une conduite autonome sûre utilisant les modèles de vision-langage nécessite plus que l'attente de la prochaine génération d'IA à usage général. Les modèles sont capables de décrire une scène et de comprendre le langage, mais ils manquent de l'intuition spécifique, formée au domaine, nécessaire pour naviguer dans le monde physique de manière sûre et fiable. Les chercheurs concluent que pour rendre ces systèmes viables, ils devront bénéficier d'une adaptation spécialisée afin d'apprendre les règles et la dynamique spécifiques de la conduite, plutôt que de compter uniquement sur leurs capacités de raisonnement général et large. Le cadre LightEMMA constitue désormais un outil pour que la communauté puisse continuer à tester et à affiner ces modèles, garantissant que les progrès futurs de l'intelligence artificielle se traduisent par des améliorations tangibles sur la route.