Les voitures autonomes reposent depuis longtemps sur une approche modulaire, où une partie du logiciel voit la route, une autre décide de ce qu'il faut faire, et une troisième dirige le véhicule. Cette séparation entraîne souvent une accumulation d'erreurs, comme un jeu de téléphone arabe où le message est déformé à chaque étape. Pour résoudre cela, des chercheurs développent des systèmes de bout en bout qui apprennent à conduire directement à partir d'images de caméras vers des commandes de direction, tout comme un conducteur humain qui perçoit une situation et réagit sans la décomposer consciemment en étapes. Cependant, ces systèmes éprouvent souvent des difficultés face à des scénarios rares ou complexes car ils n'ont pas la capacité de réellement « anticiper » ce qui pourrait se passer ensuite. Ils voient clairement le présent mais ont du mal à imaginer le futur, ce qui est essentiel pour une navigation sûre.

Une nouvelle direction prometteuse implique les « modèles de monde » (world models), qui sont des programmes informatiques entraînés à prédire comment une scène va changer au fil du temps. En apprenant à prévoir les quelques secondes suivantes d'une vidéo, ces modèles peuvent comprendre la dynamique du trafic et utiliser cette prévoyance pour planifier leurs propres mouvements. Pourtant, un écart important subsistait entre les puissantes techniques de prédiction vidéo utilisées dans la recherche et les besoins spécifiques de la conduite autonome. De nombreuses méthodes existantes tentent de combler les parties manquantes d'une vidéo de manière aléatoire, ce qui est bon pour comprendre le passé mais médiocre pour prédire le futur. D'autres reposent sur des représentations simplifiées et compressées du monde qui perdent trop de détails pour être utiles à une prise de décision complexe. Le défi consistait à créer un système capable à la fois de comprendre la réalité riche et détaillée de la route et de générer de manière fiable des futurs plausibles pour guider ses actions.

Des chercheurs d'Afari Intelligent Drive et de plusieurs universités ont abordé ce problème en repensant une architecture spécifique connue sous le nom de V-JEPA (Video Joint Embedding Predictive Architecture). Cette technologie est conçue pour apprendre des motifs profonds et significants à partir de vidéos sans avoir besoin d'étiquettes humaines, mais dans sa forme originale, elle a été construite pour compléter des parties manquantes d'une vidéo plutôt que pour regarder vers l'avant dans le temps. L'équipe a réalisé que pour qu'une voiture puisse conduire seule, elle doit regarder vers l'avant, et non pas seulement remplir les blancs. Ils ont développé un nouveau système appelé WA-JEPA, qui adapte les puissantes capacités d'apprentissage de V-JEPA spécifiquement pour la tâche de la conduite. Au lieu de deviner aléatoirement les parties manquantes d'une vidéo, leur modèle est entraîné à observer la route actuelle et à prédire exactement à quoi ressemblera la scène dans le futur, tout en décidant simultanément de ce que la voiture doit faire.

Le cœur de leur innovation réside dans la manière dont ils enseignent au modèle comment penser le temps. Lors de la première étape de l'entraînement, le système se voit présenter une séquence d'images vidéo provenant de plusieurs caméras d'une voiture. Il lui est ensuite demandé d'imaginer les images futures qui suivent le dernier moment visible. Contrairement aux méthodes précédentes qui pourraient tenter de deviner une image manquante au milieu d'une vidéo, ce modèle est forcé de regarder strictement vers l'avant, apprenant ainsi les relations de cause à effet du trafic. Pour rendre ces prédictions plus réalistes, les chercheurs ont remplacé une approche mathématique standard par une technique appelée « flow matching » (appariement de flux). Cela permet au modèle de générer un chemin fluide et continu de possibilités futures, plutôt que de simplement deviner un unique résultat statique. Ceci est crucial car le futur est rarement un point fixe unique ; c'est un éventail de possibilités que la voiture doit naviguer.

Dans la seconde étape, les chercheurs ont connecté cette capacité de vision future directement aux commandes de la voiture. Ils ont construit un système unique et unifié qui prédit à la fois le futur aspect de la route et les futures actions de la voiture en même temps. En entraînant ces deux tâches ensemble, le modèle apprend que la façon dont le monde change est directement liée à la façon dont la voiture se déplace. Si la voiture tourne, la vue change d'une certaine manière ; si la voiture s'arrête, le monde se comporte différemment. Ce couplage étroit signifie que le modèle ne se contente pas de voir le monde ; il comprend comment ses propres actions façonnent ce monde. Le résultat est un système capable de raisonner sur des situations de trafic complexes en simulant le futur dans son esprit avant de prendre une décision.

L'équipe a testé son nouveau système sur un benchmark standard appelé NAVSIM, qui utilise des données de conduite du monde réel pour évaluer la capacité des véhicules autonomes à naviguer. Sur le test NAVSIM-v2, WA-JEPA a obtenu un score de 91,7, surpassant les meilleures méthodes de conduite de bout en bout existantes ainsi que d'autres approches de modèles de monde. Cette amélioration indique que le système est plus apte à éviter les collisions et à respecter les règles de circulation. Plus impressionnant encore, les chercheurs ont testé le modèle sur un simulateur en boucle fermée complètement différent appelé HUGSIM, sans lui donner d'entraînement supplémentaire sur cet environnement spécifique. Dans ce test « zero-shot », où la voiture devait conduire de manière continue et réagir à ses propres erreurs en temps réel, WA-JEPA a obtenu un score élevé de 0,4462, surpassant tous les autres modèles par une marge significative. Cela suggère que la capacité de prédire le futur et de planifier des actions ensemble crée une compréhension robuste de la conduite qui se transfère bien à des situations nouvelles et inconnues.

Ces résultats suggèrent que la clé d'une meilleure conduite autonome ne réside peut-être pas dans l'ajout de plus de capteurs ou de règles plus complexes, mais dans l'enseignement au système comment imaginer le futur avec plus de précision. En déplaçant l'accent de la simple complétion de données vidéo manquantes vers la prédiction active de ce qui vient ensuite, et en liant cette prédiction directement aux décisions de la voiture, les chercheurs ont créé un modèle qui conduit avec un sens de la prévoyance plus proche de celui de l'humain. Cette approche comble le fossé entre la compréhension du monde visuel et l'action, offrant une voie vers des véhicules capables de gérer la nature imprévisible des routes du monde réel avec plus de confiance et de sécurité.