💻 computer science

How Can Driving World Models Do Counterfactual Prediction?

Cet article identifie un décalage fondamental dans les modèles de monde de conduite où la prédiction conditionnée directement par l'action échoue à préserver le contexte factuel pour les scénarios contrefactuels, et propose un pipeline simple, sans entraînement, qui intègre des preuves observées pour améliorer significativement la précision des prédictions contrefactuelles.

Auteurs originaux : Jiaru Zhang, Can Cui, Yi Xu, Xin Ye, Ruqi Zhang, Ziran Wang

Publié 2026-08-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiaru Zhang, Can Cui, Yi Xu, Xin Ye, Ruqi Zhang, Ziran Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardiez un film d'une voiture circulant dans une rue. Soudain, un chien surgit de derrière une camionnette garée. Dans le film réel, le conducteur pile. Mais et si vous vouliez savoir : « Qu'aurait vu la caméra si le conducteur n'avait pas freiné, mais avait plutôt dévié vers la gauche ? » C'est le cœur de la prédiction contrefactuelle. Il s'agit d'un type spécial de question de type « et si » que les scientifiques se posent dans le domaine de l'intelligence artificielle, plus précisément pour les voitures autonomes.

Pour comprendre cela, vous devez connaître les Modèles de Monde (World Models). Voyez-les comme des « rêveurs éveillés » de l'IA. Ils sont entraînés sur des millions d'heures de vidéos de conduite pour pouvoir imaginer ce qui va se passer ensuite. Habituellement, si vous montrez une vidéo d'une voiture approchant d'une intersection et que vous lui dites : « Maintenant, imaginez que la voiture accélère », l'IA générera une nouvelle vidéo d'une voiture accélérant. Le problème est que la plupart de ces rêveurs éveillés de l'IA sont incapables de répondre à la question spécifique du « et si » concernant un événement réel qui s'est déjà produit. Ils ont tendance à oublier les détails spécifiques de la scène originale (comme le chien qui surgit) et ne font que créer un futur générique et plausible. Cette publication examine pourquoi cela se produit et tente de le corriger.

Les auteurs de cet article, Jiaru Zhang et son équipe de l'Université Purdue et de Bosch, ont découvert un bug fondamental dans la manière dont l'IA de conduite actuelle gère ces scénarios de « et si ». Ils ont découvert que lorsque vous demandez à une IA standard : « Que se passerait-il si je faisais X au lieu de Y ? », l'IA ne regarde que le passé (l'historique avant l'événement) et la nouvelle instruction (la nouvelle action). Elle ignore complètement les preuves de ce qui s'est réellement passé dans la vidéo originale après l'événement.

Pour expliquer cela, les auteurs utilisent une analogie astucieuse tirée de l'« échelle de la causalité » d'un célèbre philosophe. Imaginez trois échelons sur une échelle :

Voir : Observer ce qui se passe naturellement.
Faire : Changer l'action et voir ce qui se passe de manière générale.
Imaginer : Demander ce qui se serait passé dans cette situation spécifique si vous aviez fait quelque chose de différent.

L'article soutient que les modèles d'IA actuels sont coincés sur le deuxième échelon. Ils sont bons pour le « faire » général, mais ils échouent à l'échelon de l'« imaginer », car ils oublient d'utiliser les indices de la réalité originale. Par exemple, si une voiture s'est réellement rabattue devant le véhicule de référence dans la vidéo réelle, une véritable réponse contrefactuelle doit montrer cette voiture se rabattant même si le véhicule de référence avait dévié. Or, l'IA standard, ignorant la preuve du « rabattement », pourrait simplement montrer une route vide parce qu'elle pense : « Oh, si la voiture avait dévié, peut-être que personne ne se serait rabattu ».

Pour prouver cela, l'équipe a construit un test spécial en utilisant un simulateur de jeu vidéo appelé CARLA. Dans le monde réel, on ne peut pas remonter le temps pour voir ce qui se serait passé si l'on avait conduit différemment. Mais dans un simulateur, on peut exécuter exactement la même scène deux fois : une fois avec l'action réelle, et une fois avec l'action « et si ». Cela leur a donné une « vérité terrain » parfaite pour comparer. Ils ont testé deux types populaires de modèles d'IA de conduite et ont constaté que la méthode standard (se contenter de dire à l'IA la nouvelle action) échouait à préserver les événements spécifiques de la scène originale. L'IA générait des vidéos fluides et plausibles, mais elles racontaient les mauvaises histoires.

L'article propose ensuite une correction simple et ingénieuse qui ne nécessite pas de réentraîner l'IA. Ils appellent cela un pipeline « transporter et compléter » (transport and complete). Voici comment cela fonctionne :

Abduire (Reconstruire) : D'abord, ils prennent la vidéo réelle et utilisent un outil de détection de profondeur pour transformer les images plates en un nuage de points 3D, comme la construction d'une sculpture numérique de la scène.
Transporter (Déplacer) : Ils « déplacent » ensuite la caméra dans ce monde 3D là où elle aurait été si la voiture avait pris le nouveau chemin. Cela déplace les objets réels (comme la voiture qui s'est rabattue) vers leurs nouvelles positions dans la vue « et si ».
Compléter (Remplir) : L'IA est ensuite sollicitée pour remplir uniquement les zones vides — les parties de la scène que le déplacement 3D ne pouvait pas montrer (comme le ciel ou les choses cachées derrière d'autres voitures).
Combiner : Enfin, ils collent les objets réels déplacés dans la vidéo générée par l'IA.

Les résultats ont été impressionnants. Même si cette méthode utilise les modèles d'IA tels quels (sans entraînement supplémentaire), elle a réussi à récupérer les événements manquants que la méthode standard avait manqués. Elle a montré que la voiture s'était rabattue, même dans le scénario « et si », et la vidéo paraissait beaucoup plus réaliste.

En résumé, l'article montre que pour répondre à une véritable question de type « et si » concernant un événement spécifique, on ne peut pas simplement demander à l'IA d'imaginer un nouvel avenir. Il faut la forcer à se souvenir des détails spécifiques du passé et à les transporter dans le nouveau scénario. En combinant un peu de géométrie 3D avec l'imagination de l'IA, les auteurs ont créé un moyen de rendre ces prédictions « et si » beaucoup plus précises, garantissant que l'IA ne se contente pas d'inventer une nouvelle histoire, mais qu'elle réécrit réellement l'ancienne de la bonne manière.

Résumé Technique : Prédiction Contrefactuelle dans les Modèles de Monde pour la Conduite

Définition du Problème et Écart Causal
Le papier traite d'une déconnexion fondamentale entre la capacité visée des modèles de monde pour la conduite (la prédiction contrefactuelle) et leur implémentation standard (la prédiction conditionnée par l'action directe). Dans la conduite autonome, la prédiction contrefactuelle pose la question suivante : « Étant donné un journal de conduite factuel où un événement s'est produit (par exemple, une voiture coupant la route), qu'aurait enregistré la caméra si le véhicule de bord avait pris une action différente (par exemple, freiner au lieu d'accélérer) ? »

Les auteurs identifient que les « prédictions directes » actuelles conditionnent le modèle uniquement sur l'historique partagé ( $H$ ) et l'action alternative ( $a'$ ). Cette approche échoue à incorporer la continuation factuelle ( $F^+$ ) — la preuve observée de ce qui s'est réellement passé après l'historique partagé. Selon l'« échelle de la causalité » de Pearl, un véritable contrefactuel (Échelon 3) nécessite une abduction : inférer l'état spécifique du monde ( $w$ ) qui a généré le résultat factuel observé, puis intervenir avec la nouvelle action. La prédiction directe, en ignorant $F^+$ , revient à moyenner sur tous les mondes possibles cohérents avec l'historique ( $p(w|H)$ ), plutôt que sur le monde spécifique réalisé dans l'épisode ( $p(w|H, F^+)$ ). Par conséquent, les modèles directs génèrent souvent des vidéos fluides conformes à la nouvelle action, mais omettent des événements spécifiques (comme une voiture émergeant de l'ombre) qui étaient pourtant présents dans l'épisode.

Méthodologie : Un Pipeline sans Réentraînement
Pour combler cet écart sans réentraîner les modèles existants, les auteurs proposent un simple pipeline d'inférence fondé sur la recette causale : Abduction, Action et Prédiction. La méthode opère sur un modèle de monde gelé et se compose de quatre étapes :

Abduire (Reconstruction) : Un modèle d'estimation de la profondeur gelé traite la continuation factuelle ( $F^+$ ) pour estimer la profondeur métrique. Cela élève les images RGB 2D en un nuage de points 3D, reconstruisant les surfaces observées du monde réalisé.
Transporter (Intervention) : Le système applique la trajectoire alternative du véhicule de bord ( $a'$ ) à la pose de la caméra tout en maintenant le monde 3D reconstruit fixe. En utilisant un splatting vers l'avant (forward splatting) et un tampon de profondeur (depth buffer), les points 3D observés sont reprojetés dans la vue contrefactuelle de la caméra. Cela génère une image d'évidence déformée ( $E_t$ ) et un masque de support ( $M_t$ ) indiquant quels pixels sont déterminés par l'observation factuelle.
Compléter (Prédiction) : Le modèle de monde gelé est chargé de générer uniquement les régions non supportées (zones non visibles dans le journal factuel ou occultées).
- Pour les modèles de diffusion, l'entrée est un encodage bruité de l'évidence factuelle masqué par $M_t$ . Pendant le processus de débruitage, les régions d'évidence sont restaurées à chaque étape pour contraindre la génération.
- Pour les modèles autorégressifs, les jetons (tokens) correspondant au masque d'évidence sont fixés aux valeurs d'entrée, tandis que le modèle génère les jetons pour les régions restantes.
Combiner (Raffinement) : La sortie du modèle de monde est fusionnée avec l'évidence transportée. Une fonction de pondération ( $\alpha_t$ ) garantit que les pixels transportés fiables sont préservés textuellement, tandis que les bordures sont lissées pour harmoniser les couleurs et réduire les coutures.

Benchmark et Évaluation
Puisque les données du monde réel ne peuvent pas fournir de vérité de terrain contrefactuelle (on ne peut pas observer deux futurs à partir d'un même passé), les auteurs ont construit un benchmark contrôlé utilisant le simulateur CARLA.

Configuration : Ils simulent un monde avec un événement prédéfini (par exemple, une voiture émergeant d'une rue latérale). Ils exécutent trois scénarios : (1) Exécution factuelle ( $F, a_{obs}$ ), (2) Exécution contrefactuelle ( $P, a'$ ), et (3) Exécution nulle où l'événement est supprimé ( $U, a'$ ).
Métriques :
- Fraction Récupérée ($Rec$) : Mesure à quel point la prédiction ressemble à la vérité de terrain contrefactuelle ( $P$ ) par rapport à la référence nulle ( $U$ ) en utilisant la similitude d'embedding (DINOv2 et CLIP). Un score de 1 indique une récupération parfaite de l'événement ; 0 indique une omission complète.
- Fidélité Perceptive : Mesure la distance LPIPS entre la prédiction et la vérité de terrain contrefactuelle pour évaluer la qualité visuelle.

Résultats Clés
Les expériences sur deux modèles de monde représentatifs (un modèle basé sur la diffusion et un modèle autorégressif) ont produit les conclusions suivantes :

Échec de la Prédiction Directe : Les prédictions standards conditionnées par l'action directe échouent systématiquement à préserver les événements spécifiques présents dans la continuation factuelle. Leurs scores de « fraction récupérée » sont faibles, indiquant qu'ils génèrent des futurs plausibles mais incorrects où l'événement (par exemple, la voiture émergeant) ne se produit pas.
Efficacité de la Méthode : Le pipeline proposé, qui ne nécessite pas de réentraînement, améliore considérablement les performances. Il augmente substantiellement la fraction récupérée, réussissant à conserver le signal de l'événement que la prédiction directe perdait.
Qualité Visuelle : La méthode réduit la distance perceptive (LPIPS) par rapport à la vérité de terrain contrefactuelle, produisant des sorties qui sont à la fois sémantiquement correctes (contenant l'événement) et visuellement cohérentes.

Signification et Revendications
Le papier ne prétend pas avoir résolu la prédiction contrefactuelle pour tous les scénarios de conduite ou avoir introduit une nouvelle architecture d'apprentissage. Sa signification réside plutôt dans :

Le Diagnostic : Fournir une explication causale précise de la raison pour laquelle les modèles de monde actuels échouent aux tâches contrefactuelles (l'omission de l'abduction/de l'évidence de la continuation factuelle).
Le Benchmarking : Établir le premier benchmark contrôlé avec des vérités de terrain contrefactuelles appariées pour mesurer quantitativement ce mode de défaillance spécifique.
Une Base de Référence Constructive : Démontrer qu'une simple intervention géométrique sans réentraînement peut récupérer l'« évidence manquante » et améliorer considérablement la fidélité contrefactuelle. Cela sert de point de référence pour les méthodes futures, suggérant qu'une meilleure prédiction contrefactuelle pourrait nécessiter l'intégration explicite de l'évidence observée dans le processus de génération, plutôt que de compter uniquement sur le conditionnement par l'action.

Les auteurs concluent que ce travail vise à attirer l'attention sur l'écart entre la prédiction directe et le véritable raisonnement contrefactuel, motivant le développement de méthodes qui respectent la structure causale de cas spécifiques de conduite.

Articles similaires