💻 computer science

Adaptive-WAM: Quality-Guided Early-Exit Planning from Intermediate Video-Diffusion Features

Adaptive-WAM est un cadre de planification à sortie précoce guidé par la qualité qui exploite les caractéristiques intermédiaires des modèles de diffusion vidéo pour allouer dynamiquement la profondeur de calcul, atteignant ainsi des performances de conduite autonome de pointe en réduisant considérablement la latence grâce au contournement de la génération vidéo itérative.

Auteurs originaux : Sining Ang, Yuguang Yang, Yan Wang

Publié 2026-08-07

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sining Ang, Yuguang Yang, Yan Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment conduire une voiture. Pour ce faire en toute sécurité, le robot doit comprendre non seulement ce qui se passe en ce moment, mais aussi comment le monde va changer dans les quelques secondes à venir. Est-ce que ce piéton va descendre du trottoir ? Est-ce que la voiture devant va freiner brusquement ? Pendant longtemps, les scientifiques ont tenté de résoudre cela en construisant des « modèles de monde » (world models) — des cerveaux d'IA massifs qui tentent d'imaginer tout le futur, image par image, comme un réalisateur filmant une scène avant qu'elle ne se produise. Ces modèles sont incroyablement puissants, mais ils sont aussi lourds et lents. C'est comme demander à un chef de préparer un repas complet de trois services juste pour décider s'il doit ajouter une pincée de sel à la soupe. Le robot doit attendre que tout le « film » du futur soit généré avant de pouvoir prendre une seule décision de conduite, ce qui prend trop de temps et de puissance de calcul pour une véritable voiture circulant à des vitesses d'autoroute.

Cela nous amène à une grande question : avons-nous vraiment besoin de regarder tout le film pour savoir quoi faire ? Peut-être que le robot peut comprendre le bon mouvement en jetant simplement un coup d'œil aux premières secondes du « film du futur », ou en jetant un coup d'œil au milieu du scénario. C'est le cœur de la nouvelle recherche appelée Adaptive-WAM. Les chercheurs ont voulu voir s'ils pouvaient rendre ces modèles d'IA géants et lents plus rapides et plus intelligents en leur permettant de « sortir prématurément ». Au lieu de forcer l'ordinateur à exécuter chaque étape du calcul, ils ont construit un système qui vérifie la qualité de la réponse au fur et à mesure. Si la réponse semble suffisamment bonne, l'ordinateur s'arrête et conduit. Si elle ne l'est pas, il continue de travailler. C'est comme un étudiant passant un examen qui réalise qu'il connaît déjà la réponse à la question cinq, de sorte qu'il n'a pas besoin de lire le reste du chapitre avant d'écrire sa réponse.

L'article, intitulé « Adaptive-WAM: Quality-Guided Early-Exit Planning from Intermediate Video-Diffusion Features », aborde cela en examinant comment fonctionnent ces modèles d'IA générateurs de vidéos. Ces modèles décomposent généralement le futur en étapes minuscules, ajoutant plus de détails au fur et à mesure, un peu comme un artiste traçant un croquis sommaire puis remplissant lentement les couleurs. Les chercheurs ont découvert quelque chose de surprenant : l'IA n'a pas besoin de terminer toute la peinture pour savoir où la voiture doit aller. Ils ont découvert que les « couches intermédiaires » du cerveau de l'IA — là où elle a commencé à donner un sens à la scène mais n'a pas encore fini de rendre les pixels finaux — contiennent déjà suffisamment d'informations pour prendre une décision de conduite sûre.

Pour tester cela, l'équipe a construit un nouveau planificateur utilisant un modèle vidéo massif appelé Wan2.2. Imaginez ce modèle comme un tunnel profond avec de nombreuses pièces. Habituellement, une voiture doit traverser chaque pièce du début à la fin pour obtenir la réponse. Les chercheurs ont cependant installé des « portes de sortie » à plusieurs points du tunnel (spécifiquement aux couches 5, 9, 15, 18, 22 et 30). À chaque sortie, un petit « juge » rapide examine la trajectoire (le chemin que la voiture prévoit de suivre) que l'IA a générée jusqu'à présent. Ce juge demande : « Ce chemin est-il assez bon ? » Si la réponse est oui, la voiture sort immédiatement et conduit. Si la réponse est non, la voiture continue de marcher plus profondément dans le tunnel pour obtenir une meilleure réponse.

Les résultats ont été passionnants. Les chercheurs ont constaté que la qualité de la décision de conduite ne dépendait pas beaucoup de la façon dont la vidéo du futur était « bruitée » ou floue, mais elle dépendait fortement de la profondeur de l'observation de l'IA. Ils ont découvert que le meilleur chemin unique provenait souvent du milieu du tunnel, et non de la toute fin. En utilisant leur stratégie de « sortie intelligente », le nouveau planificateur a pu prendre des décisions en environ 170 millisecondes sur une puce informatique puissante (une A100). C'est environ 10 % plus rapide qu'un planificateur standard qui s'arrête toujours à un point fixe, et près de 47 % plus rapide qu'un planificateur qui insiste pour parcourir tout le tunnel. Mieux encore, le système n'a pas seulement été plus rapide ; il est devenu légèrement plus précis, obtenant un score de 90,79 sur un test de conduite standard appelé NAVSIM, battant ainsi les versions à profondeur fixe.

L'article a également montré que cette astuce de « sortie intelligente » fonctionne même lorsque le robot conduit dans une ville complètement différente sans entraînement supplémentaire. Testé sur le jeu de données nuScenes (une autre collection de scènes de conduite), le système a commis très peu d'erreurs, avec une erreur moyenne de seulement 0,88 mètre et un taux de collision de seulement 0,08 %. Cela suggère que l'IA a appris une compréhension générale de la conduite qui n'est pas liée à un jeu de données spécifique.

De manière cruciale, les chercheurs ont écarté l'idée que l'ordinateur ait besoin de générer la vidéo complète en haute définition pour prendre une décision. Ils ont prouvé que le temps supplémentaire passé à rendre les images finales du « film » est un effort gaspillé pour la planification. Ils ont également montré que le simple fait de figer le cerveau de l'IA et de n'entraîner que les portes de sortie ne suffisait pas ; l'ensemble du système devait être ajusté ensemble pour fonctionner de manière optimale.

En résumé, Adaptive-WAM est une façon ingénieuse de rendre les conducteurs d'IA super-intelligents beaucoup plus efficaces. Cela apprend au robot à faire confiance à son intuition lorsque la réponse est claire, plutôt que de perdre du temps à tout revérifier. En laissant l'IA s'arrêter plus tôt lorsque le plan est bon, la voiture peut réagir plus rapidement au monde réel, nous rapprochant ainsi de voitures autonomes qui soient à la fois sûres et rapides. Le code de ce système sera publié, permettant à d'autres de construire sur cette idée de « sorties précoces guidées par la qualité » pour créer des machines encore plus intelligentes.

Résumé Technique : Adaptive-WAM

Énoncé du Problème

Les modèles de diffusion vidéo de grande taille offrent des priors spatiotemporels riches pour la planification de la conduite autonome, mais les modèles Monde-Action (WAM) existants imposent souvent le coût computationnel complet de la génération de vidéos futures itératives et du décodage VAE, même lorsque le déploiement ne nécessite qu'une trajectoire de l'ego de faible dimension. Les approches actuelles couplent généralement la prédiction et l'action par un chemin de backbone prédéterminé ou une boucle de débruitage itérative, ce qui crée une rigidité inutile. La question centrale abordée est : Quelle part d'un modèle de diffusion vidéo doit être exécutée pour prendre une décision de conduite fiable ?

Les auteurs identifient deux axes souvent confondus :

Timestep de la diffusion vidéo : Contrôle le niveau de bruit latent.
Profondeur du DiT : Contrôle le nombre de blocs Transformer évalués.

Une analyse préliminaire sur NAVSIM révèle que la performance de planification est largement insensible aux niveaux de bruit vidéo (timesteps) mais présente une variation significative dépendante de la profondeur. De plus, des trajectoires robustes peuvent être décodées à partir de couches intermédiaires, et différentes profondeurs résolvent des ensembles de scènes partiellement chevauchants, suggérant qu'une exécution à profondeur fixe est sous-optimale.

Méthodologie : Adaptive-WAM

Le papier propose Adaptive-WAM, un planificateur à sorties multiples et sensible à la qualité, construit sur un backbone Wan2.2-TI2V-5B. L'architecture découple le processus de génération vidéo du processus de décision de planification lors de l'inférence.

Architecture et Flux d'Inférence

Backbone : Le modèle utilise le DiT vidéo Wan. Lors de l'inférence, il traite l'image actuelle de la caméra frontale et une description textuelle (dérivée des métadonnées de la carte, de la vitesse de l'ego et de l'historique de la manœuvre) à un indice de bruit vidéo fixe ( $s^* = 17$ ). Il ne consomme pas de futures vidéos de vérité terrain et ne réalise pas de boucles de débruitage itératives complètes lors du déploiement.
Têtes de Trajectoire Multi-Sorties : Six blocs DiT intermédiaires (couches 5, 9, 15, 18, 22 et 30) servent de points de sortie. À chaque sortie $\ell$ , une couche de projection convertit la représentation cachée $h_\ell$ en tokens de conditionnement de trajectoire, qui sont ensuite injectés dans une tête de diffusion de trajectoire indépendante de type ReCogDrive à 5 étapes. Chaque tête génère une trajectoire candidate unique.
Routage Adaptatif Guidé par la Qualité :
- Un évaluateur de qualité de trajectoire léger (basé sur un encodeur DINOv2-Small affiné et un MLP) évalue chaque trajectoire décodée.
- L'évaluateur prédit les composantes de la métrique de planification (NC, DAC, DDC, TTC, EP, Confort) plutôt qu'un ordre total strict, reconnaissant que les récompenses de planification sont souvent saturées et liées.
- Logique de Décision : Le système maintient un pool de trajectoires décodées. Si le score de qualité prédit le plus élevé ( $\hat{q}$ ) parmi les sorties tentées dépasse un seuil $\eta$ , l'inférence se termine et la meilleure trajectoire accumulée est retournée. Sinon, le système continue l'exécution à partir de l'état caché mis en cache vers la prochaine sortie plus profonde.
- Si aucune sortie ne respecte le seuil, le système revient par défaut à la trajectoire ayant le score le plus élevé de la dernière sortie (couche 30).

Stratégie d'Entraînement

Adaptation au Domaine Vidéo : Le backbone Wan est adapté via LoRA (Low-Rank Adaptation), tandis que les projections et les têtes de trajectoire sont entièrement optimisées. L'objectif combine la perte de diffusion vidéo native avec les pertes de diffusion de trajectoire pour toutes les sorties.
Entraînement de l'Évaluateur : L'évaluateur est affiné sur des trajectoires générées en utilisant une perte de cross-entropie binaire à étiquettes souples contre les cibles fournies par l'évaluateur. Il opère avec une isolation de gradient par rapport à l'acteur pour éviter d'altérer la distribution de la trajectoire.
RL de Planificateur Uniquement : Après l'apprentissage par imitation, le backbone et l'évaluateur sont gelés. Les têtes de trajectoire sont affinées à l'aide de DiffGRPO (une méthode d'apprentissage par renforcement dédiée au planificateur), traitant la chaîne complète de débruitage en 5 étapes comme une action unique.

Contributions Clés

Diagnostic Systématique : Le papier démontre que la performance de planification de conduite est robuste aux niveaux de bruit vidéo mais hautement sensible à la profondeur du DiT. Il révèle que les caractéristiques intermédiaires fournissent un substrat de planification solide et que différentes profondeurs résolvent des ensembles de scènes distincts et non redondants.
Architecture Multi-Sortie Sensible à la Qualité : Adaptive-WAM introduit un mécanisme pour allouer dynamiquement la profondeur du backbone en fonction de la qualité du plan actuellement décodé, évitant ainsi le besoin de génération vidéo complète ou d'une exécution à profondeur fixe.
Compromis Efficacité-Performance : La méthode atteint une performance de planification de pointe parmi les planificateurs de modèles du monde comparés, tout en réduisant considérablement la latence d'inférence en sautant les calculs inutiles pour les scènes "faciles".

Résultats Expérimentaux

NAVSIM v1 et v2

NAVSIM v1 : Le planificateur adaptatif à trajectoire unique atteint 90.8 PDMS. Une variante à sortie fixe avec 64 propositions (utilisant le bloc 22) atteint 92.6 PDMS, surpassant la référence DriveVA.
NASIM v2 : Adaptive-WAM atteint 89.9 EPDMS, offrant les meilleurs résultats rapportés parmi les planificateurs de modèles du monde par vue frontale comparés.
Latence : Sur un GPU A100, le planificateur adaptatif affiche une latence moyenne de bout en bout de 170 ms. C'est environ 10 % plus rapide qu'un planificateur à bloc 15 fixe (190 ms) et 47 % plus rapide qu'un planificateur à pleine profondeur fixe (320 ms).

Transfert Zero-Shot

Sans affinement sur le domaine cible, le modèle est transféré sur nuScenes, atteignant une erreur L2 moyenne de 0.88 m et un taux de collision de 0.08 %. Cette performance est compétitive avec DriveVA (0.84 m, 0.06 %) mais avec des coûts d'inférence nettement inférieurs, car Adaptive-WAM évite la génération vidéo complète.

Études d'Ablation

Backbone : L'entraînement conjoint par LoRA du backbone Wan est critique ; geler le backbone ou utiliser des caches séparés ne permet de récupérer qu'une fraction de la performance.
Évaluateur : DINOv2-Small est suffisant pour l'évaluateur de qualité ; utiliser les caractéristiques du backbone Wan pour l'évaluation n'offre que des gains négligeables (0.03 points) pour un coût computationnel bien plus élevé.
Profondeur : Bien que le bloc 15 soit généralement la sortie fixe la plus forte, la politique adaptative surpasse celle-ci en sélectionnant dynamiquement des couches plus profondes pour les scènes difficiles.

Signification et Revendications

Le papier affirme que les caractéristiques intermédiaires du vidéo-DiT sont des représentations de planification robustes qui ne nécessitent pas de synthèse d'image complète pour être efficaces. En couplant des têtes de trajectoire multi-profondeur avec un contrôleur de qualité sensible aux égalités (tie-aware), Adaptive-WAM démontre une voie pratique pour passer des grands modèles du monde génératifs à des politiques de conduite efficaces en temps réel.

Les auteurs soulignent que leur approche :

Évite la boucle de débruitage de classificateur-sans-classe itérative et le décodage VAE requis pour la synthèse de vidéos futures.
Alloue dynamiquement le calcul en fonction de la qualité de la trajectoire plutôt que de s'engager dans une profondeur de lecture unique.
Atteint des résultats de pointe sur NAVSIM tout en maintenant une latence moyenne inférieure aux références les plus fortes à profondeur fixe.

Ce travail suggère que pour la planification de la conduite autonome, le "modèle du monde" n'a pas besoin de rendre complètement le futur ; il doit seulement calculer suffisamment de caractéristiques latentes pour décoder une trajectoire fiable.