💻 computer science

ConsisDrive: Identity-Preserving Driving World Models for Video Generation by Instance Mask

ConsisDrive est un modèle de monde pour la conduite autonome qui préserve l'identité des objets à travers les vidéos grâce à des mécanismes d'attention et de perte basés sur des masques d'instances, garantissant ainsi une cohérence temporelle accrue pour la génération de données réalistes.

Auteurs originaux : Zhuoran Yang, Yanyong Zhang

Publié 2026-02-11

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zhuoran Yang, Yanyong Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le "Miracle de l'Illusionniste" (ou le cauchemar de la voiture autonome)

Imaginez que vous regardiez un film de conduite. Vous voyez une voiture rouge passer devant vous. Dans la scène suivante, cette même voiture est devenue un camion bleu, ou alors elle est passée du rouge au vert sans raison. C'est absurde, n'est-ce pas ?

Pourtant, c'est exactement le problème des modèles d'intelligence artificielle actuels qui créent des vidéos pour entraîner les voitures autonomes. On appelle cela la "dérive d'identité". Pour une IA qui doit apprendre à conduire, c'est catastrophique : si un bus se transforme soudainement en camion dans sa "vision", elle ne saura jamais comment réagir dans la vraie vie. C'est comme si l'IA essayait d'apprendre à conduire dans un monde de rêve où les objets changent de forme et de couleur toutes les deux secondes.

La Solution : ConsisDrive (Le "Gardien de la Cohérence")

Les chercheurs ont créé ConsisDrive. Leur but ? S'assurer que si un objet est une petite voiture rouge à la seconde 1, il reste exactement la même petite voiture rouge à la seconde 10.

Pour réussir ce tour de force, ils ont utilisé deux outils magiques :

1. L'Attention Masquée par Instance (Le "Projecteur de Scène")

Imaginez un théâtre avec plusieurs acteurs sur scène. Dans les modèles classiques, tous les acteurs et tous les décors sont mélangés dans un grand brouillard de lumière : l'acteur A finit par prendre la couleur du costume de l'acteur B.

ConsisDrive agit comme un metteur en scène ultra-précis avec des projecteurs individuels :

Le Projecteur d'Identité : Il dit à l'IA : "Toi, ce pixel, tu es une voiture. Ton seul travail est de regarder les informations de la voiture (sa couleur, sa taille) et rien d'autre." Cela empêche la voiture de se transformer en camion.
Le Projecteur de Trajectoire : Il suit l'acteur sur scène. Il dit : "Peu importe où la voiture se déplace, elle doit toujours garder ses propres souvenirs de couleur et de texture." Cela empêche la voiture de changer de couleur en roulant.

2. La Perte Masquée par Instance (Le "Professeur de Zoom")

Imaginez un professeur qui corrige une copie d'examen. Si l'élève écrit une page entière, mais que la seule erreur importante est un petit détail dans un coin, un professeur classique donnerait une note moyenne en regardant toute la page. L'élève pourrait ignorer le petit détail.

ConsisDrive, c'est un professeur qui utilise une loupe :
Lors de l'entraînement, l'IA a tendance à se concentrer sur le décor (le ciel, les bâtiments) parce qu'ils prennent beaucoup de place. ConsisDrive dit : "Le ciel est important, mais concentre toute ton énergie sur les piétons et les voitures !" En mettant l'accent sur ces zones critiques (le "premier plan"), l'IA apprend à ne pas laisser les petits objets devenir flous ou disparaître.

Pourquoi est-ce important ? (Le Résultat)

Grâce à ces deux méthodes, ConsisDrive crée des vidéos de conduite tellement réalistes et stables qu'on peut s'en servir pour entraîner de vraies voitures autonomes.

C'est comme si, au lieu d'entraîner un pilote sur un simulateur de jeu vidéo buggé où tout change tout le temps, on l'entraînait sur un simulateur de vol ultra-réaliste. Résultat : quand la vraie voiture sortira sur la route, elle sera bien plus intelligente et prête à réagir correctement !

Résumé Technique : ConsisDrive

1. Problématique (The Problem)

Les modèles de "monde" (world models) pour la conduite autonome visent à générer des vidéos réalistes pour entraîner des systèmes de perception et de planification. Cependant, les modèles de diffusion actuels souffrent d'un phénomène de dérive d'identité (identity drift). Ce problème se manifeste de trois manières :

Dérive sémantique (Category Shift) : Un objet change de catégorie au fil des images (ex: un bus qui devient un camion).
Incohérence visuelle (Color Shift) : Les attributs physiques comme la couleur ou la texture d'un véhicule changent de manière erratique entre les images.
Dilution du premier plan (Foreground Dilution) : Comme les pixels de l'arrière-plan (ciel, bâtiments) sont majoritaires, les fonctions de perte standard accordent trop d'importance au décor, négligeant la précision des petits objets critiques (piétons, etc.).

2. Méthodologie (Methodology)

Pour résoudre ces problèmes, les auteurs introduisent ConsisDrive, un modèle qui intègre une conscience de l'instance (objet individuel) à la fois dans le mécanisme d'attention et dans l'objectif d'entraînement.

A. Instance-Masked Attention (IMA)

Le module IMA modifie le mécanisme d'attention 3D standard pour éviter les fuites d'informations entre les objets. Il utilise deux types de masques :

Masque d'Identité d'Instance (Instance Identity Mask) : Il force chaque jeton visuel (visual token) à n'interagir qu'avec l'encodage d'identité de l'objet auquel il appartient (basé sur la catégorie, la taille et l'ID de suivi). Cela garantit que l'identité sémantique reste ancrée.
Masque de Trajectoire d'Instance (Instance Trajectory Mask) : Il restreint l'attention temporelle de sorte que les jetons d'un même objet à travers différentes images ne communiquent qu'entre eux. Cela permet de propager la couleur et la texture de manière cohérente le long de la trajectoire de l'objet.

B. Instance-Masked Loss (IML)

Pour contrer la dilution du premier plan, les auteurs proposent une fonction de perte adaptative :

Masquage probabiliste : Au lieu d'appliquer une perte uniforme sur toute l'image, le modèle utilise des masques d'instance pour accentuer la supervision sur les zones de premier plan.
Équilibre dynamique : Pour éviter que le modèle ne néglige l'arrière-plan (ce qui nuirait au réalisme global), une stratégie stochastique est utilisée : avec une probabilité $\alpha$ , le modèle se concentre sur les instances, et avec une probabilité $1-\alpha$ , il effectue une reconstruction globale standard.

3. Contributions Clés (Key Contributions)

Nouveau mécanisme d'attention : L'introduction de l'IMA qui combine masques d'identité et de trajectoire pour une cohérence spatio-temporelle au niveau de l'objet.
Nouvel objectif d'entraînement : L'IML qui priorise la précision des objets critiques sans sacrifier la fidélité du décor.
Architecture end-to-end : Un cadre efficace qui utilise des boîtes de délimitation 3D (3D bounding boxes) comme conditions pour maintenir la fidélité géométrique.

4. Résultats (Results)

Les tests ont été effectués sur le jeu de données nuScenes et montrent des performances de pointe (SOTA) :

Qualité Vidéo : ConsisDrive atteint des scores FID (3.88) et FVD (37.23) supérieurs aux modèles existants (comme MagicDrive-V2 ou DriveDreamer2), prouvant une meilleure fidélité visuelle et temporelle.
Tâches de Perception : L'utilisation de vidéos générées par ConsisDrive pour l'augmentation de données améliore significativement les modèles de détection (NDS) et de suivi d'objets (MOT). Le modèle réduit drastiquement les changements d'identité (IDS - Identity Switches) dans les tâches de suivi.
Liaison d'attributs : Les tests confirment que les catégories et les tailles des objets sont fidèlement respectées par rapport aux conditions initiales.

5. Signification (Significance)

L'importance de ce travail réside dans sa capacité à transformer les modèles de génération de vidéos en véritables outils de simulation pour la conduite autonome. En garantissant que les objets restent les mêmes (même couleur, même type, même trajectoire) tout au long d'une séquence, ConsisDrive permet de créer des données synthétiques de haute qualité qui peuvent être utilisées pour entraîner des systèmes de conduite réels, réduisant ainsi le besoin de collecte de données coûteuse et dangereuse dans le monde réel.