🤖 AI

OmniDrive: An LLM-Choreographed Multi-Agent World Model with Unified Latent Co-Compression for Multi-View Driving Video Generation

Cet article présente DRIVE-CHOREO, un modèle de monde multi-agents chorégraphié par un LLM qui unifie les contrôles de conduite hétérogènes et la géométrie multi-vues à travers une séquence de jetons latents partagée et une stratégie de co-compression, atteignant un état de l'art en matière de cohérence et démontrant une utilité significative pour les tâches de conduite autonome.

Auteurs originaux : Zijie Meng, Yufei Liu, Chengqian Ma, Zhiyu Li, Jiyuan Liu, Wenhua Nie, Bingcai Wei, Shuqin Chen, Weichen Xu, Jiquan Yuan, Miao Zhang

Publié 2026-06-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zijie Meng, Yufei Liu, Chengqian Ma, Zhiyu Li, Jiyuan Liu, Wenhua Nie, Bingcai Wei, Shuqin Chen, Weichen Xu, Jiquan Yuan, Miao Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à conduire une voiture en lui montant des vidéos de la route. Le robot doit comprendre trois choses à la fois : ce que le conducteur dit (le langage), où se trouvent les voitures et les routes (la géométrie), et ce que les caméras voient réellement (les pixels).

Pendant longtemps, les chercheurs en IA ont lutté pour faire fonctionner ces trois éléments ensemble de manière fluide. C'est comme essayer de diriger un orchestre où les violonistes lisent une partition, les batteurs écoutent un podcast et les chanteurs improvisent sans chef d'orchestre. Le résultat est souvent une performance désordonnée où la voiture peut soudainement téléporter, le ciel peut changer de couleur entre les caméras, ou le robot peut ignorer les feux de signalisation.

Le papier présente OMNIDRIVE, un nouveau système qui agit comme un maître réalisateur de films pour corriger ce désordre. Voici comment il fonctionne, décomposé en concepts simples :

1. Le Problème : L'équipe « Déconnectée »

Les modèles d'IA actuels pour les vidéos de conduite traitent généralement le « quoi » (le langage) et le « où » (les cartes) séparément du « à quoi cela ressemble » (la vidéo).

Le problème : Ils tentent de coller ces parties distinctes ensemble après que la vidéo est déjà presque terminée. C'est comme essayer de coller une carte sur un écran de cinéma après que le film a déjà commencé à jouer. Le résultat est souvent une « dérive », où la caméra de gauche voit un arbre, mais la caméra de droite voit un bâtiment, ou la voiture fait un saut bizarre.

2. La Solution : Le Réalisateur à « Trois Agents »

OMNIDRIVE remplace la colle désordonnée par une équipe de trois agents d'IA spécialisés (propulsés par un grand modèle de langage) qui travaillent ensemble avant et pendant la création de la vidéo. Considérez-les comme une équipe de production cinématographique :

L'Architecte (Le Scénariste) : Vous lui donnez une instruction simple comme « Conduire dans une ville pluvieuse la nuit ». L'Architecte traduit cela en un script strict et structuré appelé WORLDSCRIPT. Il liste précisément la météo, la direction de la voiture (l'ego-car) et l'emplacement des autres voitures.
Le Cartographe (Le Chef Décorateur) : Cet agent prend le script et dessine un « plan » ou une carte éparse. Il ne dessine pas toute la vidéo ; il dessine simplement les lignes de la route, les voies et les boîtes autour des autres voitures. Il transforme le texte en une carte visuelle qui correspond aux angles de vue des caméras.
L'Auditeur (L'Inspecteur de Contrôle Qualité) : Pendant que la vidéo est en cours de création, cet agent surveille les différents angles de vue des caméras. Si la caméra avant voit une voiture rouge mais que la caméra latérale en voit une bleue, l'Auditeur crie : « Hé, ça ne correspond pas ! » et ordonne au système de corriger immédiatement.

3. La Recette Secrète : La « Co-Compression Latente »

C'est l'innovation la plus technique mais aussi la plus cruciale du papier. Habituellement, l'IA regarde chacune des six caméras d'une voiture séparément, comme si elle regardait à travers six fenêtres différentes, une par une.

OMNIDRIVE fait quelque chose de différent. Il prend la vidéo des six caméras et le « plan » du Cartographe, et les assemble tous dans une seule et même longue bande de données avant même que l'IA ne commence à générer la vidéo.

L'analogie : Imaginez que vous avez six pièces de puzzle différentes. Au lieu d'essayer de les assembler après les avoir peintes, vous les scotchez toutes sur un grand tableau d'abord. Ensuite, vous peignez tout le tableau à la fois. Parce qu'elles sont physiquement connectées sur le tableau, la peinture (la vidéo) s'écoule naturellement d'une caméra à l'autre sans coupures ni erreurs.
Le résultat : L'IA « voit » le monde en 3D comme un objet unique et unifié plutôt que comme six images 2D séparées. Cela garantit que si une voiture est à gauche, elle est aussi à droite, exactement là où elle doit être.

4. Le Résultat : Un Film Parfaitement Aligné

Parce que le langage, la carte et la vidéo sont tous « chorégraphiés » ensemble dès la première étape :

Plus de fantômes : Les voitures ne disparaissent pas et ne se téléportent pas entre les vues de caméra.
Consistance parfaite : L'éclairage et les ombres correspondent parfaitement sur les six caméras.
Utilisation dans le monde réel : Le papier montre que si vous entraînez le cerveau d'une voiture autonome uniquement sur des vidéos créées par OMNIDRIVE, la voiture conduit réellement mieux dans le monde réel que les voitures entraînées sur de vraies séquelles de conduite.

Résumé

OMNIDRIVE est comme un super-conducteur pour la génération de vidéos de conduite. Au lieu de laisser le langage, les cartes et les caméras se disputer, il les force à s'asseoir à la même table, à parler la même langue et à bouger en parfaite synchronisation. Le résultat est une simulation de conduite si réaliste et cohérente qu'elle peut réellement apprendre aux vraies voitures à conduire en toute sécurité.

Résumé Technique : OMNIDRIVE

1. Énoncé du Problème

Les modèles de monde pour la conduite autonome font face à deux tensions persistantes et non résolues qui entravent la génération de vidéos multi-vues de haute fidélité et contrôlables :

Injection de Contrôle Hétérogène : Les systèmes existants peinent à unifier des modalités de contrôle fondamentalement différentes. Les indices géométriques (cartes HD, boîtes 3D, poses de caméra) sont ancrés spatialement sur la grille de pixels, tandis que les indices sémantiques (texte libre, météo, style) sont globalement diffus. Les approches actuelles se contentent généralement de greffer des branches séparées (par exemple, ControlNet pour la géométrie, l'attention croisée pour le texte) qui restent déconnectées jusqu'à ce que le processus de diffusion tente de les réconcilier a posteriori.
Fusion Multi-vues Post-hoc : La plupart des méthodes compressent chaque vue de caméra indépendamment via des VAE 3D distincts et ne les fusionnent que plus tard via une attention multi-vues. Cela produit des latents locaux à la caméra qui manquent de conscience géométrique 3D globale, entraînant des problèmes persistants tels que la dérive multi-vues, le scintillement photométrique et la téléportation d'objets, même lorsque les métriques de qualité de vue individuelle (FID) sont compétitives.

Les auteurs soutiennent que la cause profonde de ces deux échecs est l'absence d'un interlingua symbolique partagé qui aligne le langage, la géométrie et les pixels au niveau du jeton latent.

2. Méthodologie

OMNIDRIVE reformule la génération de vidéos multi-vues contrôlables comme un problème de chorégraphie latente, orchestré par un système multi-agents et unifié par une stratégie de compression novatrice.

A. Système Multi-Agents Chorégraphié par LLM

Au lieu d'un pipeline monolithique de type prompt-vers-encodeur, OMNIDRIVE emploie trois agents spécialisés Qwen2.5-VL qui rédigent collectivement une séquence de jetons unique et sensible à la position :

ARCHITECT (L'Architecte) : Analyse les prompts libres de l'utilisateur pour produire un WORLDSCRIPT (JSON) structuré. Ce script encode l'état global (météo, heure), la trajectoire de l'ego, les listes d'agents (classes, positions, comportements) et la topologie de la route. La sortie est encodée sous forme de jetons sémantiques ( $C_{sem}$ ).
CARTOGRAPHER (Le Cartographe) : Ancre le WORLDSCRIPT dans une géométrie spatialement ancrée. Il génère de manière programmatique des images de mise en page éparses (cartes HD rasterisées, boîtes 3D projetées, rubans de l'ego) pour chaque caméra et chaque pas de temps. Ces mises en page sont encodées en jetons géométriques ( $C_{geo}$ ) qui partagent les mêmes indices de position exacts que les jetons visuels.
AUDITOR (L'Auditeur) : Pendant l'entraînement, cet agent consomme les découpes multi-vues décodées et le WORLDSCRIPT pour générer des critiques structurées (scores de cohérence et étiquettes de modes de défaillance) entre les paires de caméras. Ils sont encodés comme des jetons de revue ( $C_{rev}$ ) pour fournir une supervision auxiliaire.

B. Co-Compression Latente

Pour résoudre le problème de cohérence multi-vues, OMNIDRIVE introduit la Co-Compression Latente, qui remplace l'encodage indépendant par caméra par un processus unifié :

Permutation Vue-Temps ( $\Pi$ ) : Le cube vidéo de six caméras $\times$ temps est aplati en un flux pseudo-temporel où la dimension temporelle est définie par $\tilde{t} = (n-1)T + t$ . Cette permutation est appliquée de manière identique au flux vidéo RGB et aux images de mise en page géométrique du CARTOGRAPHER.
VAE 3D Unifié : Un seul VAE 3D (pré-entraîné sur des vidéos génériques) encode le tenseur permuté. Comme la permutation est métriquement préservante et orthogonale, elle maintient la constante de Lipschitz de l'encodeur.
Padding Sensible au Bloc de Vue (VBP) : Pour éviter que le champ récepteur convolutionnel ne chevauche différentes vues de caméra (ce qui mélangerait des contextes spatiaux non liés), un opérateur de masquage apprenable est appliqué. Cela garantit que les noyaux temporels n'agrègent que des informations provenant du même instant à travers les vues, réduisant ainsi la variance inter-caméra.
Point de Terminaison de Bruit Partagé : Pour les vues capturées au même instant physique, le point de terminaison du bruit ( $z_1$ ) dans la formulation de l'ajustement de flux (flow-matching) est partagé, réduisant davantage la variance photométrique.

C. Génération Chorégraphiée (MM-DiT)

Le latent co-compressé est patchifié et concaténé avec les jetons rédigés par les agents ( $C_{sem}, C_{geo}, C_{tmp}, C_{rev}$ ) en une séquence unifiée $S$ .

Schéma Positionnel : Les jetons géométriques ( $C_{geo}$ ) partagent les mêmes indices de position 3D $(\tilde{t}, i, j)$ que les jetons visuels ( $X$ ), imposant un ancrage géométrique au niveau du pixel. Les jetons sémantiques sont décalés, et les jetons temporels sont sinusoïdaux.
Attention Biaisée : Un biais contrôlable est appliqué au mécanisme d'attention multi-modale, resserrant spécifiquement l'attention entre les jetons visuels et les jetons géométriques ( $X$ et $C_{geo}$ ) via un gain scalaire $\gamma_{geo}$ . Cela réduit l'attention croisée multi-branches en un mécanisme d'auto-attention unique avec un alignement positionnel explicite.

D. Entraînement et Inférence

Fonction de Perte : Le modèle est entraîné à l'aide de l'ajustement de flux conditionnel ( $L_{CFM}$ ) combiné à un terme de lissage sensible à l'équivariance ( $L_{sm}$ ) qui pénalise les sauts de latents non physiques, ainsi qu'une perte AUDITOR ( $L_{rev}$ ) qui aligne les désaccords de vélocité entre les vues avec les scores de cohérence du critique.
Inférence : La génération est effectuée via un solveur d'ODE de flux rectifié (étapes de Heun). L'AUDITOR peut être invoqué optionnellement lors du test pour noter les échantillons intermédiaires et déclencher une étape de raffinement unique si les scores de cohérence tombent sous un certain seuil.

3. Contributions Clés

Architecture OMNIDRIVE : Le premier modèle de monde de conduite multi-agents qui unifie la compréhension du langage, la mise en page géométrique et la génération de pixels dans une grille de jetons unique sensible à la position.
Co-Compression Latente : Une stratégie de permutation vue-temps novatrice qui transforme les contraintes 3D inter-caméras en dépendances convolutionnelles locales au sein d'un VAE 3D partagé, éliminant le besoin de fusion post-hoc.
Conditionnement Chorégraphié par LLM : Un cadre où trois agents spécialisés (ARCHITECT, CARTOGRAPHER, AUDITOR) rédigent une séquence de conditionnement liée à la grille visuelle au niveau du jeton, permettant un contrôle fin et désengagé.
Performance de l'État de l'Art : Le modèle établit de nouveaux records sur le jeu de données nuScenes pour la cohérence multi-vues et la contrôlabilité.

4. Résultats Expérimentaux

Évalué sur l'ensemble de validation nuScenes (6 caméras, 32 images, résolution 880×1280) :

Qualité et Cohérence : OMNIDRIVE atteint un FVD de 45,7 et un score de cohérence multi-vues (PC) de 65,6 %, surpassant nettement les bases comme MagicDrive-V2 (FVD 64,8, PC 62,8 %) et UniMLVG. Il réduit l'erreur photométrique épipolaire (EPC) d'environ 28 % par rapport au second meilleur.
Contrôlabilité : Le modèle atteint un BEV mAP de 21,55 et un mIoU de 18,87 sur les données générées, dépassant toutes les autres méthodes.
Utilité Aval : Un détecteur (BEVFormer-S) entraîné uniquement sur 20 000 clips synthétiques générés par OMNIDRIVE atteint 36,8 mAP et 44,0 NDS sur les données réelles de validation nuScenes. Cela représente une amélioration de +2,4 NDS par rapport à une base entraînée uniquement sur des données réelles, validant la haute utilité du corpus synthétique.
Efficacité : OMNIDRIVE opère à la frontière de Pareto entre qualité et latence, générant des clips en 9,6 secondes (2,4× plus vite que UniMLVG) avec une utilisation de mémoire moindre.

5. Signification et Revendications

L'article affirme qu'OMNIDRIVE résout le compromis de longue date entre fidélité et contrôlabilité dans les modèles de monde de conduite. En établissant un "interlingua symbolique partagé" où le langage symbolique, la géométrie rendue et les latents de pixels partagent un référentiel de coordonnées entièrement aligné, le système permet :

Une Contrôlabilité Réelle : Les utilisateurs peuvent remplacer des champs uniques dans le WORLDSCRIPT (ex: météo, trajectoire) pour modifier uniquement l'attribut ciblé sans affecter les autres, démontant un contrôle fin et désengagé.
Un Ancrage Géométrique : L'approche de co-compression garantit que les contraintes géométriques sont respectées au niveau du latent, empêchant la "dérive multi-vues" et la "téléportation d'objets" communes aux schémas d'encodage indépendants.
Une Utilité Pratique : Les données générées ne sont pas seulement visuellement plausibles mais fonctionnellement précieuses, améliorant directement les performances des modèles de perception en aval entraînés sur des données du monde réel.

Les auteurs positionnent OMNIDRIVE comme une étape fondamentale vers une "véritable contrôlabilité" dans les modèles de monde génératifs, passant de flux de contrôle déconnectés à un processus de génération unifié et coordonné par des agents.