RAYNOVA: Scale-Temporal Autoregressive World Modeling in Ray Space

Le papier présente RAYNOVA, un modèle de monde multivue pour la conduite autonome qui utilise un cadre autorégressif dual causal et un encodage de position basé sur les rayons de Plücker pour générer des vidéos 4D physiquement plausibles et généralisables sans dépendre de priors géométriques 3D explicites.

L'essentiel

Imaginez que vous essayez de prédire l'avenir d'une ville en regardant par la fenêtre de votre voiture. La plupart des systèmes actuels fonctionnent comme un photographe qui prend des photos séparées : d'abord il analyse la géométrie de la rue (les bâtiments, les routes), puis il analyse le temps qui passe (les voitures qui bougent). C'est un peu comme essayer de comprendre une symphonie en écoutant d'abord tous les violons, puis tous les violoncelles, séparément. Le résultat est souvent rigide et ne fonctionne pas bien si vous changez de voiture ou si vous tournez brusquement.

RAYNOVA, c'est le nouveau modèle présenté dans cet article, et il change la donne. Voici comment on peut l'imaginer simplement :

1. Le Chef d'Orchestre "Rayon de Lumière"

Au lieu de se fier à des règles rigides de 3D (comme des maquettes de Lego préfabriquées), RAYNOVA utilise une idée géniale : les rayons de lumière.

Imaginez que chaque pixel de votre écran est un rayon de lumière qui part de l'œil du conducteur (la caméra) et traverse le monde. RAYNOVA ne regarde pas "où" se trouve un objet dans un espace absolu (ce qui pose problème si vous bougez), mais il regarde la relation entre ces rayons.

• L'analogie : C'est comme si vous appreniez à danser non pas en mémorisant des coordonnées GPS, mais en sentant le rythme et la distance par rapport à votre partenaire de danse. Peu importe où vous êtes sur la piste, le mouvement reste fluide. Cela permet au modèle de s'adapter à n'importe quelle caméra, même celles qu'il n'a jamais vues auparavant.

2. Le Double Moteur : "Zoom" et "Temps"

La plupart des modèles prédisent l'image suivante pixel par pixel, comme un enfant qui remplit un dessin case par case. RAYNOVA, lui, utilise une stratégie en deux temps, qu'on appelle l'autorégression duale :

• Le Zoom (Échelle) : Imaginez que vous dessinez un paysage. D'abord, vous faites un croquis grossier (les grandes formes, les couleurs). Ensuite, vous ajoutez les détails (les feuilles des arbres, les panneaux). RAYNOVA fait pareil : il prédit d'abord la "structure globale" de la scène, puis il affine les détails. C'est plus rapide et plus logique.
• Le Temps : Il ne regarde pas seulement l'image actuelle, mais il se souvient de tout ce qui s'est passé avant, à travers toutes les caméras (avant, arrière, gauche, droite) en même temps.

3. L'Entraînement "Répétitif" (Pour ne pas oublier)

Quand on demande à une IA de générer une vidéo très longue (par exemple, 20 secondes de conduite), elle a tendance à "oublier" ce qu'elle a généré au début et à commencer à halluciner des choses bizarres (distribution drift). C'est comme si un acteur oubliait son texte après 5 minutes de scène.

Pour régler ça, les auteurs ont inventé une méthode d'entraînement récurrente.

• L'analogie : C'est comme un musicien qui répète une longue pièce. Au lieu de jouer la pièce du début à la fin une seule fois, il joue, s'arrête, écoute son erreur, et recommence immédiatement la suite en se basant sur ce qu'il vient de jouer. Cela force le modèle à apprendre à être cohérent sur la durée, même s'il fait des petites erreurs.

4. Pourquoi c'est impressionnant ?

Dans les tests, RAYNOVA a montré des capacités incroyables :

• Polyvalence : Il peut générer des vidéos à partir de n'importe quel angle de caméra, même ceux qui n'existaient pas dans ses données d'entraînement (comme si vous lui donniez une caméra sur le toit d'un camion alors qu'il n'a vu que des voitures de tourisme).
• Contrôle : Vous pouvez lui dire "il va pleuvoir", "ajoute un piéton ici" ou "change la carte routière", et il intégrera ces changements de manière réaliste.
• Vitesse : Grâce à sa méthode de "zoom" (prédire les grandes formes d'abord), il est beaucoup plus rapide que les modèles actuels qui utilisent la diffusion (qui sont comme des peintres qui ajoutent du bruit et le nettoient lentement).

En résumé

RAYNOVA, c'est comme donner à une IA un sens de l'espace et du temps naturel, basé sur la façon dont la lumière voyage, plutôt que de lui donner un manuel de règles rigides. C'est un "modèle de fondation" (World Foundation Model) qui comprend le monde comme un tout fluide et continu, capable de simuler des scénarios de conduite réalistes, longs et variés, sans avoir besoin de construire une maquette 3D complexe à chaque fois.

C'est un pas de géant vers des voitures autonomes qui peuvent "rêver" et simuler des millions de scénarios de conduite pour apprendre à conduire en toute sécurité, peu importe la météo ou la configuration des caméras.

Résumé technique

1. Problématique et Contexte

Les modèles de fondation du monde (World Foundation Models - WFMs) visent à simuler l'évolution du monde réel avec un comportement physiquement plausible. Dans le domaine de la conduite autonome, ces modèles doivent générer des vidéos multi-caméras cohérentes dans un espace spatio-temporel 4D continu.

Les approches existantes souffrent de plusieurs limitations majeures :

• Découplage espace-temps : La plupart des méthodes traitent les corrélations spatiales (entre les vues) et temporelles (entre les frames) séparément, ce qui limite la flexibilité face à des mouvements de caméra rapides ou à des configurations de capteurs nouvelles.
• Biais géométriques forts : D'autres approches imposent des représentations 3D explicites (nuages de points, BEV, volumes) ou des contraintes géométriques rigides. Bien qu'efficaces dans des domaines restreints, ces méthodes peinent à généraliser à des environnements "open-world" non vus lors de l'entraînement.
• Manque de généralisation : Les modèles actuels sont souvent liés à des configurations de capteurs fixes et ne peuvent pas facilement synthétiser de nouvelles vues ou s'adapter à des mouvements d'ego-vehicle complexes sans perte de cohérence.

2. Méthodologie : RAYNOVA

RAYNOVA est un modèle de fondation du monde géo-agnostique (ne dépendant pas d'une géométrie 3D explicite) conçu pour les scénarios de conduite. Il repose sur trois piliers techniques principaux :

A. Cadre Autoregressif Dual-Causal (Échelle et Temps)

Contrairement aux modèles autoregressifs classiques qui prédisent le "prochain token", RAYNOVA adopte une stratégie de "prédiction de la prochaine échelle" (next-scale prediction) étendue au temps.

• Causalité d'échelle : Le modèle génère les images de manière hiérarchique, des abstractions grossières aux détails fins, en utilisant des cartes de tokens multi-échelles.
• Causalité temporelle : La génération de chaque frame est conditionnée par l'historique complet des vues passées, mais sans supposer de dépendance forte entre les frames d'une même caméra (ce qui permet de gérer les virages et mouvements complexes).
• Formulation : La distribution conjointe des vidéos multi-vues et multi-frames est modélisée en respectant un ordre topologique à la fois sur l'échelle et le temps, permettant un raisonnement unifié 4D.

B. Représentation Isotrope dans l'Espace des Rayons (Ray Space)

C'est l'innovation centrale du papier. Au lieu d'utiliser des coordonnées absolues ou des représentations 3D explicites, RAYNOVA utilise un encodage de position relatif dans l'espace des rayons de caméra.

• Plücker Rays : Chaque token visuel est associé à un rayon de Plücker (défini par un point d'origine et une direction).
• Encodage Relatif : Le modèle utilise une version modifiée de l'encodage de position rotatif (RoPE) étendue à un espace 7D (basé sur les composantes du rayon de Plücker et le temps).
• Avantage : Cette approche est isotrope et invariante aux configurations de caméra. Elle permet au modèle de généraliser à des vues, des résolutions et des mouvements d'ego-vehicle jamais vus, car elle encode les relations relatives entre les rayons plutôt que des positions absolues dans un système de coordonnées global.

C. Architecture et Entraînement

• Architecture Transformer : Le modèle est construit sur une base de modèles de génération d'images (Infinity) avec des blocs d'attention auto-attentionnelle (pour le réalisme de l'image) et une attention globale unifiée (pour la cohérence spatio-temporelle multi-vues).
• Paradigme d'Entraînement Récurrent : Pour générer des vidéos longues sans dérive de distribution (distribution drift), l'auteur propose un entraînement récurrent. Le modèle cache les caractéristiques latentes et effectue une rétropropagation frame par frame, en simulant des erreurs de prédiction (bruit aléatoire sur les tokens) pour aligner les distributions d'entraînement et d'inférence.

3. Contributions Clés

1. Modèle de fondation universel : Un seul modèle capable de gérer des entrées et sorties hétérogènes (textes, objets, cartes HD, images de référence) et de générer des vidéos multi-vues avec des configurations de capteurs flexibles.
2. Encodage de position dans l'espace des rayons : Une méthode novatrice d'encodage relatif qui élimine le besoin de biais géométriques 3D explicites, permettant une extrapolation théoriquement illimitée dans l'espace et le temps.
3. Efficacité et Contrôle : Une architecture autoregressive qui offre un débit (throughput) élevé par rapport aux modèles de diffusion, tout en maintenant une forte fidélité aux conditions d'entrée (objets, cartes, trajectoires).
4. Généralisation Zero-Shot : Capacité à synthétiser des vues nouvelles et à s'adapter à des configurations de caméras non vues lors de l'entraînement (ex: passage de 6 caméras à 8, ou rotation des caméras).

4. Résultats Expérimentaux

Les évaluations ont été menées sur les datasets nuScenes et nuPlan.

• Qualité Vidéo : RAYNOVA obtient des scores FID (10.5) et FVD (91) supérieurs à tous les modèles de base (MagicDrive, Panacea, DriveDreamer, etc.), démontrant une meilleure qualité d'image et une cohérence temporelle.
• Efficacité : Avec un débit de 1,96 images/seconde, le modèle est nettement plus rapide que les approches basées sur la diffusion (souvent < 1 image/s).
• Fidélité aux Conditions :
  • Objets et Cartes : Le modèle respecte avec précision les boîtes englobantes et les cartes HD, atteignant des performances proches des images réelles (NDS ~41.9 pour les objets, mIoU ~34.9 pour les cartes).
  • Planification : Les vidéos générées sont exploitables par des planificateurs de conduite (VAD) entraînés sur des données réelles, indiquant une plausibilité physique et motionnelle.
• Synthèse de Nouvelles Vues : Lors de tests de décalage de caméra (1m, 2m, 4m), RAYNOVA surpasse largement les méthodes de synthèse de vues (StreetGaussian, OmniRe) sans utiliser de champs de rayonnement ou de nuages de points explicites.
• Ablation : Les études montrent que l'attention globale unifiée et l'encodage relatif des rayons sont cruciaux pour la performance, tandis que l'entraînement récurrent améliore significativement la cohérence à long terme.

5. Signification et Impact

RAYNOVA représente une avancée majeure pour la modélisation du monde en conduite autonome et au-delà.

• Réduction des biais inductifs : En abandonnant les représentations 3D explicites au profit d'une représentation dans l'espace des rayons, le modèle devient plus robuste et adaptable à des environnements ouverts et non structurés.
• Simulateur Physiquement Plausible : La capacité à générer des vidéos multi-vues cohérentes, contrôlables et réalistes en fait un outil puissant pour la simulation de scénarios de conduite, la formation de modèles de perception et la planification.
• Évolutivité : L'approche "data-driven" et l'architecture autoregressive permettent de scaler facilement avec des données hétérogènes provenant de différentes sources et configurations de capteurs.

En résumé, RAYNOVA propose un changement de paradigme : au lieu de forcer la géométrie 3D dans le modèle, il apprend la géométrie et la dynamique directement à partir des relations relatives entre les rayons de caméra, offrant ainsi une flexibilité et une généralisation sans précédent.