Résumé Technique : Injection de Normes sans Réentraînement pour les Modèles de Monde de Conduite

Énoncé du Problème

Les modèles de monde de conduite basés sur de larges architectures de diffusion vidéo sont capables de générer des flux de capteurs réalistes, mais souffrent d'un manque critique de contrôlabilité. Les stratégies de pointe actuelles pour imposer des normes de circulation (par exemple, respecter les limitations de vitesse, éviter les collisions) nécessitent généralement soit de réentraîner l'architecture pour chaque nouvelle contrainte, soit de conditionner le modèle sur des configurations construites à la main (cartes, boîtes englobantes) intégrées lors de l'entraînement. Ces approches sont coûteuses à mettre à l'échelle et empêchent un modèle déployé d'ajouter ou de reprioriser des règles au moment de l'échantillonnage. Les auteurs posent la question centrale suivante : La contrôlabilité nécessite-t-elle vraiment un réentraînement ? Plus précisément, un modèle de monde gelé peut-il être guidé pour satisfaire des normes de conduite uniquement par des interventions lors de l'échantillonnage ?

Méthodologie

Le papier propose une approche d'orientation par énergie sans réentraînement appliquée à un modèle de monde de conduite à flux rectifié.

1. Architecture du Modèle

L'architecture de base est un modèle Open-Sora 2.0 MM-DiT (Multi-Modal Diffusion Transformer) gelé, post-entraîné avec LoRA pour débruiter conjointement :

• Des images de vidéos futures (flux d'images).
• Une trajectoire de l'ego planifiée $x_{ego} \in \mathbb{R}^{T \times d}$ (flux textuel, où $T=40$ images et $d=4$ composantes : $x, y, \theta, v$).
  Crucialement, le modèle est entraîné sans information sur les agents ou la carte, s'appuyant uniquement sur les images passées observées.

2. Mécanisme d'Orientation sans Réentraînement

Les auteurs adaptent le concept d'orientation basée sur l'énergie aux modèles à flux rectifié. Au lieu de réentraîner, les normes de conduite sont injectées sous forme de fonctions d'énergie différentiables $E(\cdot)$ évaluées sur la trajectoire de l'ego prédite et propre $\hat{x}_0$ à chaque étape d'échantillonnage.

Le processus comprend :

1. Estimation en une étape : À l'étape de temps $t$, le modèle estime l'échantillon propre $\hat{x}_0$ en utilisant le champ de vitesse appris $v_\theta$ :
   $$\hat{x}_0(x_t, t) = x_t - t \cdot v_\theta(x_t, t)$$
2. Descente d'Énergie : Une étape de gradient est effectuée dans l'espace de la trajectoire propre pour minimiser l'énergie de la norme de conduite :
   $$\hat{x}'_0 = \hat{x}_0 - \lambda(t) \nabla_{\hat{x}_0} E(\hat{x}_0)$$
   Ici, $E(\hat{x}_0)$ est définie comme une erreur quadratique moyenne (MSE) d'attraction vers une cible contrefactuelle (par exemple, une cible de freinage simulant un véhicule de tête ralentissant).
3. Correction de la Vitesse : L'estimation mise à jour est reconvertie en une correction de vitesse pour l'ODE d'échantillonnage :
   $$v' = \frac{x_t - \hat{x}'_0}{\max(t, t_{min})}$$
4. Stabilisation : Pour éviter que la trajectoire ne dérive hors de la variété des données (un problème connu avec l'orientation sans réentraînement lorsque $\hat{x}_0$ est imprécis au début de l'échantillonnage), la correction d'orientation par étape est plafonnée à un multiple fixe de la propre vitesse de l'architecture de base. Un calendrier asymétrique $\lambda(t)$ est utilisé, fixant l'orientation à zéro près de $t=0$ et $t=1$ pour éviter l'instabilité numérique et permettre au "prior" d'établir la structure globale.

Principales Contributions

1. Formulation : Les auteurs cadrent la conformité aux normes de conduite comme un problème d'orientation par énergie sans réentraînement sur un modèle de monde à flux rectifié, démontant que la connaissance peut être ajoutée entièrement lors de l'échantillonnage.
2. Validation Empirique : Ils démontrent que cette méthode parvient à orienter la trajectoire de l'ego d'un modèle de monde construit sur Open-Sora 2.0 vers une cible de freinage contrefactuelle (simulant un scénario d'évitement de collision arrière) sans réentraîner l'architecture de base.
3. Insight Architectural : Le papier identifie une limitation critique des architectures de génération conjointe actuelles : bien que la trajectoire soit orientée avec succès, la vidéo générée ne suit pas la trajectoire orientée. Les auteurs attribuent cet échec au mécanisme spécifique de couplage entre les flux (auto-attention conjointe) dans le modèle actuel, où le flux vidéo ne parvient pas à propager les changements induits dans le flux de trajectoire.

Résultats Expérimentaux

Les auteurs ont évalué la méthode sur 35 clips échantillonnés en utilisant une cible de freinage contrefactuelle :

• Contrôle de la Trajectoire : L'orientation a été très efficace pour la trajectoire. La trajectoire orientée se termine à une moyenne de 1,3 mètre de la cible de freinage, contre 13,6 mètres pour la trajectoire non orientée (factuelle).
• Cohérence Vidéo : Malgré le changement significatif de la trajectoire de l'ego, la vidéo générée ne reflète pas ce changement. La différence de flux optique par image entre les vidéos orientées et non orientées est statistiquement indiscernable (un changement $\lesssim 2\%$, dans la marge de bruit des variations entre les clips).
• Conclusion sur les Résultats : « Le plan orienté ne déplace pas les pixels. » Le flux vidéo reste déconnecté du flux de trajectoire sous l'architecture actuelle.

Signification et Revendications

Le papier affirme que la conformité aux normes de conduite ne nécessite pas de réentraînement. Un modèle de monde gelé peut voir sa trajectoire planifiée de l'ego orientée lors de l'échantillonnage en utilisant des fonctions d'énergie différentiables. Cela offre une voie pour que les modèles déployés s'adaptent à de nouvelles règles ou donnent la priorité aux contraintes de sécurité de manière dynamique.

Cependant, les auteurs restent modestes quant à l'état actuel de la contrôlabilité de bout en bout. Ils déclarent explicitement que la génération vidéo ne suit pas encore la trajectoire orientée. Ils identifient le couplage entre les flux (spécifiquement le contournement des blocs à flux unique dans leur modèle modifié) comme l'obstacle central. Le papier conclut que l'obtention de déroulements (rollouts) réellement contrôlables de bout en bout nécessite un débruitage conjoint plus profond de la vidéo et de la trajectoire, proposant que le routage des deux flux à travers les blocs à flux unique de l'architecture de base est l'étape nécessaire pour aligner la vidéo avec la trajectoire orientée.

Ce travail se positionne comme un pont entre l'orientation sans réentraînement (précédemment appliquée uniquement aux modèles de trajectoire) et les modèles de monde contrôlables (qui nécessitaient auparavant un conditionnement lors de l'entraînement), mettant en évidence l'écart architectural qui reste à combler pour un contrôle sémantique complet.