Résumé Technique : DISK – Dynamic Inference SKipping pour les Modèles de Monde

1. Énoncé du Problème

Les modèles de monde autorégressifs, particulièrement ceux basés sur les Diffusion Transformers (DiTs), ont démontré de fortes capacités à prédire le contenu futur des scènes et l'auto-mouvement pour la conduite en boucle fermée. Cependant, ces modèles souffrent d'une latence d'inférence et de coûts de calcul significatifs. Dans les configurations autorégressives, le coût s'accumule au fil du temps car chaque image et trajectoire prédite conditionne l'étape suivante. Les déploiements à long terme nécessitent des milliers d'évaluations de modèles à travers des branches de vision et de trajectoire couplées.

Les méthodes d'accélération existantes ne parviennent pas à traiter ce défi spécifique de manière efficace :

• L'accélération par étapes fixes ou la réduction globale des étapes dégradent la fidélité et la stabilité, surtout lorsque de petites erreurs s'accumulent dans les déploiements en boucle fermée.
• Les accélérateurs au temps d'entraînement (ex: modèles de cohérence, distillation progressive) nécessitent un réentraînement ou une distillation coûteux, brisant la flexibilité « plug-and-play » nécessaire pour accélérer les modèles de fondation existants sans altérer leur comportement appris.
• Les adaptations au temps d'inférence (ex: formulations déterministes, solveurs d'ODE d'ordre supérieur) ne s'adaptent pas à la difficulté par étape et ne parviennent pas à coordonner les prédictions visuelles et de trajectoire dans des branches couplées.
• Les optimiseurs de branche unique (ex: sortie anticipée, mise en cache de caractéristiques) optimisent le calcul au sein d'un seul réseau mais ne coordonnent pas les branches transmodales, risquant une désynchronisation entre l'apparence et le mouvement.

Le défi central est de réduire le coût d'inférence de manière dynamique en fonction de la complexité de la scène (ex: croisière sur une autoroute statique vs manœuvres critiques) sans réentraîner le modèle ni compromettre la cohérence entre la vidéo générée et la trajectoire prédite.

2. Méthodologie

Les auteurs proposent DISK (Dynamic Inference SKipping), un module d'inférence adaptatif sans entraînement qui opère purement au moment du test. DISK coordonne deux diffusion transformers couplés — l'un pour la vidéo (Vision DiT) et l'un pour l'auto-trajectoire (Trajectory DiT) — via des contrôleurs à double branche avec des décisions de saut transmodales.

2.1. Saut Adaptatif par Étape

Pour chaque étape de diffusion $k$ dans la grille de temps inverse, le contrôleur décide de calculer une nouvelle prédiction ou de réutiliser une prédiction mise en cache. La décision est basée sur un test de lissage local :

• Proxy de Difficulté ($d_k$) : La variation absolue moyenne de l'état latent entre les étapes de diffusion consécutives.
• Vérification de Courbure ($\Delta_k$) : Un critère de différence finie de second ordre mesurant la linéarité locale de l'évolution du latent. Si les changements du latent sont localement affines (faible courbure), l'étape est jugée prévisible.
• Décision de Saut : Si $\Delta_k \leq \theta \cdot d_{k+1}$ (où $\theta$ est un seuil de tolérance), l'étape est sautée et la prédiction mise en cache est réutilisée. Sinon, une passe directe complète est calculée.

Garde-fous de Sécurité : Pour prévenir l'accumulation d'erreurs et les comportements dégénérés, trois gardes sont appliquées :

1. Warm-up ($W$) : Calcul obligatoire pour les $W$ premières étapes.
2. Cap de Sauts Consécutifs ($C_{max}$) : Limite le nombre de sauts consécutifs pour éviter la dérive.
3. Seuil de Stagnation ($\epsilon$) : Force le calcul si le changement du latent est numériquement minuscule (proche de zéro), empêchant les sauts infinis sur des états stagnants.

2.2. Coordination Transmodale

Sauter les branches individuellement peut désynchroniser l'apparence et le mouvement. DISK introduit une porte de sécurité unidirectionnelle :

• Le Contrôleur de Trajectoire surveille ses propres gardes de sécurité. Si la branche de trajectoire rencontre une manœuvre complexe (déclenchant une condition de sécurité), un signal $\sigma^{(t)}_k$ est levé.
• Couplage Unidirectionnel : Si $\sigma^{(t)}_k = 1$, la branche Vision est forcée de calculer, indépendamment de son propre test de lissage. Cela garantit que les auto-mouvements complexes sont rendus avec les changements visuels correspondants.
• Asymétrie : La complexité visuelle ne force pas le calcul de la trajectoire. Cela priorise le débit, car la branche de trajectoire est généralement plus rapide, tout en garantissant que la branche vidéo, plus lente, ne soit pas en retard sur les manœuvres critiques.

2.3. Stabilité Autorégressive

Pour stabiliser les déploiements à long terme, DISK propage les statistiques du contrôleur à travers la chaîne autorégressive. Après chaque étape de déploiement $s$, des résumés (comptages de calcul/saut et fractions de sécurité) sont transmis à l'étape suivante. Un score de difficulté transmodal ($\beta_s$) est calculé à partir de la fraction de sécurité maximale des deux branches. Ce score ajuste dynamiquement la fenêtre de warm-up et le seuil de saut pour l'étape suivante, élargissant la fenêtre de calcul après des manœuvres difficiles et la relaxant une fois que la scène se stabilise.

3. Contributions Clés

1. Cadre Adaptatif Sans Entraînement : Une méthode qui orchestre les DiT visuels et de trajectoire en utilisant des décisions de saut adaptatives par étape, réduisant le coût de calcul sans réentraînement ni altération des poids du modèle.
2. Coordination de Saut Transmodale : Un mécanisme qui harmonise les branches de vision et de trajectoire via une porte de sécurité unidirectionnelle et la propagation des statistiques du contrôleur, assurant la cohérence mouvement-apparence lors des déploiements à long terme.
3. Préservation de la Chaîne de Self-Conditioning Forward : La méthode cible explicitement les défis du pilotage en boucle fermée, maintenant l'intégrité de la boucle autorégressive tout en sautant des étapes.

4. Résultats Expérimentaux

La méthode a été évaluée sur 1500 échantillons des jeux de données NuPlan et NuScenes en utilisant un GPU NVIDIA L40S, intégrée au modèle de monde Epona (un modèle de 2,5 milliards de paramètres).

4.1. Vitesse d'Inférence

• Branche de Trajectoire (TrajDiT) : A obtenu une accélération d'environ 2× (réduction de ~20ms à ~10ms par étape).
• Branche de Vision (VisDiT) : A obtenu une accélération d'environ 1,6× (réduction de ~244ms à ~155ms par étape).
• Global : Réduction significative de la latence totale par étape tout en conservant la même architecture de modèle.

4.2. Performance de Planification

• Open-Loop : DISK a maintenu des erreurs de déplacement L2 presque identiques à la ligne de base (ex: L2@3s : 0,3007 vs 0,3011).
• Closed-Loop (NAVSIM) : DISK a obtenu des résultats compétitifs sur le score Predictive Driver Model (PDMS).
  • Baseline PDMS : 85,4
  • DISK PDMS : 83,6
  • Les sous-métriques (NC, DAC, TTC, Comf, EP) n'ont montré que des baisses modiques, indiquant la préservation de la sécurité et de la pilotabilité.

4.3. Qualité Visuelle

• Métriques : Le FID a légèrement augmenté de 7,5 à 12,5 ; le FVD de 82,8 à 88,1.
• Qualitatif : Malgré le changement de métrique, les comparaisons visuelles ont montré que les vidéos générées étaient « visuellement indiscernables » de la ligne de base, avec une haute cohérence temporelle.

4.4. Études d'Ablation

• Seuil ($\theta$) : $\theta=0,01$ a été identifié comme l'équilibre optimal entre accélération (~2,03×) et qualité.
• Sauts Consécutifs Max ($C_{max}$) : $C_{max}=4$ offrait le meilleur compromis. Des valeurs plus élevées (ex: 8) augmentaient la vitesse mais dégradaient la stabilité visuelle (FID 12,65).
• Warm-up ($W$) : $W=3$ était suffisant ; $W=0$ offrait des métriques similaires mais risquait une instabilité précoce, tandis que $W=5$ réduisait l'efficacité sans gain de qualité.

5. Signification et Revendications

L'article affirme que DISK démontre une prédiction de vidéo et de trajectoire à long terme pratique avec un coût considérablement réduit. Sa principale signification réside dans :

• Efficacité Plug-and-Play : Il offre un moyen d'accélérer les modèles de fondation existants sans le coût prohibitif du réentraînement ou de la distillation.
• Adaptation Dynamique : Contrairement aux méthodes à étapes fixes, DISK alloue les ressources de calcul en fonction de la complexité de la scène, économisant les ressources sur les images simples tout en préservant la précision lors des manœuvres critiques.
• Viabilité en Boucle Fermée : Il maintient avec succès la stabilité requise pour la conduite en boucle fermée, où l'accumulation d'erreurs est un mode de défaillance critique, en coordonnant les branches transmodales et en propageant les statistiques de difficulté.

Les auteurs concluent que bien qu'il y ait un léger compromis sur les métriques visuelles (FID/FVD), l'accélération substantielle et la préservation de la précision de planification font de DISK une solution viable pour réduire les budgets d'énergie et de latence des simulations de conduite autonome et des pipelines de planification en temps réel.