Résumé Technique : NaviCache

Problématique

Les modèles de diffusion vidéo (VDM), tels que HunyuanVideo, Wan et Open-Sora, ont atteint des avancées significatives dans la génération de contenu haute fidélité. Cependant, leur processus d'échantillonnage itératif impose une taxe de calcul massive, nécessitant des dizaines de passages directs à travers de grandes architectures, ce qui entrave le déploiement en temps réel.

Les stratégies d'accélération existantes se divisent en deux catégories, présentant toutes deux des limitations importantes :

1. Méthodes dépendantes du calibrage hors ligne : Les approches comme TeaCache et MagCache reposent sur des priors statistiques ou des ajustements polynomiaux dérivés de jeux de données de calibrage curés. Celles-ci souffrent de coûts de calibrage élevés, d'une dépendance vis-à-vis de distributions de données spécifiques, et d'une dégradation des performances face aux décalages de distribution entre le calibrage et l'inférence.
2. Méthodes sans calibrage hors ligne : Les approches comme EasyCache éliminent le besoin de jeux de données de calibrage mais reposent sur des approximations instantanées d'ordre zéro (maintien de l'ordre zéro ou Zero-Order Hold). Ces méthodes supposent que le ratio de changement de caractéristiques reste constant entre les étapes, échouant ainsi à capturer l'inertie intrinsèque de la trajectoire de diffusion. Cela les rend sensibles au bruit d'observation et génère des erreurs significatives dans les régions à forte turbulence, entraînant soit des artefacts visuels (sur-saut), soit une accélération insuffisante (sous-saut).

Le défi central est de développer une méthode qui évite les frais de calibrage hors ligne tout en modélisant avec précision la dynamique non stationnaire et pilotée par l'inertie de l'évolution des caractéristiques pendant le processus de diffusion.

Méthodologie : NaviCache

Les auteurs proposent NaviCache, un cadre d'auto-calibrage au moment du test, plug-and-play, qui reconceptualise l'évolution des caractéristiques comme un problème de système de navigation inertielle (INS). Au lieu d'estimer des changements absolus, NaviCache modélise le couplage relatif entre les variations d'entrée et de sortie comme un problème de suivi d'état dans l'espace des états.

Composants Clés

1. Modélisation de l'espace d'états :
   La méthode formule le ratio de changement de caractéristique ($\phi_t = \Delta O_t / \Delta I_t$) comme un état caché $r_t$ au sein d'un modèle linéaire d'espace d'états gaussien (LGSSM). Elle modélise explicitement l'incertitude et l'inertie cinématique de ce ratio, plutôt que de le traiter comme une constante statique.

2. Phase d'alignement initial :
   Reconnaissant que les processus de diffusion présentent des dynamiques chaotiques et non stationnaires dans les premières étapes (bruit élevé), NaviCache emploie une phase stratégique d'« Alignement Initial ». Pour les $N_{align}$ premières étapes, le calcul complet est effectué sans saut. Cela permet au système de calculer une initialisation impartiale pour la moyenne de l'état ($\hat{r}_0$) et la covariance de l'erreur ($P_0$), garantissant que l'estimateur engage le « mode navigation » avec une compréhension calibrée du manifold de caractéristiques.

3. Moteur d'estimation à double état :
   Pendant la phase de diffusion principale, NaviCache utilise un filtre bayésien récursif pour suivre deux statistiques suffisantes : l'estimation de l'état ($\hat{r}_t$) et l'incertitude d'estimation ($P_t$). Le processus comprend deux étapes :

   • Projection a priori : Le système projette l'état et l'incertitude vers l'avant, en incorporant un bruit de processus ($Q_t$) pour modéliser la dérive intrinsèque ou l'« inertie » du ratio de caractéristiques.
   • Rectification observationnelle : Lorsque l'erreur accumulée dépasse un seuil de sécurité, un calcul complet est déclenché pour obtenir une mesure de vérité terrain ($z_t$). Cette mesure est fusionnée avec la prédiction a priori à l'aide d'un Facteur de Fusion Calibré (CFF), $K_t$, dérivé pour minimiser l'incertitude postérieure. Ce mécanisme agit comme un gardien intelligent, privilégiant l'inertie historique dans les régimes stables et s'alignant instantanément sur les nouvelles observations dans les régimes turbulents.

4. Mécanisme de saut sensible à l'incertitude :
   La décision de sauter ou de mettre à jour est gouvernée par une métrique d'erreur accumulée ($E_{acc}$). Si $E_{acc}$ reste en dessous d'un seuil de fidélité ($\tau$), le système saute le calcul (Navigation à l'estime ou Dead Reckoning). Si le seuil est franchi, le système effectue une mise à jour complète (Correction de mesure ou Measurement Fix), réancrant la trajectoire et réinitialisant l'accumulateur d'erreur.

Contributions Clés

L'article présente quatre contributions principales :

• Reformulation Théorique : Les auteurs établissent la première cartographie formelle entre la dynamique de diffusion et la théorie des systèmes de navigation inertielle (INS), reformulant l'évolution des caractéristiques des VDM comme un modèle d'espace d'états.
• Cadre NaviCache : Ils proposent un cadre sans calibrage hors ligne, doté d'un moteur d'estimation à double état et d'une phase d'alignement initial, permettant de suivre précisément les manifolds de caractéristiques sans pré-entraînement ni jeux de données de calibrage.
• Garanties Théoriques : L'article fournit une preuve théorique que NaviCache atteint une borne d'erreur d'estimation inférieure aux heuristiques d'ordre zéro utilisées dans les méthodes existantes sans calibrage, à condition qu'il existe du bruit de processus et de mesure.
• Performance Empirique : Des expériences approfondies démontrent que NaviCache surpasse systématiquement les bases de référence sur plusieurs modèles (Wan, HunyuanVideo, Open-Sora) tant en efficacité d'inférence qu'en fidélité visuelle.

Résultats Expérimentaux

Les expériences ont été menées sur trois VDM représentatifs : Wan 2.1, HunyuanVideo et Open-Sora 1.2, évalués sur le jeu de données VBench.

• Compromis Efficacité vs Qualité : NaviCache propose trois configurations (rapide, moyenne, lente). Pour des enveloppes de latence comparables, NaviCache démontre systématiquement une meilleure rétention visuelle par rapport aux méthodes sans calibrage hors ligne comme EasyCache. Par exemple, sur HunyuanVideo, le mode « moyen » a atteint une accélération de 2,17× avec un PSNR de 32,65, surpassant l'accélération de 2,15× d'EasyCache (PSNR 32,53).
• Comparaison avec les méthodes dépendantes du calibrage : NaviCache affiche une fidélité remarquable par rapport aux méthodes de calibrage hors ligne. Sur Wan 2.1, le mode « lent » a atteint un PSNR de 25,10, nettement supérieur à TeaCache (22,79) et MagCache (23,33). Bien que TeaCache maintienne occasionnellement un léger avantage sur les scores VBench (probablement dû à l'ajustement spécifique au prompt), NaviCache offre une reconstruction au niveau des pixels et une perception supérieures (LPIPS plus bas, SSIM plus élevé).
• Fidélité Visuelle : Les études de cas révèlent que les méthodes existantes souffrent souvent d'incohérences temporelles, de phénomènes de ghosting et de distorsions structurelles (ex: mains ou objets déformés). NaviCache atténue efficacement ces problèmes, maintenant l'intégrité structurelle et les détails à haute fréquence, même lors de mouvements rapides.
• Études d'Ablation :
  • Alignement Initial : Augmenter les étapes d'alignement améliore la fidélité mais augmente la latence ; un ratio de 20 % a été identifié comme le compromis optimal.
  • Paramètres de Bruit : Un bruit de processus ($Q$) plus faible améliore la fidélité au détriment de la latence, tandis qu'un bruit de mesure ($R$) plus faible réduit la latence mais risque la rétention visuelle.
  • Scalabilité : La méthode maintient une accélération stable (1,81×–1,91×) à travers différentes résolutions (480p/720p) et nombres de frames (51/102).
• Surcharge (Overhead) : NaviCache ne nécessite aucun temps de calibrage hors ligne. La surcharge de calcul au moment du test pour la justification du saut est négligeable (environ 0,0109s).

Signification et Revendications

L'article affirme que NaviCache comble le fossé fondamental entre la théorie du contrôle et la génération de vidéo. En modélisant l'évolution des caractéristiques comme une trajectoire structurée avec une inertie sous-jacente plutôt que comme des sauts aléatoires, NaviCache permet un auto-calibrage au moment du test, plug-and-play.

Les auteurs soutiennent que cette approche élimine les coûts de calibrage prohibitifs et les vulnérabilités liées aux décalages de distribution des méthodes hors ligne, tout en surmontant les limites de précision des approximations d'ordre zéro. Fondé théoriquement sur le saut de calcul à erreur bornée, NaviCache est présenté comme une solution rigoureuse pour le déploiement efficace des modèles génératifs à grande échelle, contribuant à l'objectif de l'IA verte (« Green AI ») en abaissant considérablement les barrières de calcul et d'énergie pour la synthèse vidéo en temps réel.