Résumé Technique : Forçage Causal

1. Énoncé du Problème

Les méthodes actuelles pour générer des vidéos interactives en temps réel reposent sur la distillation de puissants modèles de diffusion vidéo bidirectionnels préentraînés en modèles étudiants autoregressifs (AR) à quelques étapes. Bien que cette approche atténue la latence liée à l'échantillonnage multi-étapes, elle introduit un écart architectural fondamental : la conversion d'un modèle disposant d'une attention complète (accès aux images futures) en une architecture causale conditionnée uniquement sur le contexte passé.

Les méthodes actuelles de l'état de l'art (SOTA), telles que Self Forcing, tentent de combler cet écart via un pipeline en deux étapes :

1. Distillation ODE : Initialisation du modèle étudiant AR en régressant des images bruitées vers des images propres à l'aide d'un enseignant bidirectionnel.
2. Distillation par Correspondance de Distribution (DMD) : Amélioration supplémentaire des performances.

Cependant, ces méthodes souffrent d'une dégradation significative des performances en termes de degré de dynamique, de qualité visuelle et de suivi des instructions par rapport à la distillation bidirectionnelle standard. L'article identifie que cette dégradation provient d'un défaut théorique dans l'étape d'initialisation ODE. Plus précisément, les méthodes existantes violent l'exigence d'injectivité au niveau des images. Dans un enseignant bidirectionnel, une même image bruitée peut correspondre à plusieurs images propres distinctes selon le contexte futur. Lorsqu'un étudiant AR (qui manque de contexte futur) est entraîné à mapper cette image bruitée vers une image propre, il ne peut pas retrouver le flot unique. Au lieu de cela, il s'effondre vers une espérance conditionnelle (une moyenne des images propres possibles), entraînant une génération vidéo floue et incohérente.

2. Méthodologie : Forçage Causal

Les auteurs proposent le Forçage Causal, un cadre en trois étapes conçu pour combler l'écart architectural en assurant un alignement théorique lors de l'initialisation.

Étape 1 : Entraînement de Diffusion Autoregressif par Forçage de l'Enseignant

Les auteurs entraînent d'abord un modèle de diffusion autoregressif pour servir d'enseignant. Ils comparent deux paradigmes d'entraînement :

• Forçage de Diffusion (DF) : Conditionnement sur des images passées bruitées. L'article soutient que cela crée un décalage entre l'entraînement et l'inférence, car l'inférence se conditionne sur des images passées propres.
• Forçage de l'Enseignant (TF) : Conditionnement sur des images passées propres.
  Les auteurs démontrent, tant théoriquement qu'empiriquement, que le Forçage de l'Enseignant est supérieur pour l'entraînement de diffusion AR, car il aligne l'objectif d'entraînement avec le processus d'inférence, évitant ainsi tout décalage de distribution.

Étape 2 : Distillation ODE Causale

En utilisant le modèle AR entraîné par TF comme enseignant, les auteurs effectuent une distillation ODE pour initialiser l'étudiant AR.

• Mécanisme : L'enseignant AR échantillonne des trajectoires d'ODE de flot de probabilité (PF-ODE). Puisque l'enseignant est autoregressif, son PF-ODE satisfait naturellement l'injectivité au niveau des images : pour toute image bruitée $x^i_t$, il existe une image propre unique $x^i_0$ déterminée uniquement par l'historique causal.
• Entraînement : L'étudiant $G_\theta$ est entraîné à régresser la cible propre $x^i_0$ à partir de l'intermédiaire bruité $x^i_t$, conditionné par le même historique propre.
• Résultat : Cette configuration permet à l'étudiant d'apprendre avec précision le flot de l'enseignant sans s'effondrer vers une moyenne conditionnelle, comblant ainsi efficacement l'écart architectural.

Étape 3 : DMD Asymétrique

Suite à l'initialisation ODE causale, la méthode applique la même procédure de Distillation par Correspondance de Distribution (DMD) utilisée dans Self Forcing. Cette étape affine davantage l'étudiant AR à quelques étapes, permettant une génération en temps réel de haute qualité et efficace.

Extension : L'article étend également cette logique à la Distillation de Cohérence Causale (CD), montrant que l'utilisation d'un enseignant AR natif pour la CD surpasse également la CD asymétrique utilisant un enseignant bidirectionnel.

3. Contributions Clés

1. Analyse Théorique de l'Écart Architectural : L'article identifie que l'écart de performance dans les distillations AR existantes ne provient pas de l'étape DMD mais de l'initialisation ODE. Il prouve que la distillation d'un étudiant AR à partir d'un enseignant bidirectionnel viole l'injectivité au niveau des images, conduisant à un effondrement vers des espérances conditionnelles et des sorties floues.
2. Cadre Forçage Causal : Une méthode novatrice en trois étapes qui :
   • Entraîne un enseignant AR en utilisant le Forçage de l'Enseignant (prouvé supérieur au Forçage de Diffusion pour l'AR).
   • Effectue une Distillation ODE Causale en utilisant cet enseignant AR pour garantir l'injectivité.
   • Applique une DMD Asymétrique pour l'optimisation finale.
3. Supériorité Empirique : La méthode surpasse systématiquement toutes les bases de référence, y compris les modèles AR distillés SOTA et les modèles de diffusion bidirectionnels, sur plusieurs métriques.

4. Résultats Expérimentaux

Les auteurs ont évalué le Forçage Causal contre diverses bases de référence, incluant des modèles bidirectionnels (Wan2.1, LTX-1.9B), des modèles AR natifs (NOVA, Pyramid Flow, SkyReels-V2) et des modèles AR distillés (CausVid, Self Forcing).

Métriques Clés (sur un ensemble de 100 prompts de mouvement sélectionnés) :

• Degré de Dynamique : Surpasse Self Forcing SOTA de 19,3 %.
• VisionReward : Surpasse Self Forcing de 8,7 %.
• Suivi des Instructions : Surpasse Self Forcing de 16,7 %.
• Débit : Maintient le même débit élevé (17,0 FPS) et la même faible latence (0,69 s) que les modèles AR distillés existants, nettement plus rapides que les modèles bidirectionnels.

Résultats Qualitatifs :
La méthode produit des vidéos avec une cohérence temporelle et une fidélité visuelle nettement supérieures par rapport à Self Forcing, qui présente souvent des flous et des artefacts. Elle égale ou dépasse la qualité des modèles bidirectionnels tout en conservant l'interactivité en temps réel.

Études d'Ablation :

• Forçage de l'Enseignant vs Forçage de Diffusion : TF produit une qualité visuelle nettement supérieure (VisionReward +111,2 %) par rapport à DF.
• Impact de l'Initialisation : Remplacer l'initialisation ODE de Self Forcing par une initialisation ODE Causale améliore le VisionReward de 90,0 % et le Degré de Dynamique de 183,3 % dans le contexte par blocs.
• Enseignant Bidirectionnel vs AR : L'utilisation d'un modèle bidirectionnel comme enseignant pour la distillation ODE Causale surpasse toujours Self Forcing, confirmant que la configuration de distillation (type d'enseignant) est le principal moteur de performance, et non seulement l'initialisation de l'étudiant.

5. Importance et Revendications

L'article revendique que le Forçage Causal résout le désalignement théorique inhérent aux pipelines actuels de distillation vidéo autoregressive. En imposant l'injectivité au niveau des images via un enseignant autoregressif, la méthode permet à l'étudiant de retrouver le véritable flot plutôt qu'une moyenne floue.

Les auteurs soulignent que leur méthode réalise ces gains sans augmenter le budget d'entraînement par rapport aux modèles distillés existants (en utilisant le même nombre d'étapes pour l'initialisation ODE et la DMD). Le travail démontre que l'« écart architectural » n'est pas une limitation inhérente aux modèles AR mais une conséquence de stratégies de distillation inappropriées, et que combler cet écart permet aux modèles AR d'atteindre la qualité des modèles bidirectionnels avec la vitesse requise pour les applications interactives en temps réel.