Résumé Technique : Resampling Forcing pour la Diffusion Vidéo Autorégressive

Problématique

Les modèles de diffusion vidéo autorégressifs (AR) offrent un paradigme prometteur pour la simulation de mondes en prédisant les images futures conditionnées par des observations passées, en respectant strictement la nature causale de la dynamique physique. Cependant, ces modèles souffrent considérablement du biais d'exposition (exposure bias). Lors de l'entraînement, les modèles s'appuient généralement sur le « teacher forcing », où ils sont conditionnés par l'historique réel (ground-truth). Lors de l'inférence, cependant, ils doivent se conditionner sur leurs propres sorties précédemment générées (et imparfaites). Ce décalage entre l'entraînement et le test entraîne une accumulation d'erreurs, où de petits artefacts dans les premières prédictions sont amplifiés au fil du déroulement autorégressif, aboutissant souvent à un effondrement vidéo catastrophique sur de longs horizons.

Les solutions existantes pour atténuer ce décalage reposent généralement sur des stratégies de post-entraînement nécessitant des modèles auxiliaires :

1. Approches basées sur la distillation (ex: Self Forcing) : Entraîner d'abord un modèle enseignant bidirectionnel, puis le distiller dans un étudiant causal. Cela introduit une dépendance vis-à-vis d'un enseignant non causal qui peut laisser fuiter des informations futures, compromettant la stricte causalité temporelle.
2. Approches adverses (ex: AAPT) : Optimiser conjointement un générateur et un discriminateur. Cela nécessite un entraînement complexe de discriminateur en ligne et limite la scalabilité.

De plus, l'extension de la génération AR à de longues vidéos exacerbe la complexité de l'attention, car le contexte historique croît indéfiniment, créant des goulots d'étranglement computationnels tant pour l'entraînement que pour l'inférence.

Méthodologie : Resampling Forcing

Les auteurs proposent le Resampling Forcing, un cadre de bout en bout, sans enseignant, conçu pour entraîner des modèles de diffusion vidéo autorégressifs à partir de zéro. La philosophie centrale est d'entraîner le modèle à être robuste face aux perturbations d'entrée (erreurs simulées) tout en maintenant un objectif de prédiction propre.

1. Mécanisme de Auto-Resampling (Self-Resampling)

Pour simuler les erreurs du modèle lors de l'inférence pendant l'entraînement, la méthode introduit un schéma de auto-resampling :

• Processus : Au lieu de se conditionner sur un historique de vérité terrain propre, le modèle se conditionne sur des images d'historique « dégradées ».
• Implémentation :
  1. Les images de vérité terrain sont corrompues jusqu'à un instant de bruit échantillonné $t_s$ (introduisant du bruit).
  2. Le modèle en ligne lui-même (avec ses poids actuels) est utilisé pour compléter de manière autorégressive les étapes de débruitage restantes de $t_s$ à 0, produisant une image dégradée et sans bruit $\tilde{x}$.
  3. Cette image dégradée $\tilde{x}$, qui contient les erreurs induites par le modèle, est ensuite utilisée comme condition pour prédire l'image suivante.
• Conception clé : Les gradients sont détachés de ce processus de resampling pour éviter l'apprentissage de raccourcis (shortcut learning) (où le modèle apprendrait à ignorer l'entrée plutôt qu'à la corriger). Cela force le modèle à apprendre à corriger ses propres imperfections.
• Échantillonnage de l'instant (Timestep Sampling) : L'instant de corruption $t_s$ est échantillonné à partir d'une distribution logit-normale, décalée par un paramètre $s$ pour équilibrer la fidélité de l'historique et la flexibilité de la correction d'erreurs. Une phase de chauffe (warm-up) utilisant le standard teacher forcing est employée initialement avant de passer au Resampling Forcing.

2. Routage d'Historique pour une Attention Efficace

Pour traiter le coût computationnel de l'attention à un historique de plus en plus grand dans la génération à long horizon, les auteurs introduisent un mécanisme de routage d'historique sans paramètres :

• Récupération Dynamique : Au lieu d'être attentif à toutes les images précédentes (attention causale dense) ou à une fenêtre glissante fixe, le modèle récupère dynamiquement les $k$ images d'historique les plus pertinentes pour chaque jeton de requête (query token).
• Métrique de Pertinence : La pertinence est déterminée par le produit scalaire entre le jeton de requête et un descripteur de moyenne pondérée des clés (keys) des images de l'historique.
• Complexité : Cela réduit la complexité de l'attention de linéaire $O(L)$ à constante $O(k)$ à mesure que la longueur de la vidéo $L$ augmente, tout en maintenant un champ récepteur plus large qu'une fenêtre fixe grâce à la combinaison de contextes divers.

3. Objectif d'Entraînement

Le modèle est entraîné à l'aide d'un masque causal creux (sparse causal mask) qui impose la causalité temporelle (les images n'attendent que les images passées) tout en permettant un entraînement parallèle via une perte de diffusion par image. La perte est calculée entre la prédiction du modèle et l'image propre de vérité terrain, conditionnée par l'historique dégradé (resampled).

Principales Contributions

1. Entraînement de Bout en Bout Sans Enseignant : Le premier cadre capable d'entraîner des modèles de diffusion vidéo autorégressifs à partir de zéro sans dépendre d'enseignants bidirectionnels ou de discriminateurs, évitant ainsi la fuite d'informations futures.
2. Algorithme de Resampling Forcing : Une stratégie de auto-resampling novatrice qui simule les erreurs d'inférence pendant l'entraînement, atténuant efficacement l'accumulation d'erreurs et stabilisant la génération à long horizon.
3. Routage d'Historique Sans Paramètres : Un mécanisme dynamique qui sélectionne le contexte historique pertinent, permettant une génération de vidéos longues efficace avec une complexité d'attention quasi constante et une perte de qualité négligeable par rapport à l'attention dense.
4. Entraînement Natif sur Longue Durée : La capacité de s'entraîner nativement sur de longues séquences (ex: 15 secondes) plutôt que de dépendre de la distillation de courts clips, menant à une cohérence temporelle supérieure.

Résultats Expérimentaux

La méthode a été évaluée sur l'architecture Wan2.1-1.3B, entraînée sur des vidéos de 5s et 15s.

• Performance Qualitative :
  • Stabilité : Contrairement aux modèles de référence (ex: Pyramid Flow, CausVid) qui présentent une dégradation progressive de la couleur et de la texture au fil du temps, le Resampling Forcing maintient une qualité visuelle stable dans les vidéos de 15 secondes.
  • Causalité : Dans les simulations physiques (ex: verser du lait), le modèle respecte strictement les lois de la causalité (élévation monotone du niveau du liquide), alors que les modèles de référence basés sur la distillation (ex: LongLive) violent souvent la causalité en raison de la fuite d'informations futures de leurs enseignants.
• Performance Quantitative (VBench) :
  • La méthode atteint des scores de qualité temporelle et visuelle comparables ou supérieurs aux modèles de référence par distillation (Self Forcing, CausVid) sur les segments 0–5s, 5–10s et 10–15s.
  • Elle surpasse les modèles de référence en termes de cohérence temporelle sur les vidéos plus longues, grâce à l'entraînement sur la longueur native.
• Efficacité :
  • Le mécanisme de routage d'historique atteint une sparsité d'attention de 75 % (top-5 sur 20 images) avec une baisse de qualité négligeable par rapport à l'attention dense.
  • Il élimine le besoin d'un enseignant bidirectionnel massif de 14 milliards de paramètres requis par les méthodes de distillation concurrentes.

Signification et Revendications

L'article affirme que le Resampling Forcing fait progresser la scalabilité des modèles de monde vidéo autorégressifs en résolvant le problème fondamental du biais d'exposition sans modèles auxiliaires. En simulant les erreurs pendant l'entraînement, le modèle apprend à corriger sa propre dérive, permettant une génération stable sur de longs horizons. L'intégration du routage d'historique dynamique traite en outre les goulots d'étranglement de la mémoire et du calcul de l'attention à long contexte. Les auteurs positionnent ce travail comme une voie viable pour entraîner des modèles vidéo strictement causaux et robustes à partir de zéro, offrant une alternative pratique aux pipelines de distillation qui compromettent la causalité temporelle au profit de la qualité.