Résumé Technique : TokenTrim

Énoncé du Problème

La génération de vidéos autorégressive est devenue un paradigme dominant pour la synthèse de vidéos longues en conditionnant de manière itérative de nouveaux lots de cadres sur le contenu précédemment généré. Cependant, cette approche souffre de la dérive temporelle (temporal drift), un phénomène où des erreurs et des incohérences mineures introduites dans les premiers cadres s'accumulent et s'amplifient sur de longs horizons. Cette accumulation entraîne des changements d'identité, une dégradation structurelle, une perte de cohérence globale et un effondrement sémantique.

Les tentatives récentes pour atténuer la dérive se sont concentrées sur le renforcement du conditionnement à longue portée (par exemple, le cache de clés-valeurs temporel, les jetons ancres) ou sur la modification des procédures d'entraînement (par exemple, le self-forcing avec troncature stochastique du gradient). Les auteurs émettent l'hypothèse que ces méthodes restent fragiles car elles ne traitent pas la cause profonde de la propagation des erreurs lors de l'inférence : la réutilisation incontrôlée de jetons de conditionnement latents corrompus. Une fois qu'une région de l'état latent est corrompue, elle est réutilisée de manière répétée dans les étapes autorégressives suivantes, dominant l'attention et propageant les erreurs vers l'avant. Le système actuel manque d'un mécanisme pour évaluer quels jetons latents mis en cache sont dignes de confiance.

Méthodologie : TokenTrim

Les auteurs proposent TokenTrim, une méthode entièrement conçue pour l'inférence visant à identifier et supprimer les jetons latents instables avant qu'ils ne soient réutilisés pour le conditionnement. TokenTrim opère entièrement dans l'espace latent, ne nécessite aucun changement architectural, aucune ré-entraînement et introduit un surcoût computationnel négligeable.

La méthode se compose des composants de base suivants :

1. Initialisation Stabilisée par le Mouvement

Pour réduire la corruption au stade initial, le premier lot de cadres est généré à l'aide de FlowMo, une technique de régularisation lors de l'inférence qui introduit une guidance de variance sensible au mouvement. Cela produit une ancre latente stable. Les lots suivants sont générés à l'aide du modèle autorégressif de base.

2. Construction du Résumé Latent

À chaque étape autorégressive $t$, la méthode encode le lot précédemment généré ($X_{t-1}$) et le lot candidat actuel ($X_t$) en jetons latents. Pour permettre une comparaison directe, elle construit un résumé latent ($Z_{t-1}$ et $Z_t$) en faisant la moyenne des jetons latents spatiaux sur la dimension temporelle (cadres) de chaque lot.

3. Estimation de la Dérive par Jeton

La méthode calcule un score de dérive ($d_i$) pour chaque indice de jeton spatial $i$ en mesurant la distance euclidienne entre les représentations latentes dans les résumés actuel et précédent :
$$d_i = \|Z_t(i) - Z_{t-1}(i)\|_2$$
Des scores de dérive élevés indiquent une corruption potentielle ou une déviation sémantique à des emplacements de jetons spécifiques.

4. Déclencheur Adaptatif et Évaluation de la Gravité

Plutôt que de procéder à l'élagage de manière inconditionnelle, TokenTrim évalue si le lot actuel présente une dérive anormale.

• Il identifie les $p \cdot N$ jetons ayant les scores de dérive les plus élevés (où $p$ est une fraction d'élagage et $N$ le nombre total de jetons).
• Il calcule un score de gravité de la dérive ($D_t$) comme la moyenne de la dérive de ces meilleurs jetons.
• Il maintient des statistiques tournantes (moyenne $\mu_t$ et écart-type $\sigma_t$) de la gravité de la dérive des lots acceptés précédemment.
• Une intervention d'élagage est déclenchée uniquement si $D_t > \mu_t + \lambda\sigma_t$, où $\lambda$ est un hyperparamètre de sensibilité. Une période de chauffe ($T_{warm}$) est utilisée initialement pour accumuler des statistiques fiables.

5. Élagage Radical et Régénération

Lorsque le critère de dérive est dépassé :

• Un masque d'élagage spatial est appliqué au cache de clés-valeurs (KV) temporel, supprimant les clés et valeurs correspondant aux positions de jetons instables.
• Le lot actuel est régénéré une fois, conditionné par ce cache élagué.
• Si le lot régénéré viole toujours le critère de dérive, il est accepté tel quel pour éviter des boucles infinies.
• Si le critère de dérive n'est pas dépassé, le lot est accepté sans modification.

TokenTrim est compatible avec les cadres autorégressifs utilisant l'auto-attention avec un cache KV, comme démontré spécifiquement sur Self Forcing et Rolling Forcing.

Principales Contributions

1. Détection de la Dérive lors de l'Inférence : L'article introduit un mécanisme pour détecter explicitement les jetons latents instables pendant l'inférence, déplaçant l'attention de la capacité du modèle vers le contrôle de la propagation de l'information.
2. Élagage Radical des Jetons Latents : Contrairement aux méthodes qui modifient des régions spatiales entières ou les paramètres du modèle, TokenTrim supprime sélectivement les jetons corrompus spécifiques du contexte autorégressif, empêant l'information non fiable d'influencer les étapes futures.
3. Intégration Sans Ré-entraînement : La méthode fonctionne sans modifier les poids du modèle, les procédures d'entraînement ou quitter l'espace latent, ce qui la rend compatible avec les cadres de génération vidéo de pointe actuels.
4. Initialisation Stabilisée par le Mouvement : L'intégration de FlowMo pour le lot initial fournit une ancre stable, complétant le mécanisme d'élagage.

Résultats Expérimentaux

Les auteurs ont évalué TokenTrim sur le modèle texte-vidéo Wan2.1-1.3B en utilisant les stratégies Rolling Forcing et Self Forcing.

• Performance Quantitative (VBench) :
  • Sur Rolling Forcing, TokenTrim a amélioré le Score Final de 75,12 % à 79,67 % (+4,55 %), avec des gains significatifs en Qualité (+5,58 %) et en Sémantique (+3,53 %).
  • Sur Self Forcing, le Score Final est passé de 75,93 % à 81,84 % (+5,91 %).
  • TokenTrim a systématiquement surpassé FlowMo (une méthode de guidance de mouvement lors de l'inférence) et les méthodes autorégressives de base sur tous les indicateurs agrégés.
• Étude de Préférence Humaine (VideoJAM-Bench) :
  • Dans des comparaisons directes, TokenTrim a été nettement préféré aux bases et à FlowMo pour la réduction de la dérive temporelle (41,7 % contre 15,2 % pour la base Rolling Forcing ; 49,7 % contre 10,2 % contre FlowMo).
  • Il a également montré une performance supérieure en cohérence de mouvement et en qualité esthétique tout en préservant l'alignement texte-vidéo.
• Efficacité : TokenTrim n'a augmenté le temps d'exécution réel que de 1,08x par rapport à la base, tandis que les configurations adaptées à FlowMo ont subi un ralentissement de 2,18x.
• Études d'Ablation :
  • Un élagage agressif (20 %) a gravement dégradé les performances, tandis qu'un élagage modéré (10 %) a donné des résultats optimaux.
  • La suppression de l'initialisation par FlowMo a réduit les performances, confirmant le bénéfice complémentaire d'un départ stable.

Signification et Revendications

L'article affirme que la dérive temporelle n'est pas seulement un problème de modélisation ou de données, mais un problème de propagation de l'information lors de l'inférence. En traitant le cache KV comme un mécanisme de mémoire actif et autocorrecteur plutôt que comme un simple journal d'historique passif, TokenTrim démontre que le contrôle du contexte de conditionnement lors de l'inférence peut, à lui seul, réduire considérablement la dérive temporelle.

Les auteurs concluent que les progrès futurs dans la synthèse de vidéos infinies dépendront non seulement de la quantité de contexte qu'un modèle peut mémoriser, mais aussi de sa capacité à éliminer sélectivement le bruit qui menace de fausser la réalité. Ils positionnent TokenTrim comme un mécanisme distinct et sous-exploré qui améliore la cohérence temporelle à long terme sans le coût d'un ré-entraînement ou d'une modification architecturale.