Résumé technique : Rééquilibrage de la dominance du cadre de référence pour améliorer le mouvement dans les modèles image-vidéo

Énoncé du problème

Les modèles image-vidéo (I2V), bien que capables de préserver l'apparence d'une image de référence, souffrent fréquemment d'un « biais de mouvement statique ». Par rapport à leurs équivalents texte-vidéo (T2V), les modèles I2V génèrent souvent des vidéos au mouvement excessivement limité ou faible, même lorsque l'invite textuelle décrit explicitement une action dynamique. Les approches existantes pour atténuer ce problème impliquent généralement de modifier le chemin de conditionnement par l'image (par exemple, en ajoutant du bruit ou en redéfinissant l'appariement de flux) ou d'affaiblir le signal de conditionnement. Cependant, ces méthodes nécessitent souvent un entraînement supplémentaire ou introduisent un compromis où l'amélioration du mouvement se fait au détriment de la fidélité à l'image de référence.

Méthodologie : DyMoS (Curseur de mouvement dynamique)

Les auteurs proposent DyMoS, une méthode sans entraînement et agnostique du modèle qui traite le biais de mouvement statique en intervenant directement dans le mécanisme d'attention automatique lors de l'inférence, sans altérer les poids du modèle ni l'image d'entrée.

Insight central : Dominance du cadre de référence

Grâce à une analyse des cartes d'attention automatique dans des générations T2V et I2V appariées, les auteurs identifient un phénomène qu'ils nomment dominance du cadre de référence. Dans les modèles I2V, les tokens de requête des cadres non-référence allouent significativement plus d'attention aux tokens de clé du cadre de référence (le premier cadre) par rapport à leurs équivalents T2V. Cette attention excessive propage l'information de référence à travers l'axe temporel, supprimant la dynamique inter-cadres et entraînant des sorties statiques.

Implémentation technique

DyMoS atténue cette dominance en rééquilibrant les logits d'attention lors des premières étapes de débruitage. La méthode introduit un décalage de biais scalaire vers les logits d'attention associés aux tokens de clé du cadre de référence.

La modulation est appliquée comme suit :

1. Ajustement des logits : Pour les tokens de requête non-référence ($i \notin I_{f0}$) s'attendant aux tokens de clé de référence ($j \in I_{f0}$), un scalaire positif $\gamma$ est soustrait des logits d'attention $L[i, j]$ avant l'opération softmax :
   $$\tilde{L}[i, j] = L[i, j] - \gamma \cdot \phi(f(i)) \cdot \mathbb{1}[j \in I_{f0}] \cdot \mathbb{1}[i \notin I_{f0}]$$
   Ici, $\gamma$ contrôle l'intensité de l'intervention, et $\phi(\cdot)$ est un calendrier par cadre (par défaut uniforme).
2. Portée temporelle : La modulation est appliquée uniquement pendant la première fraction $\lambda$ des étapes de débruitage. Cela cible la phase précoce où le mouvement global est déterminé, tout en permettant aux étapes ultérieures d'affiner l'apparence et la cohérence temporelle en utilisant l'attention standard.
3. Guidage sans classifieur (CFG) : La modulation est appliquée exclusivement à la branche conditionnée par le texte de l'équation CFG, laissant la branche à texte nul inchangée. Cela oriente la mise à jour guidée loin de la dominance du cadre de référence tout en maintenant l'intégrité structurelle du processus de génération.

Contributions clés

• Identification du mécanisme : L'article identifie la « dominance du cadre de référence » dans l'attention automatique comme un moteur principal du mouvement statique dans les modèles I2V, la distinguant des simples problèmes de conditionnement d'entrée.
• Intervention sans entraînement : DyMoS offre une solution simple et agnostique du modèle qui ne nécessite aucun ajustement fin, réentraînement ou modification de l'image d'entrée. Elle fonctionne uniquement en ajustant les logits d'attention lors de l'inférence.
• Contrôle continu : La méthode introduit un seul paramètre scalaire ($\gamma$) qui permet aux utilisateurs de contrôler continuellement le spectre allant de la préservation stricte de l'image de référence (statique) à un mouvement hautement dynamique, comblant efficacement le fossé entre les dynamiques de mouvement I2V et T2V.
• Préservation de la fidélité : Contrairement aux méthodes antérieures qui sacrifient la qualité visuelle ou la cohérence de la référence pour améliorer le mouvement, DyMoS améliore la dynamique du mouvement tout en maintenant une haute fidélité à l'image de référence et une qualité visuelle.

Résultats expérimentaux

Les auteurs ont validé DyMoS sur plusieurs architectures I2V de l'état de l'art, notamment Wan 2.2, Wan 2.1, HunyuanVideo-1.5 et CogVideoX-5B.

• Dynamique du mouvement : Sur toutes les architectures, DyMoS a obtenu systématiquement des scores de Degré de dynamique plus élevés (mesurés par VBench et VideoScore) par rapport à la fois à la base vanilla et à la méthode de l'état de l'art ALG. Par exemple, sur Wan 2.2, le Degré de dynamique est passé de 51,7 (Base) à 64,8 (DyMoS), une amélioration significative par rapport aux 55,3 d'ALG.
• Qualité visuelle : Crucialement, DyMoS a maintenu des scores de Qualité vidéo comparables à la base et à ALG, démontrant qu'un mouvement amélioré ne dégrade pas la fidélité visuelle.
• Alignement textuel : La méthode a obtenu les scores ViCLIP les plus élevés parmi les méthodes comparées, suggérant que la réduction de la dominance du cadre de référence permet au modèle de mieux suivre les descriptions de mouvement dans les invites textuelles.
• Préférence humaine : Dans une étude utilisateur, DyMoS a été sélectionné comme la meilleure vidéo selon tous les critères (Dynamisme du mouvement, Fidélité du cadre de référence, Alignement textuel et Préférence globale) plus fréquemment que la base ou ALG.
• Efficacité : La méthode engendre une surcharge d'inférence négligeable (par exemple, 1,2 % sur Wan 2.2), car elle n'implique que des opérations élémentaires légères sur les logits d'attention plutôt que des passes avant supplémentaires.

Importance et affirmations

L'article affirme que le biais de mouvement statique dans la génération I2V n'est pas une limitation inhérente du mécanisme de conditionnement lui-même, mais plutôt une conséquence de la manière dont l'information de référence est acheminée via l'attention automatique. En intervenant au niveau des logits d'attention, DyMoS rééquilibre efficacement la focalisation du modèle, permettant un mouvement dynamique sans compromettre les forces fondamentales des modèles I2V (fidélité de référence).

Les auteurs positionnent DyMoS comme un outil pratique pour les utilisateurs et les développeurs, offrant une « échelle glissante » de contrôle du mouvement via un seul paramètre. Ils notent que, bien que la méthode soit efficace, des intensités de modulation excessivement élevées peuvent réduire la cohérence de l'apparence, et que des travaux futurs pourraient explorer l'adaptation automatique de l'intensité de modulation en fonction d'invites spécifiques ou de types de mouvement. Ce travail démontre que des interventions simples et ciblées dans le mécanisme d'attention peuvent produire des améliorations substantielles de la qualité vidéo générative sans le coût computationnel du réentraînement.