Résumé Technique : AlignVid

1. Énoncé du Problème

La génération vidéo à partir d'images guidée par le texte (TI2V) a considérablement progressé dans l'extrapolation du mouvement, mais éprouve des difficultés avec la fidélité sémantique lorsque les invites nécessitent des modifications substantielles d'une image de référence (par exemple, ajouter, supprimer ou modifier des objets). L'article identifie ce mode de défaillance comme une négligence sémantique, où le modèle préserve la sémantique de l'image de référence plutôt que d'exécuter les changements spécifiés par le texte.

Grâce à une analyse empirique, les auteurs attribuent cela à la dominance visuelle : l'image de référence haute fidélité induit une forte dispersion de l'attention (entropie élevée) dans le mécanisme d'attention du modèle. Cette dominance supprime la modalité textuelle et entrave la capacité du modèle à intégrer de nouvelles informations sémantiques ou à générer le mouvement nécessaire. Une étude pilote a révélé que l'application d'un flou gaussien à l'image d'entrée atténue cette dominance, réduisant l'entropie de l'attention et améliorant l'adhésion sémantique, mais au détriment de la qualité visuelle. La question de recherche centrale est de savoir si cet effet de réduction de l'entropie peut être obtenu en régulant la distribution interne de l'attention du modèle sans dégrader l'image d'entrée.

2. Méthodologie : AlignVid

Les auteurs proposent AlignVid, une intervention sans entraînement qui re-calibre la distribution interne de l'attention du modèle basée sur une perspective énergétique de l'attention. La méthode se compose de deux composants principaux :

A. Modulation de l'Échelle d'Attention (ASM)

S'appuyant sur le lien théorique entre l'échelle d'attention et le contrôle de la température dans les fonctions softmax, l'ASM rééchelonne les embeddings de requête ($Q$) ou de clé ($K$) pour affiner le paysage d'attention.

• Mécanisme : L'échelle de $Q$ ou $K$ par un facteur $\gamma > 1$ est mathématiquement équivalente à l'augmentation de la température inverse ($\alpha$) du softmax.
• Effet : Cela réduit l'entropie de la distribution d'attention au sein des tokens de conditionnement (texte et image), forçant le modèle à concentrer son attention sur un ensemble plus restreint de tokens à fort logit et sémantiquement pertinents.
• Implémentation :
  • Dans les architectures MMDiT (où le conditionnement est injecté via les requêtes), l'ASM module $Q$.
  • Dans les architectures DiT (attention croisée standard), l'ASM module $K$.
  • Deux variantes sont proposées : Échelle Scalaire ($\gamma$ fixe) et Échelle Basée sur l'Énergie ($\gamma$ adaptatif basé sur la netteté des logits).

B. Planification de l'Orientation (GS)

Pour empêcher l'application indiscriminée de l'ASM de dégrader la qualité visuelle, les auteurs introduisent un mécanisme de planification qui active la modulation à deux niveaux :

• Planification de l'Orientation au Niveau des Blocs (BGS) : La modulation est appliquée uniquement aux blocs de transformateurs « sensibles au premier plan ». Ces blocs sont identifiés via un processus de calibration léger utilisant l'ACP et un modèle d'ancrage pour déterminer quelles couches se concentrent fortement sur les tokens du premier plan.
• Planification de l'Orientation au Niveau des Étapes (SGS) : La modulation est activée uniquement pendant des intervalles spécifiques de la trajectoire de débruitage. Les auteurs constatent que l'application de l'orientation lors des premières étapes de débruitage offre le meilleur équilibre, car ces étapes déterminent l'alignement sémantique global, tandis que les étapes ultérieures affinent les détails visuels.

3. Contributions Clés

1. Analyse du Problème et Étude Pilote : L'article formalise le défi de la fidélité sémantique en TI2V, le reliant empiriquement à la dominance visuelle et à une entropie d'attention élevée. Il démontre que la concentration de l'attention est essentielle pour libérer les signaux textuels de la redondance visuelle.
2. Cadre AlignVid : Une méthode sans entraînement qui module l'attention via ASM et GS. Elle améliore l'alignement sémantique avec une surcharge computationnelle négligeable et un impact esthétique minimal en réévaluant la hiérarchie des modalités au sein du mécanisme d'attention.
3. Benchmarck OmitI2V : Les auteurs introduisent un benchmark complet contenant 367 échantillons annotés par des humains spécifiquement conçus pour évaluer l'adhésion aux invites dans trois scénarios : modification, ajout et suppression. Contrairement aux benchmarks existants qui se concentrent sur la qualité vidéo générale, OmitI2V cible la conformité sémantique fine en utilisant un protocole de Réponse aux Questions Visuelles (VQA).

4. Résultats Expérimentaux

Des expériences extensives sur le benchmark OmitI2V et d'autres benchmarks standards (VBench, GenEval, ImgEdit) démontrent l'efficacité d'AlignVid :

• Fidélité Sémantique : AlignVid améliore systématiquement les scores d'alignement sémantique pour tous les types d'édition (modification, ajout, suppression) lorsqu'il est appliqué à des modèles de base comme FramePack, FramePack-F1 et Wan2.1. Par exemple, sur FramePack, il a amélioré la précision d'ajout de +4,58 % et la précision de modification de +3,23 %.
• Qualité Visuelle : Bien qu'il y ait un léger compromis, la diminution de la qualité esthétique est minime (par exemple, -0,37 à -1,49 points sur les scores esthétiques) par rapport aux gains substantiels en fidélité sémantique et en degré dynamique.
• Généralisation : La méthode montre une transférabilité positive vers la génération Image à partir de Texte (T2I) (OmniGen2) et les tâches Vidéo à partir de Texte (T2V), améliorant les performances sur GenEval et VBench respectivement. Elle améliore également les tâches d'édition d'images sur le benchmark ImgEdit.
• Efficacité : La méthode introduit une surcharge d'inférence négligeable (moins de 0,1 % d'augmentation du temps d'exécution) car elle ne modifie que les poids d'attention sans nécessiter d'entraînement supplémentaire ni de modules complexes.
• Comparaison avec CFG : AlignVid complète l'Orientation Sans Classifieur (CFG) ; l'application d'AlignVid par-dessus CFG produit des améliorations supplémentaires, offrant un avantage pratique en ne nécessitant aucun entraînement supplémentaire.

5. Signification et Revendications

L'article revendique qu'AlignVid fournit un compromis ajustable entre sémantique et qualité en régulant directement la distribution interne de l'attention du modèle, imitant les effets bénéfiques des perturbations au niveau de l'entrée (comme le flou) sans corrompre l'entrée visuelle.

Les auteurs positionnent leur travail comme un outil de diagnostic et de correction pour le problème prévalent de la négligence sémantique dans les modèles TI2V actuels. En établissant un lien théorique entre l'entropie de l'attention et la sélection sémantique, ils offrent une approche principielle et légère pour améliorer la contrôlabilité dans les modèles vidéo génératifs. L'introduction du benchmark OmitI2V est soulignée comme une contribution critique pour évaluer rigoureusement la conformité aux éditions fines, un vide que les auteurs affirment exister dans les suites d'évaluation actuelles.

L'article maintient un ton modeste concernant son impact, notant que si une contrôlabilité améliorée bénéficie aux applications créatives, elle nécessite des pratiques de déploiement responsables pour atténuer les risques associés à la génération de contenu synthétique persuasif.