Résumé Technique : Génération Vidéo Compositionnelle via Guidance au Moment de l'Inférence (CVG)

Énoncé du Problème

Les modèles de diffusion Texte-vers-Vidéo (T2V) ont réalisé des progrès significatifs en matière de fidélité visuelle et de cohérence temporelle. Cependant, ils échouent fréquemment sur des invites nécessitant une compréhension compositionnelle fine, telles que des relations spatiales spécifiques (par exemple, « derrière », « entre »), des directions de mouvement (par exemple, « tourner à gauche »), des comptes numériques et des interactions complexes entre plusieurs entités. Bien que la conditionnement textuel standard et la guidance sans classifieur fournissent des signaux d'invite globaux, ils manquent souvent de la vérification explicite nécessaire pour satisfaire ces contraintes fines. Les solutions existantes pour améliorer le contrôle compositionnel nécessitent généralement de réentraîner le générateur avec des entrées auxiliaires (par exemple, boîtes englobantes, mises en page), d'affiner via des modèles de récompense, ou de recourir à des recherches coûteuses au moment du test, ce qui exige toutes des données supplémentaires, de la puissance de calcul ou des contrôles fournis par l'utilisateur.

Méthodologie : CVG

Les auteurs proposent CVG (Génération Vidéo Compositionnelle), un cadre de guidance au moment de l'inférence qui améliore la fidélité compositionnelle dans les modèles T2V figés sans modifier leur architecture ni leurs poids. L'hypothèse centrale est que les cartes d'attention croisée internes d'un modèle pré-entraîné encodent déjà les signaux d'ancrage spatio-temporel nécessaires pour évaluer la correction compositionnelle.

1. Mécanisme Central

CVG fonctionne en extrayant les cartes d'attention croisée token-sujet du générateur T2V figé durant le processus de débruitage. Ces cartes indiquent où le modèle localise des entités spécifiques (par exemple, « chien », « balle ») et comment ces localisations évoluent dans le temps. Au lieu d'utiliser le token de relation lui-même, le classifieur ne reçoit que les cartes d'attention des entités impliquées dans la composition.

2. Le Classifieur Compositionnel

Un classifieur léger est entraîné pour prédire des étiquettes compositionnelles (par exemple, « gauche », « derrière ») sur la base de ces cartes d'attention.

• Architecture : Le classifieur se compose d'un module d'agrégation appris, d'un modèle de langage-vision (VLM) figé (Qwen2.5-VL-7B) servant de colonne vertébrale, et d'une tête de classification entraînable.
• Données d'Entraînement : Le classifieur est entraîné sur un mélange de vidéos réelles (obtenues via inversion vidéo) et de vidéos synthétiques.
• Double Inversion pour Prévenir les Fuites : Pour prévenir la « fuite compositionnelle » (où le classifieur triche en lisant des traces textuelles du mot de relation dans les cartes d'attention plutôt que l'ancrage visuel), les auteurs emploient une stratégie de double inversion. Chaque vidéo d'entraînement est inversée deux fois : une fois avec l'invite de composition correcte et une fois avec une invite incorrecte échantillonnée dans le vocabulaire. Les deux inversions sont supervisées par la même étiquette de vérité terrain. Cela force le classifieur à se fier à l'arrangement visuel spatio-temporel réel des entités.
• Généralisation : Parce que le classifieur est construit sur une colonne vertébrale VLM figée, il hérite de priors sémantiques larges, lui permettant de généraliser à des étiquettes de composition sémantiquement liées au-delà de l'ensemble spécifique vu durant l'entraînement.

3. Guidance au Moment de l'Inférence

Durant la génération vidéo, le classifieur agit comme un contrôleur différentiable :

1. À des étapes de débruitage sélectionnées, le système extrait les cartes d'attention croisée token-sujet du latent courant.
2. Le classifieur prédit une distribution sur les classes compositionnelles.
3. Une perte d'entropie croisée est calculée entre la prédiction et l'étiquette de composition cible.
4. Le gradient de cette perte est rétropropagé pour mettre à jour la variable vidéo latente, orientant la trajectoire vers la composition désirée.
5. Calendrier de Guidance : Pour préserver la qualité visuelle et les priors d'apparence du générateur sous-jacent, la guidance est appliquée uniquement durant les 8 premières étapes de débruitage, où le mouvement grossier et la structure de la scène sont établis.

4. Extensions

• Guidance Multi-Composition : CVG prend en charge des invites structurées temporellement (par exemple, « tourner à gauche puis à droite ») en appliquant des contraintes compositionnelles spécifiques à des segments temporels masqués de la vidéo.
• Génération Autoregressive : La méthode s'étend à la génération de vidéos longues en attribuant des étiquettes de composition cibles à des lots générés individuellement tout en maintenant la continuité temporelle via le contexte autoregressif.

Contributions Clés

1. Cadre de Contrôle au Moment de l'Inférence : CVG fournit une méthode pour orienter des générateurs T2V figés en utilisant les gradients d'un classifieur compositionnel léger, éliminant le besoin d'affinement, de conditionnement auxiliaire ou de mises en page fournies par l'utilisateur.
2. Classifieur Basé sur VLM : L'introduction d'un classifieur entraîné sur des cartes d'attention croisée token-sujet utilisant une colonne vertébrale VLM figée, ce qui permet une généralisation à des configurations compositionnelles inédites ou rares.
3. Entraînement par Double Inversion : Une stratégie d'entraînement novatrice utilisant la double inversion pour atténuer la fuite compositionnelle, assurant que le classifieur apprend à partir de l'ancrage visuel plutôt que d'artefacts textuels.
4. Validation Empirique : Évaluation complète démontrant une fidélité compositionnelle améliorée tout en préservant la qualité visuelle sur plusieurs architectures (Wan2.2, CogVideoX) et régimes de génération (vidéos courtes et longues).

Résultats Expérimentaux

Les auteurs ont évalué CVG sur le benchmark T2V-CompBench et VBench (pour les vidéos courtes) et VBench-Long (pour les vidéos longues), en comparant avec des générateurs de base et TTOM (une forte ligne de base d'optimisation au moment du test guidée par la mise en page).

• Performance Quantitative : CVG a constamment surpassé les modèles de base et TTOM sur toutes les architectures testées.
  • Sur Wan2.2-14B, CVG a amélioré le score moyen T2V-CompBench de 0,556 (base) à 0,594, dépassant TTOM (0,579).
  • Sur VBench, CVG a obtenu les scores finaux les plus élevés pour les vidéos courtes (par exemple, 86,3 % sur Wan2.2-14B contre 85,0 % pour TTOM) et les vidéos longues (69,62 % contre 68,08 % pour TTOM).
  • Les gains ont été les plus prononcés dans les dimensions sensibles à la composition : Mouvement, Relations Spatiales, Attributs de Contenu et Attributs Dynamiques.
• Améliorations Qualitatives : Les exemples visuels ont montré que CVG réalisait correctement des contraintes complexes (par exemple, « lapin au-dessus de la tortue », « crabe rampant de sous le bois flotté ») là où les lignes de base et TTOM échouaient avec des relations spatiales ou des directions de mouvement incorrectes.
• Étude Utilisateur : Dans une étude de préférence humaine sur 100 invites, les participants ont préféré CVG à TTOM pour la Compositionnalité (39,6 % contre 20,7 % sur Wan2.2-14B) et l'Alignement Textuel, tout en notant la Qualité comme comparable dans la majorité des cas (54,6 % « les deux »).

Importance et Revendications

L'article revendique que les échecs compositionnels dans la génération T2V ne nécessitent pas d'être résolus par le réentraînement du générateur. Au lieu de cela, les signaux d'ancrage internes du modèle (cartes d'attention croisée) peuvent être exploités via un classifieur léger basé sur un VLM figé pour orienter la génération au moment de l'inférence.

Les auteurs soulignent que CVG réalise ces améliorations sans :

• Modifier l'architecture du modèle.
• Affiner le générateur.
• Exiger des mises en page, des boîtes englobantes ou des contrôles spatiaux fournis par l'utilisateur.

Ce travail suggère que les représentations internes des modèles de diffusion vidéo peuvent servir de mécanismes de contrôle actionnables pour aligner les vidéos générées avec des invites compositionnelles complexes, offrant une voie sans entraînement et efficace vers une fidélité compositionnelle accrue.

Limitations

Les auteurs notent que l'efficacité de CVG dépend de la qualité des signaux d'ancrage internes du modèle. Bien que la colonne vertébrale VLM aide à la généralisation, la méthode est la plus forte pour les compositions centrées sur le sujet (direction du mouvement, mise en page spatiale) et peut être moins fiable pour des invites ambiguës, des compositions subtiles ou des scènes avec plusieurs sujets fortement interactifs. L'approche oriente la trajectoire de débruitage plutôt que d'apprendre de nouvelles capacités génératives, ce qui signifie qu'elle ne peut pas corriger les déficits génératifs fondamentaux du modèle de base.