Making Video Models Adhere to User Intent with Minor Adjustments

1. Problématique

Les modèles de diffusion texte-vidéo ont connu des avancées spectaculaires, mais le contrôle spatial précis (placement et trajectoire des objets) reste un défi majeur. Les méthodes existantes, comme Trailblazer (Ma et al., 2024b), tentent d'imposer un contrôle via des boîtes englobantes (bounding boxes) en modifiant directement les cartes d'attention croisée (cross-attention maps) du modèle.

Cependant, ces approches souffrent de deux limitations principales :

1. Inadéquation avec l'intention utilisateur : Les modifications appliquées aux cartes d'attention sont souvent heuristiques et ne correspondent pas à la manière dont le modèle pré-entraîné interprète naturellement l'espace. Cela entraîne une dégradation de la qualité visuelle (artefacts, objets manquants) ou une non-conformité à la trajectoire demandée.
2. Non-différentiabilité : Les méthodes actuelles utilisent des masques binaires (0 ou 1) pour définir les zones d'attention. Ces masques créent des discontinuités qui rendent l'optimisation des paramètres de la boîte englobante impossible par rétropropagation (gradient), empêchant ainsi un ajustement fin pour améliorer l'adhésion au contrôle.

2. Méthodologie

L'approche proposée consiste à optimiser légèrement les boîtes englobantes fournies par l'utilisateur pour qu'elles s'alignent mieux avec les cartes d'attention internes du modèle de diffusion vidéo, sans nécessiter de réentraînement du modèle.

Le pipeline se décompose en trois étapes clés :

A. Édition de cartes d'attention différentiable

Pour contourner le problème de la non-différentiabilité des masques binaires, les auteurs remplacent les masques discrets par des masques lisses (smooth masks).

• Ils utilisent des fonctions de type sigmoïde (step functions) pour lisser les bords de la carte d'attention gaussienne.
• Cela permet de rendre la modification de la carte d'attention différentiable par rapport aux coordonnées de la boîte englobante ($b_{left}, b_{top}, b_{right}, b_{bottom}$), permettant ainsi l'optimisation par gradient.

B. Objectif d'optimisation (Maximisation d'attention équilibrée)

Une fois le pipeline différentiable, ils optimisent les coordonnées de la boîte pour maximiser l'attention du modèle dans la zone désirée, tout en préservant le contexte. La fonction de perte totale ($L_{total}$) combine trois termes :

1. Maximisation de l'attention ($L_{attn}$) : Encourage la somme des valeurs d'attention de la couche suivante à être concentrée à l'intérieur de la boîte optimisée. Cela aligne la boîte avec l'endroit où le réseau neuronal « regarde » naturellement.
2. Préservation de l'arrière-plan ($L_{\neg attn}$) : Un terme de régularisation qui empêche le modèle d'ignorer complètement l'extérieur de la boîte, assurant ainsi une génération cohérente de l'arrière-plan et évitant la saturation.
3. Régularisation de proximité ($L_{reg}$) : Pénalise les écarts trop grands entre la boîte optimisée et la boîte originale fournie par l'utilisateur, garantissant que l'intention initiale est respectée.

C. Procédure

Le système effectue une boucle d'optimisation (utilisant l'optimiseur Adam) sur les paramètres de la boîte avant la génération finale. Les ajustements sont subtils (de l'ordre de quelques pixels), mais ils permettent au modèle de « comprendre » le contrôle sans être perturbé par des injections d'attention trop agressives.

3. Contributions Clés

• Démonstration de l'impact des micro-ajustements : L'article prouve que de légères modifications des boîtes de contrôle, alignées sur les mécanismes internes du modèle, améliorent drastiquement la qualité et la fidélité de la génération.
• Pipeline d'édition différentiable : Introduction d'une méthode pour rendre la modification des cartes d'attention (généralement non différentiable) compatible avec l'optimisation par gradient via des masques lisses.
• Objectif d'attention équilibré : Proposition d'une fonction de perte qui maximise l'attention sur l'objet tout en maintenant l'attention sur l'arrière-plan, évitant ainsi les artefacts de génération.
• Méthode sans entraînement (Training-free) : La méthode fonctionne sur des modèles pré-entraînés existants (comme Trailblazer et T2V-Turbo) sans nécessiter de fine-tuning coûteux.

4. Résultats Expérimentaux

Les auteurs ont évalué leur méthode sur deux architectures de modèles vidéo (Trailblazer et T2V-Turbo) en utilisant le jeu de données Animal Kingdom.

• Métriques Quantitatives :
  • Scores de préférence humaine (PickScore, HPSv2) : La méthode complète surpasse significativement les baselines (Trailblazer, Peekaboo, Freetraj) en termes de qualité visuelle et de cohérence avec le prompt.
  • Précision du contrôle (mIOU) : La méthode maintient un niveau de précision de contrôle (Intersection over Union) comparable aux méthodes de base, prouvant que l'optimisation ne dégrade pas la fidélité à la trajectoire.
• Étude Utilisateur :
  • Une étude avec 20 participants a montré que la méthode proposée est significativement préférée par rapport aux méthodes existantes, tant pour la qualité de la vidéo que pour la fidélité à la trajectoire contrôlée.
  • Les résultats qualitatifs montrent une réduction des artefacts et une meilleure adhérence au mouvement demandé (ex: « The jellyfish is swimming »).

5. Signification et Impact

Ce travail met en lumière un principe fondamental souvent négligé : les signaux de contrôle (comme les boîtes englobantes) sont souvent mal alignés avec les représentations internes des modèles de diffusion pré-entraînés.

• Changement de paradigme : Au lieu de forcer le modèle à suivre un contrôle rigide (ce qui dégrade la qualité), il est plus efficace d'adapter légèrement le contrôle pour qu'il soit « naturel » pour le modèle.
• Généralité : Bien que testé sur des boîtes englobantes, le principe s'applique potentiellement à d'autres modalités de contrôle (trajectoires, croquis, profondeur).
• Limitations : La méthode nécessite une phase d'optimisation (rétropropagation partielle) qui augmente le temps de génération (environ 1 min 37s contre 48s pour la baseline), et la qualité finale reste limitée par la capacité du modèle vidéo sous-jacent.

En conclusion, cet article propose une approche élégante et efficace pour améliorer le contrôle spatial dans la génération vidéo, démontrant que l'optimisation fine des entrées de contrôle est une voie prometteuse pour combler le fossé entre l'intention de l'utilisateur et la capacité du modèle.