Improving Motion in Image-to-Video Models via Adaptive Low-Pass Guidance

Ce papier propose la « guidance à faible passe adaptative » (ALG), une méthode sans entraînement qui améliore la dynamique temporelle des vidéos générées par des modèles image-à-vidéo en atténuant l'exposition prématurée aux détails haute fréquence de l'image de référence, tout en préservant la qualité visuelle et l'alignement avec le texte.

L'essentiel

🎬 Le Problème : Le "Géant de Glace" qui ne bouge pas

Imaginez que vous avez un super chef cuisinier (l'IA) capable de créer des vidéos incroyables à partir de n'importe quelle description textuelle. C'est comme un magicien qui peut faire apparaître un film entier sur commande.

Mais, si vous donnez au chef une photo précise d'un objet (par exemple, un chat) et lui demandez : "Fais bouger ce chat", le résultat est souvent décevant. Au lieu d'un chat qui court, saute ou joue, l'IA produit une vidéo où le chat reste figé, comme une statue de glace. Il ressemble parfaitement à la photo, mais il ne vit pas.

Pourquoi ?
Les chercheurs ont découvert que l'IA est un peu trop "obsessionnelle". Dès qu'elle voit la photo de départ, elle s'empare de chaque petit détail (les poils, les reflets dans les yeux, la texture du pelage) et se dit : "Je dois absolument garder ces détails parfaits tout au long du film !".
En se concentrant trop vite sur ces détails fins, l'IA oublie de planifier le mouvement global. Elle se fige dans une "raccourci" : elle copie la photo plutôt que d'inventer une histoire. C'est comme si un acteur jouait une scène en regardant fixement son propre reflet dans un miroir au lieu de jouer avec ses partenaires.

💡 La Solution : Le "Filtre Magique" (ALG)

Pour régler ce problème, les chercheurs de KAIST ont inventé une astuce simple et gratuite appelée ALG (Guidage Adaptatif à Basse Fréquence).

Voici comment cela fonctionne, avec une analogie culinaire :

1. L'approche naïve (Le problème) : Si vous donnez une photo haute définition à l'IA, elle voit tout, y compris les miettes de poussière sur la table. Elle s'arrête sur ces miettes et oublie de faire bouger la table.
2. La solution brute (Le filtre simple) : Si vous floutez complètement la photo avant de la donner à l'IA, elle ne voit plus les miettes. Elle est obligée de se concentrer sur la forme générale du chat et de le faire bouger ! Mais le résultat est flou et moche.
3. L'astuce ALG (Le chef d'orchestre) : C'est ici que la magie opère. L'ALG agit comme un directeur de casting très intelligent qui guide l'IA en deux temps :
   • Au début du tournage (les premières secondes) : Il donne à l'IA une version floue de la photo. Comme elle ne voit pas les détails, elle est libre d'inventer de gros mouvements, de faire sauter le chat, de le faire tourner. Elle crée l'action !
   • À la fin du tournage (les dernières secondes) : Il lui donne soudainement la photo originale haute définition. L'IA, qui a déjà créé le mouvement, utilise maintenant cette photo pour "peindre" les détails fins (les poils, les yeux) sur le mouvement qu'elle vient de créer.

🚀 Le Résultat : Le meilleur des deux mondes

Grâce à cette méthode, on obtient le meilleur des deux mondes :

• Le mouvement est dynamique : Le chat court, saute et vit vraiment.
• La qualité reste parfaite : À la fin, le chat ressemble exactement à la photo de départ, avec tous ses détails.

C'est comme si vous dessiniez d'abord un croquis rapide et énergique au crayon (pour définir le mouvement), et que vous ajoutiez ensuite les couleurs et les détails précis au pinceau (pour la fidélité à l'image).

📊 En chiffres (pour les curieux)

Les chercheurs ont testé cette méthode sur plusieurs IA modernes. Le résultat est impressionnant :

• Le "degré de dynamisme" des vidéos a augmenté de 33 % en moyenne.
• La qualité de l'image n'a pas baissé, elle est même parfois meilleure.
• Et le plus beau : cela ne nécessite aucun entraînement supplémentaire. C'est une astuce logicielle simple que n'importe qui peut appliquer immédiatement.

En résumé : L'IA avait peur de bouger parce qu'elle était trop attachée aux détails de la photo de départ. En lui montrant d'abord une version floue pour la libérer, puis la photo réelle pour la guider, on lui a redonné sa liberté de mouvement sans sacrifier la qualité. C'est une victoire simple mais brillante pour l'avenir de la vidéo générée par IA.

Résumé technique

1. Problématique : La suppression dynamique dans les modèles I2V

Les modèles de génération vidéo récents, basés sur le text-to-video (T2V), produisent des vidéos de haute qualité et dynamiques. Cependant, lorsqu'ils sont adaptés pour la génération Image-to-Video (I2V) (où une image de référence conditionne la vidéo), ils souffrent d'un problème majeur : la suppression du mouvement.

• Observation : Les vidéos générées par les modèles I2V sont souvent trop statiques et adhèrent trop strictement à l'image de référence, contrairement à leurs homologues T2V qui sont plus dynamiques.
• Hypothèse des auteurs : Ce phénomène est causé par l'exposition prématurée aux composantes haute fréquence (détails fins, textures) de l'image d'entrée dès les premières étapes du processus de débruitage.
• Mécanisme : Cette exposition force le modèle à se "verrouiller" sur les détails statiques de l'image initiale, créant une trajectoire d'échantillonnage qui emprunte une "solution de raccourci" (shortcut). Le modèle oublie alors de générer les variations temporelles à grande échelle nécessaires au mouvement, car il a déjà fixé l'apparence fine de la vidéo trop tôt.

2. Méthodologie : Adaptive Low-Pass Guidance (ALG)

Pour résoudre ce problème sans réentraîner les modèles, les auteurs proposent une technique d'inférence simple et gratuite appelée ALG (Adaptive Low-Pass Guidance).

Principe de base

L'idée centrale est de moduler adaptativement le contenu fréquentiel de l'image de conditionnement au cours du temps d'échantillonnage (timesteps) :

1. Phase précoce (t ≈ 0) : L'image de conditionnement est filtrée par un filtre passe-bas (suppression des hautes fréquences/détails). Cela empêche le modèle de se verrouiller prématurément sur les détails statiques, libérant ainsi la flexibilité nécessaire pour développer des mouvements globaux et des structures grossières.
2. Phase tardive (t ≈ 1) : Le filtre est progressivement retiré (ou son intensité réduite), permettant au modèle de recevoir l'image originale non filtrée. Cela permet de reconstruire les détails fins et d'assurer la fidélité à l'image d'entrée.

Formulation Technique

L'ALG s'intègre dans le cadre de la Classifier-Free Guidance (CFG) utilisée par les modèles de flux (Flow Matching) ou de diffusion.

Soit $x_{init}$ l'image de conditionnement latente originale et $x^{(t)}_{init}$ sa version filtrée à l'instant $t$. La vitesse de prédiction modifiée $v_{ALG}$ est calculée comme suit :

$$v_{ALG}(x_t, t) = v_\theta(x_t, x_{init}, t, \emptyset) + w \left( v_\theta(x_t, x^{(t)}_{init}, t, c) - v_\theta(x_t, x^{(t)}_{init}, t, \emptyset) \right)$$

• Terme (a) - Renforcement du mouvement : Les termes conditionnels et non conditionnels utilisent l'image filtrée $x^{(t)}_{init}$, favorisant ainsi la génération de mouvement dynamique.
• Terme (b) - Correction de fidélité : Le premier terme non conditionnel utilise l'image originale $x_{init}$. Cela guide l'échantillonnage vers les hautes fréquences visuelles perdues si l'on n'utilisait que le terme (a), préservant ainsi la qualité de l'image.

Paramètres clés

• Fonction de force $\kappa(t)$ : Détermine l'intensité du filtre passe-bas à chaque étape. Les auteurs utilisent une fonction en escalier où le filtre est fort au début ($t < t_{trans}$) et nul ensuite.
• Délai de débruitage : Une astuce supplémentaire consiste à effectuer les 1 ou 2 premiers pas de débruitage avec l'image latente propre (non filtrée) avant d'activer le filtre, pour améliorer la stabilité sans sacrifier le mouvement.

3. Contributions Clés

1. Analyse du phénomène de "Shortcut" : Identification et visualisation (via des cartes de caractéristiques internes) du fait que les modèles I2V se figent prématurément sur les détails haute fréquence, bloquant la dynamique temporelle.
2. Solution sans entraînement (Training-free) : ALG est une modification de l'inférence qui ne nécessite aucun ajustement des poids du modèle, applicable à n'importe quel modèle I2V basé sur la diffusion/flow-matching.
3. Équilibre Performance/Fidélité : La méthode résout le compromis habituel entre la dynamique (qui nécessite de flouter l'entrée) et la fidélité (qui nécessite l'entrée originale) en appliquant le filtre de manière adaptative dans le temps.

4. Résultats Expérimentaux

Les auteurs ont évalué ALG sur plusieurs modèles open-source de pointe (Wan 2.1, Wan 2.2, LTX-Video) et plusieurs jeux de données (VBench, PVD, VidProM).

• Amélioration du Mouvement : Sur la suite de tests VBench, ALG améliore le score de Dynamic Degree (degré de dynamique) de 33 % en moyenne par rapport à la méthode de base (CFG standard).
• Préservation de la Qualité : Contrairement à l'application naïve d'un filtre passe-bas (qui dégrade la qualité de l'image), ALG maintient, voire améliore légèrement, les métriques de qualité vidéo (Aesthetic Quality, Imaging Quality, Subject Consistency).
• Comparaison T2V vs I2V : ALG permet aux modèles I2V de rattraper, voire de dépasser, la dynamique des modèles T2V tout en conservant la cohérence avec l'image de départ.
• Robustesse : Les résultats sont cohérents sur différents modèles et jeux de données, confirmant que le problème de suppression du mouvement est général et que la solution est universelle.

5. Signification et Impact

Ce travail apporte une contribution significative au domaine de la génération vidéo générative :

• Compréhension fondamentale : Il révèle que la sur-contrainte (over-conditioning) par les détails haute fréquence est un frein majeur à la dynamique dans les modèles I2V.
• Efficacité pratique : ALG offre une solution immédiate et peu coûteuse pour les développeurs et les chercheurs souhaitant améliorer la dynamique de leurs vidéos générées sans avoir à réentraîner des modèles massifs.
• Ouverture de nouvelles directions : La méthode suggère que le contrôle fréquentiel adaptatif au cours du processus de génération est une clé pour maîtriser le compromis entre fidélité spatiale et liberté temporelle dans les modèles génératifs.

En résumé, l'ALG transforme les vidéos I2V statiques en séquences dynamiques et fluides en "désencombrant" l'entrée initiale des détails superflus au début du processus, tout en les réintroduisant à la fin pour garantir un rendu visuel de haute qualité.