🤖 machine learning

MotionCFG: Boosting Motion Dynamics via Stochastic Concept Perturbation

Ce papier propose MotionCFG, un cadre qui améliore la dynamique du mouvement dans la synthèse vidéo texte-vers-vidéo en remplaçant les négations explicites par une perturbation stochastique des concepts, permettant ainsi d'affiner les trajectoires temporelles et de moduler des notions complexes sans compromettre l'intégrité sémantique ou visuelle.

Auteurs originaux : Byungjun Kim, Soobin Um, Jong Chul Ye

Publié 2026-03-17

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Byungjun Kim, Soobin Um, Jong Chul Ye

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous demandez à un artiste de génie de dessiner un film où un cheval galope frénétiquement sur une plage. Vous lui donnez la description, mais l'artiste, par habitude, a tendance à dessiner des chevaux qui semblent figés, comme des statues, ou alors il dessine un cheval qui bouge mais dont la tête se transforme en une pomme. C'est le problème actuel de l'intelligence artificielle qui crée des vidéos à partir de texte.

Voici comment le papier "MotionCFG" résout ce problème, expliqué simplement :

1. Le Problème : L'Artiste qui a peur de bouger

Les modèles d'IA actuels sont entraînés sur des milliards de vidéos. Malheureusement, beaucoup de ces vidéos sont statiques (des paysages, des gens qui parlent sans bouger). L'IA a donc appris que "la plupart du temps, les choses ne bougent pas beaucoup".

Quand vous lui demandez un mouvement, elle hésite. Pour l'aider, les développeurs utilisent une technique appelée CFG (Guidance sans classificateur). C'est comme si l'IA se disait : "Ok, je vais dessiner ce que vous voulez, mais je vais aussi imaginer ce que vous ne voulez PAS (par exemple : 'ne bouge pas', 'flou') et je vais faire l'inverse."

Le problème, c'est que dire "ne bouge pas" à l'IA, c'est comme lui crier "Ne pense pas à un éléphant rose !". Elle finit par penser à un éléphant rose, mais en plus, elle commence à déformer tout le reste du dessin (les couleurs deviennent trop vives, le cheval perd sa tête). C'est ce que les auteurs appellent la "Dérive Contenu-Mouvement" : en essayant de forcer le mouvement, on gâche la qualité de l'image.

2. La Solution : MotionCFG (Le "Brouillard" Ciblé)

Au lieu de crier "Ne bouge pas !" (ce qui est trop grossier et gâche tout), MotionCFG utilise une astuce plus subtile et intelligente.

Imaginez que vous voulez apprendre à quelqu'un à faire du vélo.

L'ancienne méthode (CFG classique) : Vous lui criez "Ne tombe pas !" et "Ne reste pas immobile !". Il panique, se cogne et tombe.
La méthode MotionCFG : Vous prenez le vélo, vous le secouez très légèrement juste sur la partie des pédales (le mouvement), mais vous laissez le guidon et la selle parfaitement stables. Vous dites à l'IA : "Regarde cette version du vélo où les pédales sont un peu floues et instables. Maintenant, fais l'inverse : rends les pédales super nettes et dynamiques, mais garde le reste du vélo intact."

Comment ça marche techniquement (en version simple) :

Repérer les mots clés : L'IA identifie les mots de votre phrase qui parlent de mouvement (ex: "galoper", "sauter", "courir").
Ajouter du "bruit" : Elle prend ces mots précis et y ajoute un peu de "brouillard" numérique (du bruit aléatoire). Cela crée une version "ratée" ou "floue" de l'idée de mouvement.
Le contraste : L'IA compare votre demande originale avec cette version "floue". Elle se dit : "Ah, je vois la différence entre le mouvement net et le mouvement flou. Je vais donc accentuer le mouvement net."
Le timing parfait : Elle ne fait cela qu'au début de la création de la vidéo (quand l'histoire globale se dessine). Une fois le mouvement lancé, elle arrête de perturber les choses pour laisser l'IA peindre les détails fins (la texture de la fourrure, les couleurs) sans les abîmer.

3. Les Résultats Magiques

Grâce à cette méthode, l'IA produit des vidéos où :

Le cheval galope vraiment, avec de la vitesse et de l'élan.
Le cheval garde sa tête, ses pattes et ses couleurs (pas de déformation bizarre).
Les couleurs ne sont pas "saturées" ou trop vives.

4. L'Analogie Finale : Le Chef d'Orchestre

Imaginez un chef d'orchestre (l'IA) qui dirige un groupe de musiciens.

L'ancienne méthode : Le chef crie à tout le monde : "Jouez plus fort !" ou "Arrêtez de jouer !" Cela crée du chaos et de la fausse note partout.
MotionCFG : Le chef se penche uniquement vers les violons (les mots de mouvement) et leur chuchote : "Vous, jouez avec plus d'énergie, mais restez en harmonie avec les autres." Il ne touche pas aux cuivres (les objets statiques). Résultat : la musique est dynamique, mais l'harmonie est parfaite.

En résumé

MotionCFG est une nouvelle technique qui permet de dire à l'IA : "Fais bouger les choses, mais fais-le intelligemment." Au lieu de lui interdire le calme (ce qui la perturbe), elle lui montre une version "ratée" du mouvement pour l'encourager à faire le mouvement "réussi", le tout sans abîmer le reste de l'image. C'est comme un outil de précision pour donner vie aux vidéos sans les déformer.

1. Problématique

La génération de vidéo à partir de texte (Text-to-Video ou T2V) a connu des progrès significatifs grâce aux modèles de diffusion à grande échelle. Cependant, un défi majeur persiste : la difficulté à générer des mouvements fidèles et dynamiques.

Biais statique : Les modèles T2V actuels, entraînés sur des ensembles de données dominés par des scènes statiques ou à faible mouvement, ont tendance à produire des vidéos avec peu de variation temporelle, même lorsque l'invite (prompt) décrit des actions dynamiques (ex: "un chat sautant par-dessus une clôture").
Limites de la Guidance Sans Classificateur (CFG) standard : La méthode CFG standard améliore l'alignement avec le texte mais est "agnostique" au mouvement. Elle extrapole simplement par rapport à une embedding nulle, ce qui renforce souvent les modes statiques dominants.
Le problème du "Content-Motion Drift" : L'utilisation de prompts négatifs explicites (ex: "statique", "flou") pour supprimer les artefacts via la CFG introduit souvent un biais sémantique indésirable. Cela dégrade l'intégrité des objets (déformation, perte de forme) tout en tentant d'améliorer le mouvement, un phénomène que les auteurs nomment Content-Motion Drift.

2. Méthodologie : MotionCFG

Pour résoudre ces problèmes sans réentraînement du modèle (approche zero-shot et training-free), les auteurs proposent MotionCFG. Cette méthode améliore la dynamique du mouvement en contrastant un concept cible avec ses versions perturbées par du bruit, plutôt que d'utiliser des négations textuelles explicites.

A. Perturbation Stochastique des Concepts

Au lieu d'utiliser une embedding nulle ou un prompt négatif textuel, MotionCFG injecte du bruit gaussien directement dans les embeddings des tokens liés au mouvement.

Identification des tokens de mouvement : Un grand modèle de langage (LLM) léger identifie automatiquement les mots-clés décrivant l'action (verbes d'action comme "courir", "sauter") dans l'invite utilisateur.
Injection de bruit : À chaque étape de débruitage, un vecteur de bruit est ajouté uniquement aux embeddings de ces tokens de mouvement, créant une condition perturbée $c_{pert,t}$ .
Guidage par répulsion : Le modèle est guidé pour s'éloigner de cette condition perturbée (qui représente un voisinage de variations de mouvement sous-optimales) tout en restant ancré sur la condition originale. La prédiction de bruit guidée est calculée comme suit :
$\tilde{\epsilon}_\theta = \epsilon_\theta(z_t, c) + \omega (\epsilon_\theta(z_t, c) - \epsilon_\theta(z_t, c_{pert,t}))$
Cela permet un "minage de négatifs durs implicites" (implicit hard negative mining) sans altérer l'identité sémantique globale de l'objet.

B. Planification de Guidance par Étapes (Piecewise Guidance Scheduler)

Les auteurs observent que la structure globale du mouvement est établie au début du processus de débruitage, tandis que les détails spatiaux fins sont affinés plus tard.

Stratégie : MotionCFG est appliqué uniquement durant la première fraction $\tau$ des étapes de débruitage pour établir une trajectoire de mouvement robuste.
Transition : Après cette phase initiale, le système revient à la CFG standard pour affiner les détails spatiaux et texturés, évitant ainsi les artefacts visuels qui pourraient survenir si la perturbation était appliquée trop tardivement.

3. Contributions Clés

Précision Sémantique : La méthode supprime un large "espace complémentaire" de variations de mouvement sous-optimales autour du concept cible, plutôt que d'éviter un seul point sémantique étroit.
Préservation du Contenu : En isolant la dégradation au seul "manifold" du mouvement, MotionCFG affine la dynamique sans déformer l'identité sémantique globale des objets (résolution du Content-Motion Drift).
Minage de Négatifs Implicites : L'utilisation du contraste entre une embedding propre et une version bruitée permet un raffinement des détails temporels sans nécessiter d'ingénierie manuelle de prompts négatifs.
Généralisation : Le mécanisme de perturbation par bruit n'est pas limité au mouvement. Les auteurs démontrent qu'il peut être appliqué à d'autres concepts non linéaires difficiles à contrôler, comme le comptage précis d'objets.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles T2V de pointe (Wan2.1 1.3B/14B, CogVideoX-5B) en utilisant des benchmarks comme T2V-CompBench et des prompts générés par Gemini.

Amélioration de la Dynamique Temporelle : MotionCFG surpasse systématiquement les méthodes de base (CFG avec prompts négatifs, CADS, Interval Guidance) sur les métriques de dynamique (FLOW, Info DINO, DINO Segm, DEVIL Score).
- Exemple : Sur Wan2.1-14B, le score FLOW est plus que doublé (de 2.95 à 6.06) par rapport à la base, tout en maintenant un alignement texte-vidéo (X-CLIP) comparable.
Qualité Visuelle et Fidélité : Contrairement aux méthodes qui sacrifient la fidélité pour le mouvement, MotionCFG maintient une haute fidélité visuelle et une cohérence structurelle, évitant la saturation excessive ou la morphologie des sujets.
Analyse de Compromis (Trade-off) : L'analyse montre que MotionCFG atteint la frontière de Pareto optimale, offrant une intensité de mouvement accrue avec une dégradation minimale de la fidélité textuelle.
Comptage d'Objets : En perturbant les embeddings liées à la quantité, la méthode réduit significativement l'erreur absolue moyenne (MAE) dans la génération du nombre d'objets (ex: "trois chevaux"), surpassant les méthodes de base.

5. Signification et Impact

MotionCFG représente une avancée significative dans le contrôle des modèles de génération vidéo :

Efficacité : C'est une méthode légère, sans réentraînement, avec une surcharge computationnelle négligeable par rapport à la CFG standard.
Robustesse : Elle résout le problème fondamental du biais statique inhérent aux modèles T2V actuels sans compromettre la qualité de l'image.
Versatilité : En démontrant son efficacité sur le comptage d'objets, le papier suggère que la perturbation stochastique ciblée est un cadre généralisable pour moduler n'importe quel attribut sémantique discret ou non linéaire dans les modèles de diffusion, ouvrant la voie à une synthèse vidéo plus fine et plus contrôlable.

En résumé, MotionCFG propose un changement de paradigme : au lieu de dire au modèle ce qu'il ne doit pas faire (via des prompts négatifs), il utilise le bruit pour lui montrer ce qu'il ne doit pas faire (via des variations dégradées du mouvement), permettant ainsi une convergence plus précise vers l'intention dynamique souhaitée.