🤖 AI

Motion Attribution for Video Generation

Le document introduit Motive, un cadre d'attribution de données centré sur le mouvement et évolutif qui isole la dynamique temporelle pour identifier les clips d'entraînement à haute influence, permettant ainsi une curation de données qui améliore significativement la fluidité du mouvement et la plausibilité physique dans les modèles de génération de vidéo.

Auteurs originaux : Xindi Wu, Despoina Paschalidou, Jun Gao, Antonio Torralba, Laura Leal-Taixé, Olga Russakovsky, Sanja Fidler, Jonathan Lorraine

Publié 2026-07-07

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xindi Wu, Despoina Paschalidou, Jun Gao, Antonio Torralba, Laura Leal-Taixé, Olga Russakovsky, Sanja Fidler, Jonathan Lorraine

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : La « boîte noire » des images animées

Imaginez que vous avez un robot chef super intelligent capable de cuisiner n'importe quel plat que vous demandez. Si vous demandez un « curry épicé », il en prépare un. Si vous demandez des « sushis », il en fait aussi. Mais que se passe-t-il si vous demandez une « banane qui danse » ? Le robot pourrait fabriquer une banane qui ressemble à une banane, mais qui se contente de glisser sur l'assiette au lieu de danser.

Dans le monde de la génération de vidéos par IA, nous avons ces « robots chefs » (les modèles) qui peuvent créer des vidéos. Ils deviennent de plus en mieux doués pour rendre les choses réalistes. Cependant, les scientifiques ne savaient pas vraiment quels clips vidéo spécifiques le robot était en train de « goûter » pour apprendre comment faire bouger les choses.

Le problème : Si le robot apprend à faire rebondir une balle, est-ce parce qu'il a regardé une vidéo de basket-ball ? Ou une vidéo d'une balle en caoutchouc ? Ou peut-être une vidéo d'une maison qui rebondit ?
L'ancienne méthode : Les méthodes précédentes essayaient de comprendre quelles vidéos d'entraînement étaient importantes, mais elles se concentraient principalement sur l'apparence des choses (l'aspect statique). Elles ne pouvaient pas faire la différence entre une vidéo d'un tableau immobile et une vidéo d'une personne qui danse, même si les deux contenaient une « personne ». Elles traitaient le mouvement comme une simple couleur sur une toile.

La solution : Motive (Le détective du mouvement)

Les auteurs ont créé un nouvel outil appelé Motive (MOTIon attribution for Video gEneration). Considérez Motive comme un détective spécialisé qui ne s'intéresse qu'au mouvement, et non au décor.

Voici comment fonctionne Motive, étape par étape :

1. Ignorer l'arrière-plan (Le « masque de mouvement »)

Imaginez que vous regardez un film où une voiture passe devant une magnifique montagne.

L'ancien détective : « Je vois une voiture ! Je vois une montagne ! Les deux sont importants ! »
Motive : « Je me fiche de la montagne. Elle est juste là, immobile. Je ne m'intéresse qu'aux roues qui tournent et à la voiture qui avance ».

Motive utilise un « masque » spécial (comme un surligneur) qui ignore les parties statiques de la vidéo (comme le ciel ou un mur) et ne met en évidence que les parties qui sont réellement en mouvement. Cela lui permet de calculer exactement quelles vidéos d'entraînement ont appris à l'IA comment faire bouger les objets, plutôt que de simplement apprendre à les dessiner.

2. L'audit du « livre de recettes »

Le modèle d'IA est entraîné sur une bibliothèque massive de millions de vidéos. Motive parcourt cette bibliothèque et demande : « Si je retire cette vidéo spécifique, l'IA oubliera-t-elle comment faire rebondir une balle ? »

Il attribue un score à chaque vidéo de la bibliothèque :

Score élevé : Cette vidéo est une « classe de maître » en matière de mouvement. Elle a appris à l'IA comment faire flotter, rouler ou exploser des objets.
Score faible : Cette vidéo est ennuyeuse ou déroutante. Elle contient peut-être beaucoup de mouvement, mais c'est juste une caméra qui tremble, ou un dessin animé qui bouge d'une manière qui brise les lois de la physique.

3. Le « test de goût » (Affinage/Fine-tuning)

Les chercheurs ne se sont pas arrêtés à la recherche des bonnes vidéos ; ils les ont testées.

Ils ont pris un modèle d'IA standard.
Ils lui ont donné un régime très restreint et soigneusement sélectionné, composé uniquement des 10 % de vidéos que Motive a identifiées comme étant les meilleures pour enseigner le mouvement.
Le résultat : L'IA est devenue bien meilleure pour créer des vidéos qui bougent de manière fluide et qui respectent les lois de la physique.
- Elle a battu le « régime aléatoire » (où l'IA mangeait toutes les vidéos qu'elle trouvait).
- Elle a même battu le « régime complet » (où l'IA mangeait toutes les vidéos), mais en utilisant seulement 10 % des données.

Pourquoi cela compte (Le moment « Eurêka ! »)

L'article affirme que c'est la première fois que quelqu'un parvient à séparer avec succès le « mouvement » de l'« apparence » dans l'IA vidéo.

Avant : Si vous vouliez qu'une IA apprenne comment l'eau coule, vous pourriez accidentellement lui donner des vidéos de peinture bleue (qui ressemble à de l'eau mais ne coule pas). L'IA apprendrait la mauvaise chose.
Maintenant : Motive peut dire : « Non, cette vidéo de peinture bleue est inutile pour enseigner l'écoulement. Mais cette vidéo de rivière ? C'est celle-là qui a appris à l'IA comment faire couler l'eau. »

Les résultats en langage clair

L'équipe a testé Motive sur un benchmark appelé VBench (un bulletin de notes pour l'IA vidéo).

Fluidité du mouvement : Les vidéos paraissaient moins saccadées et plus fluides.
Degré de dynamisme : Les vidéos semblaient plus vivantes et énergiques.
Vote humain : Lorsque de vrais humains ont regardé les vidéos créées par l'IA entraînée par Motive, ils l'ont préférée par rapport à l'IA originale non entraînée dans 74 % des cas. Ils l'ont préférée à l'IA du « régime complet » 53 % du temps.

L'essentiel à retenir

Considérez l'entraînement d'une IA vidéo comme l'entraînement d'un chien.

L'ancienne méthode : Vous jetez un million de friandises au chien en espérant qu'il apprenne à s'asseoir. Certaines friandises sont bonnes, certaines sont mauvaises, et vous ne savez pas lesquelles ont fonctionné.
La méthode Motive : Vous utilisez un outil spécial pour identifier les friandises exactes qui ont fait s'asseoir le chien parfaitement. Ensuite, vous donnez au chien uniquement ces friandises spécifiques. Le chien apprend plus vite, mieux, et avec moins de nourriture.

Motive prouve que la qualité est préférable à la quantité. En trouvant les vidéos spécifiques qui enseignent à l'IA comment bouger, nous pouvons construire de meilleurs générateurs de vidéos sans avoir besoin de traiter l'intégralité d'Internet.

Résumé Technique : Attribution du Mouvement pour la Génération de Vidéo (Motive)

Énoncé du Problème

Malgré les progrès rapides des modèles de génération de vidéo, le rôle spécifique des données d'entraînement dans la formation du mouvement (dynamique temporelle) reste mal compris. Les méthodes d'attribution de données existantes, principalement conçues pour la génération d'images, se concentrent sur l'apparence visuelle statique. Lorsqu'elles sont appliquées naïvement à la vidéo, ces méthodes réduisent le mouvement à l'apparence, échouant à distinguer les arrière-plans statiques des trajectoires dynamiques. Cela crée une lacune dans la compréhension de quels clips d'entraînement influencent la cohérence temporelle, la plausibilité physique et les motifs de mouvement spécifiques (ex. : vélocité, accélération, déformation). De plus, l'attribution vidéo fait face à des défis uniques : le coût computationnel élevé du traitement de séquences longues, les biais introduits par la longueur variable des clips, et la difficulté d'isoler les relations temporelles du contenu spatial.

Méthodologie : Le Cadre Motive

Les auteurs introduisent Motive (MOTIon attribution for Video gEneration), un cadre d'attribution basé sur le gradient conçu pour isoler l'influence spécifique au mouvement de l'apparence statique. Le cadre opère dans le régime de l'ajustement fin (fine-tuning), visant à identifier quels clips d'entraînement influencent le plus fortement la dynamique temporelle d'une vidéo de requête générée.

Composants Clés

Calcul de Gradient Scalable :
- Pour gérer les modèles à milliards de paramètres et les grands ensembles de données, Motive évite l'inversion exacte de la Hessienne. Au lieu de cela, il approxime l'influence via la similitude de gradient en utilisant un préconditionneur d'identité.
- Stratégies d'Efficacité : Il emploie une variante à échantillon unique (fixant un instant $t_{fix}$ et un bruit $\epsilon_{fix}$ ) pour réduire la variance tout en maintenant la stabilité du classement. Il réduit également les coûts de stockage en utilisant une projection Fastfood (transformée de Johnson–Lindenstrauss) pour projeter les gradients de haute dimension dans un espace de dimension inférieure ( $D' = 512$ ) avant de calculer la similitude cosinus.
- Correction du Biais de Longueur de Cadre : Les magnitudes de gradient brutes sont corrélées à la durée de la vidéo. Motive normalise les gradients par le nombre de cadres ( $F$ ) avant la projection pour assurer une attribution équitable entre clips de longueurs variables.
Pondération Sensible au Mouvement (Masquage de Mouvement) :
- Contrairement à l'attribution standard qui traite une vidéo comme une unité unique, Motive repondère les gradients en fonction du mouvement local.
- Détection de Mouvement : Le cadre utilise AllTracker pour extraire le flux optique et les vecteurs de déplacement dans l'espace des pixels.
- Alignement Latent : Les magnitudes de mouvement sont sous-échantillonnées pour s'aligner avec la grille latente du modèle (où les gradients sont calculés).
- Perte Pondérée par le Mouvement : Un masque de magnitude de mouvement ( $W$ ) est appliqué à la fonction de perte. Cela supprime les gradients des régions statiques (arrière-plans, textures) et accentue les gradients des régions dynamiques (objets en mouvement, mouvement de caméra). Le score d'influence résultant retrace le mouvement généré vers les clips d'entraînement ayant contribué à ces comportements dynamiques spécifiques.
Stratégie de Sélection de Données :
- Pour une vidéo de requête donnée, Motive calcule les scores d'influence sensibles au mouvement pour tous les échantillons d'entraînement.
- Sélection de Sous-ensemble : Pour sélectionner un sous-ensemble d'ajustement fin, les $K$ échantillons les mieux classés sont choisis. Pour plusieurs requêtes, un mécanisme de vote majoritaire agrège les scores, sélectionnant les échantillons qui sont systématiquement influents à travers différentes requêtes de mouvement.

Contributions Clés

Attribution Scalable pour la Vidéo : Une approche d'attribution basée sur le gradient, efficace en termes de calcul, qui s'adapte aux modèles de génération de vidéo modernes et à grande échelle, en utilisant des estimateurs à échantillon unique et des projections structurées.
Correction du Biais de Longueur de Cadre : Une technique de normalisation novatrice qui corrige le biais où les vidéos plus longues reçoivent artificiellement des scores d'influence plus élevés en raison de l'accumulation des magnitudes de gradient.
Attribution Centrée sur le Mouvement : Le premier cadre qui isole explicitement les dynamiques temporelles de l'apparence statique dans les modèles génératifs de vidéo via des masques de perte pondérés par le mouvement, permettant de tracer des motifs de mouvement spécifiques jusqu'aux données d'entraînement.
Validation Empirique : Démonstration que l'utilisation de données sélectionnées par Motive (seulement 10 % de l'ensemble de données) améliore la fluidité du mouvement et le degré dynamique sur VBench, surpassant à la fois la sélection aléatoire et les bases d'attribution non sensibles au mouvement.

Résultats Expérimentaux

Le cadre a été évalué sur les modèles text-to-video Wan2.1-T2V-1.3B et Wan2.2-TI2V-5B, ainsi que sur LTX-2B, en utilisant les jeux de données VIDGEN-1M et 4DNeX-10M.

Performance Quantitative (VBench) :
- Motive a atteint les scores de Degré Dynamique les plus élevés (47,6 % sur Wan2.1 et 48,3 % sur Wan2.2), surpassant significativement la sélection aléatoire (~~41,3 %) et l'attribution de la vidéo complète (~~43,8 %).
- Notamment, Motive a surpassé l'ajustement fin sur l'ensemble complet des données sur les métriques de degré dynamique tout en n'utilisant que 10 % des données.
- Il a maintenu des scores compétitifs en Fluidité du Mouvement, Cohérence du Sujet et Qualité Esthétique.
Évaluation Humaine :
- Dans des comparaisons par paires avec 17 annotateurs, les modèles guidés par Motive ont obtenu un taux de victoire de 74,1 % contre le modèle de base pré-entraîné et un taux de victoire de 53,1 % contre les modèles d'ajustement fin complet.
Études d'Ablation :
- Dimension de Projection : Une dimension de projection de 512 a fourni le meilleur compromis entre précision (corrélation de Spearman $\rho \approx 74,7 \%$ avec les gradients complets) et efficacité.
- Normalisation de la Longueur de Cadre : La suppression de cette correction a provoqué une corrélation forte des classements avec la longueur de la vidéo ( $\rho=78,0 \%$ ) plutôt qu'avec la qualité du mouvement. La normalisation a réduit les corrélations fallacieuses de longueur de 54 %.
- Masquage de Mouvement : Les modèles ajustés avec une sélection sensible au mouvement ont surpassé ceux utilisant l'attribution de la vidéo complète, confirmant que l'isolation des signaux de mouvement est critique pour améliorer les dynamiques temporelles.

Signification et Revendications

L'article affirme présenter le premier cadre capable d'attribuer le mouvement plutôt que l'apparence visuelle dans les modèles génératifs de vidéo et d'utiliser cette attribution pour la curation de données d'ajustement fin.

Les auteurs soulignent que si le passage à l'échelle des données a stimulé les progrès de la génération de vidéo, l'influence spécifique des données sur le mouvement est restée une "boîte noire". Motive offre un prisme direct pour comprendre pourquoi les modèles bougent de telle ou telle manière. En isolant les dynamiques temporelles, le cadre permet :

Curation de Données Ciblée : Sélectionner une petite fraction de données à haute influence pour améliorer significativement la qualité du mouvement et la plausibilité physique.
Diagnostic des Modes de Défaillance : Identifier quels clips d'entraînement mènent à des artefacts ou des incohérences de mouvement spécifiques.
Efficacité : Atteindre des performances qui égalent ou dépassent l'ajustement fin de l'ensemble complet des données avec une fraction de celles-ci, rendant la génération de mouvements de haute qualité plus accessible.

Le travail conclut qu'à mesure que les modèles vidéo passent à l'échelle, la compréhension du mouvement au niveau des données sera essentielle pour construire des systèmes génératifs plus contrôlables et physiquement plausibles.