PropFly: Learning to Propagate via On-the-Fly Supervision from Pre-trained Video Diffusion Models

Each language version is independently generated for its own context, not a direct translation.

🎬 PropFly : Le "Chef d'Orchestre" de la Vidéo

Imaginez que vous avez une vidéo d'un cheval qui galope dans un champ. Vous voulez transformer ce cheval en licorne, changer le champ en forêt enchantée, et faire en sorte que tout cela se produise de manière fluide, sans que la vidéo ne devienne floue ou bizarre.

C'est là que PropFly entre en jeu. C'est une nouvelle méthode intelligente pour modifier des vidéos entières en partant d'une seule image modifiée.

🧩 Le Problème : La difficulté de l'entraînement

Pour apprendre à un ordinateur à modifier des vidéos, on a traditionnellement besoin de milliers de paires de vidéos : une version "avant" (le cheval) et une version "après" (la licorne).

L'analogie : C'est comme essayer d'apprendre à un élève à cuisiner un gâteau en lui donnant seulement des livres de recettes, sans jamais lui montrer les ingrédients réels ou lui faire faire la cuisine. C'est long, cher et difficile à trouver (les données "paires" sont rares).

✨ La Solution Magique de PropFly : L'Enseignement "Sur le Vif"

PropFly ne cherche pas de vidéos toutes faites. Il apprend en direct, pendant l'entraînement, en utilisant un "super-ordinateur" déjà existant (un modèle de diffusion vidéo pré-entraîné).

Voici comment cela fonctionne, avec une analogie culinaire :

Le Chef Cuisinier (Le Modèle Pré-entraîné) : Imaginez un chef de cuisine très talentueux qui connaît déjà tous les plats du monde. Il peut imaginer à quoi ressemble un plat "normal" ou un plat "avec une touche de magie".
L'Effet "Volume de Saveur" (Le CFG) : Dans le monde de l'IA, il existe un bouton appelé CFG (Classifier-Free Guidance).
- Si vous tournez le bouton à 1, le chef vous donne le plat tel quel (le cheval normal).
- Si vous tournez le bouton à 7, le chef ajoute une "dose massive" d'imagination pour transformer le plat (le cheval devient une licorne).
La Recette "Sur le Vif" : Au lieu de cuisiner le plat complet deux fois (ce qui prendrait des heures), PropFly demande au chef de faire une estimation rapide (une étape) pour voir à quoi ressemblerait le plat normal et le plat magique.
- Il crée instantanément une paire : "Voici le cheval" (Source) et "Voici la licorne" (Cible).
- Il le fait des milliers de fois, à chaque instant de l'entraînement, créant une infinité de leçons sans avoir besoin de stocker de vidéos.

🚀 Comment PropFly apprend-il ? (Le Tuteur Intelligent)

PropFly ajoute un petit module supplémentaire (un "adaptateur") au cerveau du chef.

La Mission : Ce petit module doit apprendre à prendre la vidéo originale (le cheval) et à appliquer la transformation vue sur la première image (la licorne) à toutes les autres images de la vidéo.
L'Analogie du Miroir : Imaginez que vous tenez un miroir (la première image modifiée) devant quelqu'un. PropFly apprend à projeter ce reflet sur tout le reste de la vidéo, en respectant les mouvements (le galop du cheval) et la structure (les arbres qui bougent).

🌟 Pourquoi c'est génial ?

Pas besoin de manuels : Pas besoin de chercher des millions de vidéos "avant/après". L'IA génère ses propres exercices de cours pendant qu'elle apprend.
Précision chirurgicale : Contrairement aux anciennes méthodes qui changeaient tout le style de la vidéo (comme un filtre Instagram qui déforme tout), PropFly garde le mouvement original intact. Si le cheval galope, la licorne galope exactement de la même façon.
Polyvalence : Que vous vouliez changer la météo (soleil -> pluie), le décor (ville -> jungle) ou l'objet (voiture -> vaisseau spatial), PropFly s'adapte.

🏆 Le Résultat

En résumé, PropFly est comme un apprenti magicien qui observe un grand sorcier (le modèle pré-entraîné) faire des tours de passe-passe en temps réel. Au lieu d'apprendre par cœur des vidéos existantes, il apprend la logique de la transformation.

Le résultat ? Des vidéos modifiées d'une qualité incroyable, où tout bouge naturellement, sans les artefacts bizarres (flous, déformations) que l'on voyait auparavant. C'est une révolution pour rendre la modification de vidéo aussi simple que de changer une photo, mais pour toute une séquence animée.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique et Contexte

L'édition vidéo guidée par le texte a fait des progrès considérables grâce aux modèles de diffusion, mais elle souffre souvent d'un manque de précision pour les modifications fines ou globales, car il est difficile de décrire exactement les attributs visuels souhaités par un texte.

Pour contourner cela, l'approche par propagation (modifier une seule image et propager le changement sur toute la vidéo) offre un contrôle plus précis. Cependant, entraîner de tels modèles présente un défi majeur :

Pénurie de données : L'entraînement nécessite de vastes ensembles de données appariés (vidéos sources et vidéos éditées), qui sont coûteux et complexes à acquérir.
Limitations des méthodes existantes :
- Les méthodes basées sur des masques (ex: GenProp) ne gèrent que des changements locaux (ajout/suppression d'objets) et non des transformations globales (stylisation, changement de météo).
- Les méthodes utilisant des signaux auxiliaires (flux optique, profondeur) sont sensibles aux erreurs de ces signaux, générant des artefacts.
- La synthèse de données par diffusion itérative (ex: Señorita-2M) est extrêmement coûteuse en calcul et limitée en diversité.

Objectif : Développer un pipeline d'entraînement pour l'édition vidéo par propagation qui ne nécessite aucun jeu de données apparié pré-calculé ni de signaux de guidage auxiliaires, tout en permettant des transformations complexes (objets, arrière-plan, style, météo).

2. Méthodologie : PropFly

PropFly propose un pipeline d'entraînement innovant utilisant la supervision "à la volée" (on-the-fly) générée par des modèles de diffusion vidéo (VDM) pré-entraînés et figés.

A. Génération de paires de données "à la volée" (On-the-Fly Data Pair Generation)

Au lieu d'utiliser un dataset statique, PropFly génère dynamiquement des paires d'entraînement (source/édité) à partir d'une seule vidéo latente bruitée ( $x_t$ ) durant l'entraînement.

Principe clé : L'utilisation de l'échelle de Classifier-Free Guidance (CFG).
- Une estimation de latent propre en une seule étape (one-step clean latent estimation) est effectuée à partir de $x_t$ .
- En variant l'échelle CFG ( $\omega$ $ω$ ), on obtient deux latents :
  1. Source ( $\hat{x}^{low}_{0|t}$ ) : CFG faible (ex: 1.0). Conserve la structure et le mouvement originaux.
  2. Cible/Éditée ( $\hat{x}^{high}_{0|t}$ ) : CFG élevé (ex: 7.0). Applique la transformation sémantique demandée par le prompt tout en conservant la structure de base.
Avantage : Cette méthode évite le processus de débruitage itératif complet (coûteux), garantissant que la source et la cible sont parfaitement alignées structurellement (même mouvement) mais sémantiquement distinctes.

B. Fusion de Prompts de Style Aléatoire (RSPF)

Pour enrichir la diversité des transformations, le système fusionne aléatoirement des prompts de style (ex: "style Van Gogh", "neige", "cyberpunk") avec le descripteur original de la vidéo. Cela permet d'entraîner le modèle sur une large gamme de combinaisons contenu/style.

C. Architecture et Fonctionnement

Backbone : Un VDM pré-entraîné et figé (ex: Wan2.1) qui fournit les prédictions de vitesse.
Adapter : Un module entraînable (basé sur VACE) attaché au backbone. Il reçoit en entrée :
1. Le latent de la vidéo source complète (pour la structure).
2. La première frame du latent cible édité (pour le style/visuel).
3. Le prompt de texte augmenté.
Objectif d'apprentissage (GMFM) : L'adapter est entraîné via une Perte de Flux de Matching Modulé par le Guidage (Guidance-Modulated Flow Matching - GMFM).
- Le modèle doit prédire la vitesse correspondant à la transformation de la source vers la cible.
- La perte compare la prédiction de l'adapter à la vitesse "haute-CFG" du modèle pré-entraîné (figé), apprenant ainsi à répliquer la transformation sémantique tout en respectant la structure temporelle.

3. Contributions Clés

Pipeline PropFly : Une nouvelle méthode d'entraînement pour l'édition vidéo par propagation qui élimine le besoin de jeux de données appariés massifs ou de signaux auxiliaires (flux optique, profondeur).
Supervision à la volée efficace : Utilisation de l'estimation de latent propre en une étape couplée à la modulation CFG pour générer des paires de données structurées et sémantiquement variées de manière computationnellement efficace.
Perte GMFM : Une fonction de perte conçue pour guider l'adapter à apprendre la transformation spécifique entre les paires générées dynamiquement, assurant la cohérence temporelle.
Généralisation : La méthode fonctionne sur une large gamme de tâches, des modifications locales (changement d'objet) aux transformations globales complexes (changement de style, de météo, d'arrière-plan).

4. Résultats Expérimentaux

Les auteurs ont évalué PropFly sur les benchmarks EditVerseBench et TGVE, en le comparant aux méthodes de l'état de l'art (SOTA) :

Méthodes text-guidées : STDF, TokenFlow, InsV2V, Lucy Edit.
Méthodes par propagation : AnyV2V, Señorita-2M, CCEdit.

Performances Quantitatives :

PropFly (versions 1.3B et 14B) surpasse systématiquement les autres méthodes sur les métriques de qualité vidéo (PickScore), d'alignement texte-vidéo (CLIP, ViCLIP) et de cohérence temporelle (DINO, CLIP).
Il obtient les meilleurs scores sur la majorité des tâches, notamment pour les transformations complexes.

Performances Qualitatives :

Précision : Contrairement aux méthodes text-guidées qui ont du mal à appliquer des edits précis, PropFly respecte fidèlement l'intention de l'utilisateur.
Cohérence : Comparé aux méthodes de propagation existantes (AnyV2V, Señorita-2M), PropFly maintient mieux la structure du mouvement et évite les artefacts visuels (flou, distorsion) lors de changements d'objets ou d'arrière-plans complexes.
Robustesse : Il gère efficacement les occlusions et propage le style même dans des zones précédemment cachées.

Études d'ablation :

L'utilisation de l'estimation en une étape est cruciale : l'échantillonnage complet (full sampling) crée des incohérences de mouvement entre la source et la cible.
La perte GMFM est supérieure à la perte de flux standard (FM), car cette dernière tend à reconstruire la vidéo originale plutôt qu'à apprendre la transformation.
Le RSPF améliore significativement la capacité de généralisation à des styles inédits.

5. Signification et Impact

PropFly représente un changement de paradigme dans l'entraînement des modèles d'édition vidéo. En démontrant qu'il est possible d'entraîner des modèles de propagation robustes sans données appariées coûteuses, la méthode :

Réduit la barrière à l'entrée : Elle rend l'entraînement de modèles d'édition vidéo accessibles sans nécessiter la création de datasets massifs.
Offre une scalabilité : La méthode peut bénéficier directement de l'amélioration des modèles de génération vidéo pré-entraînés (backbones) sans modifier le pipeline d'entraînement.
Améliore la qualité : Elle établit un nouvel état de l'art pour l'édition vidéo, combinant la précision du contrôle par image (propagation) avec la flexibilité des modèles de diffusion modernes.

En résumé, PropFly résout le problème de la pénurie de données pour l'édition vidéo en utilisant l'intelligence générative des modèles pré-entraînés comme source de supervision dynamique, permettant des transformations vidéo de haute fidélité et cohérentes.