PropFly: Learning to Propagate via On-the-Fly Supervision from Pre-trained Video Diffusion Models

PropFly is een trainingspipeline voor videobewerking die gebruikmaakt van vooraf getrainde videodiffusiemodellen om direct gepaarde 'bron' en 'bewerkte' latenten te genereren, waardoor het mogelijk wordt om hoogwaardige, consistent bewerkte video's te produceren zonder de noodzaak van kostbare, handmatig samengestelde datasets.

De kern

Stel je voor dat je een video hebt van een paard dat door een veld galoppeert. Je wilt dat het paard verandert in een eenhoorn, maar je wilt ook dat de beweging, de achtergrond en de sfeer precies hetzelfde blijven.

Vroeger was dit een enorme uitdaging voor computers. Ofwel moest je de hele video opnieuw laten genereren (wat vaak resulteerde in een vreemde, dansende eenhoorn die niet meer op het paard leek), ofwel moest je handmatig elke frame bewerken (wat uren duurt).

Deze paper introduceert PropFly, een slimme nieuwe manier om video's te bewerken. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Paar-Data" Dilemma

Om een computer te leren video's te bewerken, hebben onderzoekers normaal gesproken duizenden voorbeelden nodig van "voor" en "na". Denk aan een video van een hond, en daarnaast exact dezelfde video maar dan met een hond die een hoed draagt.

• Het probleem: Het verzamelen van deze perfecte paren is duur, moeilijk en tijdrovend. Het is alsof je een kok moet leren koken door hem duizenden recepten te geven, terwijl je eigenlijk maar één ingrediënt wilt vervangen.

2. De Oplossing: PropFly (De "Live-Leraar")

PropFly heeft een geniale truc bedacht: ze hebben geen vooraf verzamelde voorbeelden nodig. In plaats daarvan leren ze de computer direct tijdens het trainen, "live" (on-the-fly).

Hoe doen ze dat? Ze gebruiken een bestaande, zeer slimme video-generator (een "Pre-trained Video Diffusion Model") als een meesterkok.

De Analogie van de Magische Rem

Stel je voor dat die bestaande video-generator een magische rem heeft (in de tech-taal heet dit CFG of Classifier-Free Guidance).

• Als je de rem licht trekt, blijft de video eruitzien zoals hij was (het paard blijft een paard).
• Als je de rem hard trekt, verandert de video drastisch volgens een beschrijving (het paard wordt een eenhoorn).

PropFly gebruikt deze rem op een slimme manier:

1. Ze nemen een willekeurige video (het paard).
2. Ze laten de computer een paar stappen in de "ruis" (de onduidelijke fase van het genereren) zetten.
3. Vervolgens vragen ze de computer twee dingen tegelijk:
   • "Wat zou dit zijn als ik de rem zacht trek?" (Dit is de Bron: het paard).
   • "Wat zou dit zijn als ik de rem hard trek?" (Dit is het Doel: de eenhoorn).

Omdat beide antwoorden uit hetzelfde moment in de "ruis" komen, bewegen ze precies hetzelfde! Het paard galoppeert op dezelfde manier als de eenhoorn. De computer ziet dit paar (paard vs. eenhoorn) en leert: "Ah, als ik dit frame zie, moet ik die beweging behouden, maar het uiterlijk veranderen."

3. De Leerling: De "Adapter"

De grote video-generator (de meesterkok) wordt niet aangepast; die blijft staan. PropFly plakt er een klein, trainbaar stukje bij, een Adapter.

• Deze adapter is als een stagiair die naar de meesterkok kijkt.
• De stagiair krijgt het "paard" te zien en de eerste frame van de "eenhoorn".
• De stagiair moet dan de rest van de video maken, waarbij hij de beweging van het paard overneemt, maar het uiterlijk van de eenhoorn toepast.

De stagiair wordt beloofd of gestraft (via een speciale rekenmethode genaamd GMFM) op basis van hoe goed hij de meesterkopie nabootst. Na veel oefening wordt de stagiair zo goed dat hij elke video kan bewerken, van het vervangen van objecten tot het veranderen van het weer of de stijl.

4. Waarom is dit zo speciaal?

• Geen dure datasets: Je hoeft geen duizenden voorbeelden te verzamelen. De computer maakt zijn eigen oefenmateriaal terwijl het leert.
• Perfecte beweging: Omdat de "bron" en het "doel" uit dezelfde wiskundige berekening komen, blijft de beweging (het galopperen, het lopen) perfect consistent. Geen dansende eenhoorns meer!
• Alles kan: Of je nu een auto in een robot wilt veranderen, een park in een ruïne wilt omtoveren, of de sfeer wilt veranderen naar "cyberpunk", PropFly doet het allemaal zonder dat de video uit elkaar valt.

Samenvattend

PropFly is als het geven van een magische bril aan een computer. In plaats van duizenden voorbeelden te laten zien, laat je de computer zien hoe het zelfde moment eruit zou zien in twee verschillende werelden (bijvoorbeeld: "sneeuw" vs. "zon"). De computer leert dan het patroon van de verandering en past dat toe op elke video die je hem geeft, terwijl hij de originele beweging perfect behoudt.

Het is een enorme stap voorwaarts: video bewerken wordt niet langer een zware, dure klus, maar een slimme, dynamische leerervaring die direct in de computer wordt opgebouwd.

Technische samenvatting

Probleemstelling

Video-editing met behulp van generatieve modellen is een snelgroeiend veld. Bestaande methoden vallen voornamelijk in twee categorieën:

1. Tekst-gestuurde editing: Deze methoden gebruiken tekstprompts om wijzigingen door te voeren. Hoewel ze intuïtief zijn, hebben ze vaak moeite om de precieze, fijnmazige visuele eigenschappen te realiseren die de gebruiker bedoelt, wat leidt tot inconsistenties of onnauwkeurige resultaten.
2. Propagatie-gebaseerde editing: Deze methoden proberen een enkele, door de gebruiker bewerkte frame door te propageren naar de rest van de video om beweging en structuur te behouden. Het grootste obstakel hierbij is echter de schaarste aan grote, gepaarde datasets (bronvideo en de bijbehorende bewerkte video). Het verzamelen of synthetiseren van dergelijke datasets is kostbaar, complex en computatie-intensief. Bestaande oplossingen die synthetische data gebruiken (zoals GenProp) zijn vaak beperkt tot lokale objectveranderingen en kunnen geen complexe globale transformaties (zoals stijlveranderingen of weersveranderingen) genereren. Andere methoden vertrouwen op extra geleidingssignalen (zoals optische stroming of dieptekaarten), wat kwetsbaar is voor artefacten als deze signalen onnauwkeurig zijn.

Methodologie: PropFly

De auteurs stellen PropFly voor, een trainingspipeline voor propagatie-gebaseerde video-editing die geen vooraf berekende gepaarde datasets vereist. In plaats daarvan maakt het gebruik van "on-the-fly" supervisie (supervisie tijdens de training) afkomstig van een voorgeïmplementeerde Video Diffusion Model (VDM).

De kern van de methode bestaat uit drie hoofdblokken:

1. On-the-Fly Data Pair Generatie:

   • Het systeem gebruikt een bevroren, voorgeïmplementeerde VDM (in dit geval Wan2.1).
   • In plaats van volledige iteratieve sampling (die duur is), wordt gebruik gemaakt van één-staps schattingen van een schone latent (one-step clean latent estimation) vanuit een tussenliggende ruisige latent ($x_t$).
   • De sleutelinsight is het gebruik van variërende Classifier-Free Guidance (CFG) schalen.
     • Een lage CFG-schaal ($\omega_L$) genereert een "bron" latent die de oorspronkelijke structuur en beweging behoudt.
     • Een hoge CFG-schaal ($\omega_H$) genereert een "doel" latent die dezelfde structuur heeft, maar een sterke semantische transformatie (bijv. stijl, object, weer) toont.
   • Omdat beide latents uit dezelfde ruisige staat en dezelfde snelheidsvoorspelling komen, zijn ze perfect structureel uitgelijnd, maar semantisch verschillend. Dit creëert een oneindige stroom van trainingsparen zonder extra datasetkosten.

2. Random Style Prompt Fusion (RSPF):

   • Om de diversiteit van de training te vergroten, worden willekeurige stijlprompts (bijv. "in de sneeuw", "cyberpunk stijl") gefuseerd met de oorspronkelijke tekstbeschrijving van de video. Dit zorgt voor een breed scala aan content-stijl combinaties.

3. Guidance-Modulated Flow Matching (GMFM) Loss:

   • Een trainbare adapter wordt toegevoegd aan de bevroren VDM.
   • Deze adapter krijgt als input de volledige bronvideo (voor structuur) en het eerste frame van het bewerkte doel (voor stijl).
   • De adapter wordt getraind met een nieuwe loss-functie, GMFM. Deze loss instrueert de adapter om de snelheidsvector (velocity) te voorspellen die de transformatie van de bron naar het doel nabootst, geleid door de hoge-CFG snelheid van de VDM.
   • Dit zorgt ervoor dat de adapter leert hoe de transformatie van het eerste frame consistent door de hele video moet worden toegepast.

Belangrijkste Bijdragen

• Nieuwe Trainingsparadigma: PropFly is de eerste methode die propagatie-gebaseerde video-editing traint zonder gepaarde datasets, door gebruik te maken van de generatieve kracht van bestaande VDM's via CFG-modulatie.
• Efficiënte Supervisie: Door één-staps schattingen te gebruiken in plaats van volledige sampling, wordt de computerkost voor het genereren van trainingsdata drastisch verlaagd, terwijl de kwaliteit van de supervisie behouden blijft.
• GMFM Loss: Een nieuwe loss-functie die specifiek is ontworpen om de adapter te laten leren de transformatie tussen on-the-fly gegenereerde paren te repliceren, in plaats van alleen de video te reconstrueren.
• Universele Toepasbaarheid: De methode werkt voor zowel lokale bewerkingen (objecten vervangen) als complexe globale transformaties (weersverandering, volledige stijlverandering).

Resultaten

PropFly is uitgebreid geëvalueerd op benchmarks zoals EditVerseBench en TGVE, en vergeleken met state-of-the-art (SOTA) methoden zoals AnyV2V, Señorita-2M, STDF en TokenFlow.

• Kwantitatieve Prestaties: PropFly behaalt de beste resultaten op alle belangrijke metrieken, waaronder video-kwaliteit (PickScore), tekst-uitlijning (CLIP/ViCLIP) en temporele consistentie (DINO/CLIP). Zowel de kleine (1.3B) als de grote (14B) versies van PropFly overtreffen bestaande methoden.
• Kwalitatieve Prestaties:
  • In tegenstelling tot tekst-gestuurde methoden die vaak de originele beweging verliezen, behoudt PropFly de beweging en structuur van de bronvideo perfect.
  • In vergelijking met andere propagatiemethoden (zoals Señorita-2M) toont PropFly superieure prestaties bij complexe bewerkingen (bijv. een mens veranderen in een robot terwijl de beweging behouden blijft) en vermijdt het visuele artefacten en vervagingen.
  • De methode slaagt erin om bewerkingen consistent door te propageren, zelfs bij occlusies (verduistering) en complexe bewegingen.

Betekenis en Impact

PropFly vertegenwoordigt een belangrijke doorbraak in het veld van video-editing. Het lost het fundamentele probleem van de schaarste aan gepaarde trainingsdata op, wat tot nu toe een grote beperking was voor het trainen van robuuste propagatiemodellen.

• Schalbaarheid: Omdat de methode afhankelijk is van de generatieve prior van de onderliggende VDM, kan PropFly direct profiteren van toekomstige verbeteringen in video-generatiemodellen zonder de trainingspipeline zelf aan te passen.
• Toekomstperspectief: Het biedt een nieuwe, schaalbare manier om krachtige en generaliseerbare video-editing modellen te trainen, wat de drempel verlaagt voor het ontwikkelen van tools die complexe video-bewerkingen met hoge precisie kunnen uitvoeren.

Kortom, PropFly bewijst dat men geen enorme, handmatig samengestelde datasets nodig heeft om geavanceerde video-editing te leren; men kan de "on-the-fly" kennis van bestaande diffusiemodellen zelf gebruiken als de leraar.