PropFly: Learning to Propagate via On-the-Fly Supervision from Pre-trained Video Diffusion Models

Die Arbeit stellt PropFly vor, einen Trainingsansatz für videobasierte Bearbeitungen, der mithilfe von Pre-trained Video Diffusion Models und Guidance-Modulated Flow Matching auf die Notwendigkeit großer, gepaarter Datensätze verzichtet, indem er Trainingspaare direkt während des Trainings aus latenten Darstellungen mit unterschiedlichen CFG-Skalen synthetisiert.

Das Wesentliche

Das große Problem: Der mühsame Kochkurs

Stell dir vor, du möchtest einen Videoclip bearbeiten. Vielleicht soll ein schwarzes Auto im Video plötzlich rot sein, oder ein sonniger Tag soll in einen stürmischen Winter verwandelt werden.

Bisher gab es zwei Wege, das zu tun:

1. Der Text-Koch: Du sagst dem Computer: „Mach das Auto rot." Aber der Computer ist wie ein Koch, der deine Anweisungen oft missversteht. Vielleicht wird das Auto pink, oder der Hintergrund ändert sich auch noch. Es ist schwer, genau das zu bekommen, was man im Kopf hat.
2. Der Nachahmer: Du zeigst dem Computer ein einzelnes Bild, auf dem das Auto schon rot ist, und sagst: „Mach den Rest des Videos genauso." Das ist viel präziser. Aber hier liegt das Problem: Um einen Computer so zu trainieren, dass er das kann, braucht man tausende von Videopärchen. Man braucht das Originalvideo und dazu das perfekt bearbeitete Gegenstück.

Das ist wie ein Kochkurs, bei dem man 10.000 Rezepte braucht, um zu lernen, wie man einen Kuchen backt. Diese Rezepte (die Videopärchen) zu finden oder zu erstellen, ist extrem teuer, zeitaufwendig und oft unmöglich.

Die Lösung: PropFly – Der „On-the-Fly"-Lehrmeister

Die Forscher von PropFly haben eine geniale Idee entwickelt, die diesen riesigen Aufwand umgeht. Sie brauchen keine fertigen Rezepte. Stattdessen nutzen sie einen intelligenten Koch, der schon alles kann, und lassen ihn die Rezepte während des Trainings selbst erfinden.

Hier ist die Analogie:

1. Der erfahrene Koch (Das vortrainierte Modell)

Stell dir vor, du hast einen Weltklasse-Koch (ein großes KI-Modell), der schon Millionen von Videos gesehen hat. Er weiß genau, wie ein Video aussieht, wie sich Dinge bewegen und wie Farben funktionieren. Aber er hat noch nie gelernt, wie man ein Video speziell bearbeitet.

2. Der Trick mit dem „Gewürz" (CFG-Skalen)

Normalerweise gibt dieser Koch ein Gericht aus, das genau dem Rezept entspricht. Aber die Forscher haben einen Zaubertrick entdeckt: Sie können dem Koch einen „Gewürz-Regler" (im Fachjargon CFG-Skala) geben.

• Wenig Gewürz (Niedrige Skala): Der Koch macht das Gericht fast so, wie es ursprünglich war (das Originalvideo).
• Viel Gewürz (Hohe Skala): Der Koch macht das Gericht extrem intensiv und verändert den Stil (z. B. macht er aus dem sonnigen Tag einen stürmischen Winter).

Das Geniale ist: Weil der Koch dasselbe Gericht auf dieselbe Art zubereitet, nur mit unterschiedlichem Gewürz, bewegen sich die Zutaten (die Objekte im Video) immer noch exakt gleich. Nur das Aussehen ändert sich.

3. Die „On-the-Fly"-Supervision (Das Lernen in Echtzeit)

Anstatt 10.000 fertige Videopärchen zu sammeln, tut PropFly folgendes:

1. Es nimmt ein normales Video.
2. Es fragt den Weltklasse-Koch: „Wie sieht das aus, wenn ich wenig Gewürz nehme?" (Das ist das Original).
3. Es fragt denselben Koch sofort danach: „Wie sieht es aus, wenn ich viel Gewürz nehme?" (Das ist das Bearbeitete).
4. Das passiert sofort („On-the-Fly"), während das Training läuft.

Der Computer lernt nun: „Aha! Wenn ich vom Zustand 'wenig Gewürz' zum Zustand 'viel Gewürz' wechsle, passiert genau diese Veränderung." Er lernt die Transformation, ohne dass jemand ihm vorher ein fertiges Beispiel gezeigt hat.

Warum ist das so cool?

• Keine mühsame Datensammlung: Man braucht keine riesige Datenbank mit bearbeiteten Videos. Das System generiert seine eigenen Trainingsbeispiele in Echtzeit.
• Präzision: Da beide Versionen (Original und Bearbeitet) aus demselben „Gedanken" des Kochs stammen, bewegen sich die Dinge im Video perfekt synchron. Das Auto fährt immer noch genau so, wie es vorher fuhr – nur dass es jetzt rot ist.
• Vielseitigkeit: Es funktioniert nicht nur für kleine Änderungen (wie eine Farbe), sondern auch für große Umwandlungen (wie einen ganzen Wald in eine Cyberpunk-Stadt zu verwandeln).

Zusammenfassung in einem Satz

PropFly ist wie ein Schüler, der nicht 10.000 fertige Beispiele auswendig lernt, sondern einen genialen Lehrer hat, der ihm in Echtzeit zeigt, wie eine Veränderung aussieht, indem er nur den „Stil-Regler" an einem einzigen Video dreht – und der Schüler lernt daraus, jede beliebige Veränderung präzise zu übernehmen.

Das Ergebnis: Hochwertige Videobearbeitung, die genau das tut, was man sich vorstellt, ohne dass man jahrelang Daten sammeln muss.

Technische Zusammenfassung

1. Problemstellung

Video-Editing-Methoden lassen sich grob in zwei Kategorien einteilen: textbasierte Ansätze und propagationsbasierte Ansätze.

• Textbasierte Methoden (z. B. STDF, TokenFlow) sind intuitiv, haben aber Schwierigkeiten, feine visuelle Details präzise zu steuern und die ursprüngliche Struktur des Videos beizubehalten.
• Propagationsbasierte Methoden versuchen, eine bearbeitete Einzelbild (Frame) auf den gesamten Videostrom zu übertragen, um Konsistenz und Kontrolle zu gewährleisten. Das Hauptproblem hierbei ist jedoch die Datenknappheit. Das Training solcher Modelle erfordert große Mengen an gepaarten Datensätzen (Quellvideo + bearbeitetes Video), die teuer und komplex zu erstellen sind.
• Bestehende Lösungen, die synthetische Datenpaare erzeugen (z. B. GenProp), sind oft auf lokale Änderungen beschränkt, oder sie benötigen teure, iterative Diffusionsprozesse zur Datengenerierung (z. B. Señorita-2M), was rechenintensiv ist und die Vielfalt der Editierungen einschränkt.

2. Methodik: PropFly

PropFly ist ein neuartiges Trainingspipeline-Konzept, das die Notwendigkeit von vorgefertigten, gepaarten Videodatensätzen umgeht. Stattdessen nutzt es On-the-Fly-Supervision (Supervision in Echtzeit) aus vortrainierten Video-Diffusionsmodellen (VDMs).

Kernkonzept: CFG-basierte Datengenerierung

Der zentrale Insight der Autoren ist die Nutzung von Classifier-Free Guidance (CFG) als Steuerungsinstrument für die Datengenerierung:

1. Ein-Stufen-Schätzung: Anstatt den gesamten iterativen Denoising-Prozess für jedes Paar durchzuführen, wird eine Ein-Stufen-Schätzung (One-step clean latent estimation) aus einem zwischengeschalteten, verrauschten Latent ($x_t$) verwendet. Dies ist rechnerisch sehr effizient.
2. CFG-Skalen-Modulation:
   • Ein niedriger CFG-Wert ($\omega_L$) erzeugt ein „Quell-Latent" ($\hat{x}^{low}_{0|t}$), das die Struktur und Bewegung des Originalvideos bewahrt, aber nur schwach auf den Textprompt reagiert.
   • Ein hoher CFG-Wert ($\omega_H$) erzeugt ein „Ziel-Latent" ($\hat{x}^{high}_{0|t}$), das die gewünschte semantische Transformation (z. B. Stil, Objekt, Hintergrund) stark umsetzt.
   • Da beide Latente aus demselben $x_t$ und derselben Geschwindigkeitsvorhersage stammen, sind sie strukturell perfekt ausgerichtet, weisen aber einen klaren semantischen Unterschied auf. Dies bildet das perfekte Trainingspaar.

Architektur und Training

• Adapter: Ein trainierbarer Adapter (basierend auf VACE-Architektur) wird an ein eingefrorenes (frozen) vortrainiertes VDM (z. B. Wan2.1) angehängt.
• Eingabe: Der Adapter erhält das gesamte Quell-Latent (für Struktur) und das erste Frame des Ziel-Latents (für Stil/Inhalt) als Bedingung.
• Loss-Funktion (GMFM): Es wird ein neuer Guidance-Modulated Flow Matching (GMFM) Loss eingeführt. Der Adapter lernt, die Geschwindigkeitsvektoren des VDMs vorherzusagen, die der Transformation vom Quell- zum Ziel-Latent entsprechen. Der Loss zwingt das Modell, die Transformation des ersten Frames auf den gesamten Videostrom zu propagieren, ohne die ursprüngliche Bewegung zu zerstören.
• Random Style Prompt Fusion (RSPF): Um die Generalisierungsfähigkeit zu erhöhen, werden zufällige Stil-Prompts (z. B. „in Schnee", „Cyberpunk-Stil") mit dem ursprünglichen Caption fusioniert, um eine Vielzahl von Trainingsbeispielen zu generieren.

3. Wichtige Beiträge

1. PropFly Pipeline: Eine Trainingsmethode für propagationsbasiertes Video-Editing, die keine gepaarten Datensätze oder zusätzlichen Hilfsgrößen (wie optische Flüsse oder Tiefenkarten) benötigt.
2. Effiziente On-the-Fly Supervision: Durch die Kombination von CFG-Modulation und Ein-Stufen-Latent-Schätzung können strukturell ausgerichtete, aber semantisch diverse Trainingspaare in Echtzeit und mit geringem Rechenaufwand generiert werden.
3. Guidance-Modulated Flow Matching (GMFM): Eine spezialisierte Loss-Funktion, die das Modell effektiv anleitet, die Transformation zwischen den synthetischen Datenpaaren zu lernen, anstatt nur das Originalvideo zu rekonstruieren.
4. State-of-the-Art Leistung: PropFly erreicht in Benchmarks signifikant bessere Ergebnisse als bestehende Methoden, sowohl bei lokalen Änderungen (Objekttausch) als auch bei globalen Transformationen (Hintergrund, Wetter, Stil).

4. Ergebnisse

Die Autoren führten umfangreiche Experimente auf den Benchmarks EditVerseBench-Appearance und TGVE durch:

• Quantitative Ergebnisse:

  • PropFly (insbesondere die 14B- und 1.3B-Varianten) übertrifft sowohl textbasierte Methoden (wie EditVerse, Runway) als auch propagationsbasierte Baselines (wie AnyV2V, Señorita-2M) in allen Metriken: Videqualität (PickScore), Textausrichtung (CLIP/ViCLIP) und zeitliche Konsistenz (DINO/CLIP).
  • Im Vergleich zu Señorita-2M (das auf einem großen gepaarten Datensatz trainiert wurde) zeigt PropFly eine überlegene Leistung, was die Effektivität der On-the-Fly-Supervision unterstreicht.

• Qualitative Ergebnisse:

  • PropFly behält die Bewegung und Struktur des Originalvideos auch bei komplexen Änderungen (z. B. „Ein Mensch wird zu einem Roboter", „Wetterwechsel") konsistent bei.
  • Im Gegensatz zu Baselines, die oft Artefakte erzeugen oder die Bewegung verlieren (z. B. bei AnyV2V), oder die Transformation nicht über den gesamten Clip beibehalten (bei Señorita-2M), zeigt PropFly robuste Propagierung.
  • Die Methode funktioniert auch gut bei Verdeckungen (Occlusions) und komplexen Szenenwechseln.

• Ablationsstudien:

  • Der Vergleich mit „Full Sampling" zeigt, dass die Ein-Stufen-Schätzung entscheidend ist, um strukturelle Ausrichtung zu gewährleisten (Full Sampling führt zu Bewegungsinkonsistenzen durch numerische Fehler).
  • Der GMFM-Loss ist notwendig; ein Standard Flow-Matching-Loss führt dazu, dass das Modell die Bearbeitung nicht propagiert, sondern zum Original zurückkehrt.
  • RSPF verbessert die Generalisierungsfähigkeit für unbekannte Stile erheblich.

5. Bedeutung und Fazit

PropFly stellt einen Paradigmenwechsel im Training von Video-Editing-Modellen dar. Es löst das Problem der Datenknappheit für propagationsbasiertes Editing, indem es die generativen Fähigkeiten bereits existierender, vortrainierter Diffusionsmodelle nutzt, um unendlich viele diverse Trainingspaare „on-the-fly" zu erzeugen.

• Skalierbarkeit: Da die Methode nur einen leichten Adapter trainiert und das Backbone eingefroren bleibt, ist sie leicht auf stärkere zukünftige VDMs übertragbar.
• Effizienz: Sie eliminiert die Notwendigkeit teurer, manueller oder rechenintensiver Datensammlung.
• Qualität: Sie liefert Ergebnisse, die in Bezug auf zeitliche Konsistenz und visuelle Qualität den aktuellen State-of-the-Art übertreffen.

Zusammenfassend bietet PropFly einen robusten, dateneffizienten und hochleistungsfähigen Rahmen für die nächste Generation von Video-Editing-Tools, der komplexe globale und lokale Transformationen mit hoher Präzision ermöglicht.