💻 computer science

Pusa V1.0: Unlocking Temporal Control in Pretrained Video Diffusion Models via Vectorized Timestep Adaptation

Pusa V1.0 führt eine nicht-destruktive, vektorisierte Zeitschritt-Anpassung (VTA) ein, die eine feinkörnige Zero-Shot-Zeitsteuerung – einschließlich Bild-zu-Video-Konvertierung, Start-End-Rahmen-Bedingung und Videoerweiterung – in vortrainierten Video-Diffusionsmodellen ermöglicht, wobei die ursprünglichen generativen Fähigkeiten des Basismodells vollständig erhalten bleiben.

Ursprüngliche Autoren: Yaofang Liu, Yumeng Ren, Aitor Artola, Yuxuan Hu, Xiaodong Cun, Xiaotong Zhao, Alan Zhao, Raymond H. Chan, Suiyun Zhang, Rui Liu, Dandan Tu, Jean-Michel Morel

Veröffentlicht 2026-05-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yaofang Liu, Yumeng Ren, Aitor Artola, Yuxuan Hu, Xiaodong Cun, Xiaotong Zhao, Alan Zhao, Raymond H. Chan, Suiyun Zhang, Rui Liu, Dandan Tu, Jean-Michel Morel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen Meisterkoch, der unglaublich gut darin ist, eine bestimmte Art von Gericht von Grund auf neu zuzubereiten: Text-zu-Video. Sie geben ihm ein Rezept (einen Text-Prompt), und er zaubert ein köstliches Video hervor. Dieser Koch ist das „Basismodell" (speziell ein Modell namens Wan-T2V).

Allerdings gibt es ein Problem. Wenn Sie dem Koch eine spezifische Ausgangszutat geben möchten (wie ein Foto einer Katze) und sagen: „Erstelle ein Video, das mit dieser Katze beginnt", gerät der Koch in Verwirrung. Auf die alte Art und Weise musste der Koch eine völlig neue Zubereitungsart von Grund auf neu lernen, wobei er oft vergaß, wie man die ursprünglichen Gerichte gut zubereitet. Das ist so, als würde man den Koch zwingen, seine gesamte kulinarische Ausbildung zu vergessen, nur um einen neuen Trick zu lernen.

Dann kommt Pusa V1.0 ins Spiel.

Das Problem: Die „starre Uhr"

Aktuelle Video-KI-Modelle funktionieren wie eine starre, synchronisierte Uhr. Stellen Sie sich ein Video als eine Reihe fallender Dominosteine vor. Bei diesen alten Modellen muss jeder einzelne Dominostein (jeder Frame) genau zur gleichen Geschwindigkeit und zur gleichen Zeit fallen.

Wenn Sie wollen, dass der erste Dominostein stehen bleibt (Ihr Startbild), während die anderen fallen, bricht die Uhr zusammen.
Um dies zu beheben, versuchen andere Modelle, den Koch neu zu trainieren, was teuer, langsam ist und oft seine Fähigkeit, die ursprünglichen Gerichte zuzubereiten, ruiniert.

Die Lösung: Die „individuellen Fernbedienungen"

Pusa führt ein Konzept namens Vektorisierte Zeitschritt-Anpassung (Vectorized Timestep Adaptation, VTA) ein.

Anstatt einer einzigen Master-Uhr für das gesamte Video gibt Pusa jedem einzelnen Frame seine eigene Fernbedienung.

Frame 1 (Ihr Startbild) erhält eine Fernbedienung, die auf „Pause" eingestellt ist.
Frame 2 erhält eine Fernbedienung, die auf „Langsam bewegen" eingestellt ist.
Frame 3 erhält eine Fernbedienung, die auf „Schnell bewegen" eingestellt ist.

Dies ermöglicht es der KI, jeden Frame unabhängig weiterzuentwickeln. Der erste Frame bleibt genau dort, wo Sie ihn platziert haben, während der Rest des Videos natürlich darum herumfließt.

Der magische Trick: „Nicht-destruktive" Chirurgie

Das Beeindruckendste an Pusa ist, wie es dies lernt.

Alte Methode: Um den Trick „Start mit einem Bild" zu lernen, mussten die alten Modelle (wie Wan-I2V) eine massive, zerstörerische Überholung durchlaufen. Sie mussten auf Millionen von Beispielen neu trainiert werden, was im Wesentlichen den Hirnneuaufbau des Kochs bedeutete. Dies kostete ein Vermögen an Rechenleistung und ließ sie oft vergessen, wie man die ursprüngliche Text-zu-Video-Aufgabe erledigt.
Pusa-Methode: Pusa führt „chirurgische" Anpassungen durch. Es baut das Gehirn des Kochs nicht neu auf; es fügt dem bestehenden Gehirn lediglich ein winziges, spezialisiertes Werkzeug (den vektorisierten Zeitschritt) hinzu.
- Analogie: Stellen Sie sich vor, der Koch weiß bereits, wie man perfekt kocht. Anstatt ihn zu feuern und einen neuen einzustellen, geben Sie ihm einfach einen spezifischen Timer, der ihm genau sagt, wann er den ersten Topf aufhören soll zu rühren. Die Kernkompetenzen des Kochs bleiben zu 100 % intakt.

Die Ergebnisse: Günstig, Schnell und Vielseitig

Da Pusa nicht alles von Grund auf neu lernen muss, sind die Ergebnisse atemberaubend:

Ultra-effizient: Während andere Modelle Millionen von Beispielen und enorme Rechenbudgets benötigten (mit Kosten von über 100.000 $ für Rechenleistung), erreichte Pusa erstklassige Ergebnisse mit nur 4.000 Beispielen und einem winzigen Bruchteil der Kosten (rund 500 $).
Zero-Shot-Superkräfte: Da das Gehirn des Kochs nicht überschrieben wurde, lernte Pusa nicht nur, mit einem Bild zu beginnen. Es erlangte sofort die Fähigkeit, andere komplexe Tricks ohne zusätzliches Training auszuführen, wie zum Beispiel:
- Start- und End-Frame: Dem KI eine Bild für den Anfang und das Ende geben und es den Mittelteil ausfüllen lassen.
- Video-Erweiterung: Ein kurzes Video nehmen und es nahtlos länger machen.
- Text-zu-Video: Es behielt seine ursprüngliche Fähigkeit, Videos aus Text-Prompts perfekt zu erstellen.

Zusammenfassung

Pusa V1.0 ist wie das Aufrüsten eines Automotors, ohne das Auto auseinanderzunehmen. Indem jedem Frame sein eigenes „Zeit-Zifferblatt" gegeben wird, anstatt sie zum Marschieren im Gleichschritt zu zwingen, kann das Modell komplexe Videotasks (wie den Start von einem spezifischen Bild) mit unglaublicher Effizienz bewältigen. Es bewahrt die Intelligenz des ursprünglichen Modells, während es neue, flexible Fähigkeiten freischaltet, wodurch die hochwertige Videoerstellung viel günstiger und zugänglicher wird.

Technische Zusammenfassung: PUSA V1.0

Problemstellung

Aktuelle Video-Diffusionsmodelle (VDMs) verlassen sich überwiegend auf eine skalare Zeitschrittvariable, um das Rauschniveau und die Evolutionsbahn einheitlich über alle Frames eines Videoclips hinweg zu steuern. Obwohl dies für die Text-zu-Video-Generierung (T2V) effektiv ist, setzt diese starre Synchronisierung fundamentale Grenzen für die zeitliche Modellierung. Insbesondere zeigt sie Schwächen bei nuancierten, zeitabhängigen Aufgaben wie Image-to-Video (I2V), Videoerweiterung und der Konditionierung von Start- und Endframes. Bestehende Lösungen für diese Herausforderungen beinhalten häufig:

Destruktive Anpassung: Feinabstimmung von Basismodellen mit massiven Ressourcen und aufgaben spezifischen Architekturen (z. B. Maskenmechanismen), was das Risiko des katastrophalen Vergessens der generativen Priors des Basismodells birgt.
Autoregressive Ansätze: Modelle, die Frames sequenziell generieren, um eine starre Synchronisierung zu vermeiden. Diese sind jedoch häufig durch Ineffizienz bei der Berechnung, Fehlerakkumulation über lange Sequenzen hinweg und die Unfähigkeit zur bidirektionalen Inferenz (z. B. Konditionierung sowohl auf Start- als auch auf Endframes) eingeschränkt.

Methodik

Die Arbeit stellt PUSA V1.0 vor, ein vielseitiges Modell, das vektorisierte Zeitschrittanpassung (VTA) nutzt, um eine feingranulare zeitliche Kontrolle innerhalb eines einheitlichen Video-Diffusionsrahmens zu ermöglichen. Die Kerninnovation ist eine nicht-destruktive Anpassungsstrategie, die die zeitliche Konditionierung des Basismodells modifiziert, ohne dessen Architektur zu verändern oder seine vortrainierten Fähigkeiten zu zerstören.

1. Vektorisierte Zeitschrittanpassung (VTA)

Anstelle eines einzelnen skalaren Zeitschritts $t$ verwendet PUSA einen vektorierten Zeitschritt $\tau \in [0, 1]^N$ , wobei $N$ die Anzahl der Frames ist. Jede Komponente $\tau^i$ repräsentiert den individuellen Progressionsparameter des $i$ -ten Frames entlang seines Wahrscheinlichkeitspfads.

Architektonische Modifikation: Die Anpassung ist minimal und nicht-destruktiv. Das Zeitschritt-Embedding-Modul wird so umgestaltet, dass es den Eingabevektor $\tau$ verarbeitet und framespezifische Embeddings generiert. Diese Embeddings werden projiziert, um pro-Frame-Modulationsparameter (Skalierung, Verschiebung, Gate) innerhalb der DiT-Blöcke (Diffusion Transformer) zu erzeugen.
Erhaltung der Priors: Da die Modifikation nicht-destruktiv ist, ermöglicht die Einstellung aller Frame-Zeitschritte auf denselben Wert, dass das Modell Ergebnisse erzeugt, die mit dem Basismodell für T2V identisch sind, wodurch seine ursprünglichen Fähigkeiten vollständig erhalten bleiben.

2. Frame-bewusstes Flow Matching (FAFM)

Das Modell wird mit einem Flow-Matching-Ziel trainiert, das für vektorisierte Zeitschritte erweitert wurde.

Trainingsstrategie: Das Training nutzt eine vollständig randomisierte vektorisierte Zeitschritt-Strategie ( $p_{async} = 1$ ), bei der jede Komponente $\tau^i$ unabhängig aus einer Gleichverteilung $U[0, 1]$ abgetastet wird. Dies zwingt das Modell, feingranulare zeitliche Kontrolle aus einer maximal diversen Verteilung zeitlicher Zustände zu erlernen.
Effizienz: Im Gegensatz zu früheren Methoden, die komplexe Abtastpläne oder massive Datensätze erfordern, ermöglicht dieser Ansatz, das Modell mit extrem begrenzten Daten und Rechenressourcen feinabzustimmen.

3. Inferenz für Zero-Shot-Aufgaben

PUSA erreicht Zero-Shot-Fähigkeiten durch die strategische Manipulation des vektorisierten Zeitschritts $\tau$ während der Abtastung:

I2V: Die Zeitschrittkomponente für das konditionierende Bild (z. B. der erste Frame) wird während der gesamten Inferenz auf Null geklemmt ( $\tau^1 = 0$ ), wodurch er effektiv als saubere Bedingung fixiert wird, während sich andere Frames entwickeln.
Start- und Endframes sowie Erweiterung: Durch das Klemmen der Zeitschritte für bestimmte Teilmengen von Frames (z. B. erster und letzter Frame) auf Null oder spezifische Rauschniveaus kann das Modell kohärente Videos generieren, die auf beliebigen Frame-Konfigurationen basieren, ohne eine aufgabenspezifische Neu-Training zu erfordern.

Hauptbeiträge

Beispiellose Effizienz: PUSA erzielt State-of-the-Art (SOTA) I2V-Leistung mit nur 4.000 Samples und 0,5K Rechenkosten (ca. 500 $), im Vergleich zu den erwarteten >10 Mio. Samples und >100K Kosten für vergleichbare Baselines wie Wan-I2V.
Einheitliche Multi-Task-Generalisierung: Das Modell behält die T2V-Fähigkeiten des Basismodells bei und generalisiert gleichzeitig in einer Zero-Shot-Manner auf I2V, Start- und Endframes, Videoerweiterung und Vervollständigung.
Mechanistische Einsicht: Analysen zeigen, dass der Ansatz zeitliche Dynamiken chirurgisch in die Selbst-Aufmerksamkeitsmechanismen des Modells injiziert, während die generativen Priors des Foundation-Modells erhalten bleiben. Dies vermeidet die „kombinatorische Explosion", die mit vektorisierten Zeitschritten einhergeht, indem die Robustheit des Basismodells gegenüber asynchroner Evolution genutzt wird.

Ergebnisse

Quantitative Leistung: Auf dem VBench-I2V-Benchmark erzielt PUSA eine Gesamtpunktzahl von 87,32 und übertrifft damit Wan-I2V (86,86) sowie andere Open-Source-Modelle. Es zeigt überlegene Leistung bei der I2V-Subjekt-Konsistenz (97,64 vs. 96,95) und der Hintergrund-Konsistenz (99,24 vs. 96,44).
Trainings-Effizienz: Ablationsstudien zeigen, dass PUSA schnell konvergiert (innerhalb von 900 Iterationen) und Baselines, die mit demselben Budget trainiert wurden, signifikant übertrifft. Der auf LoRA basierende Feinabstimmungsansatz erweist sich als besonders effektiv und erzielt höhere Punktzahlen als eine vollständige Feinabstimmung bei gleicher Iterationszahl.
Qualitative Analyse: Visualisierungen von Aufmerksamkeitskarten zeigen, dass das Basismodell für T2V diagonale Aufmerksamkeit (Frame-Unabhängigkeit) aufweist und Wan-I2V eine vorübergehende Aufmerksamkeit auf den ersten Frame zeigt, während PUSA über alle Inferenzschritte hinweg eine starke, konsistente Aufmerksamkeit auf den konditionierenden Frame aufrechterhält. Die Analyse der Parameterdivergenz bestätigt, dass PUSA im Vergleich zur erheblichen Drift bei Wan-I2V minimale Änderungen bewirkt (hauptsächlich in den Selbst-Aufmerksamkeitsblöcken).

Bedeutung und Behauptungen

Die Arbeit positioniert PUSA als kritischen Wandel in den Paradigmen der Video-Generierung. Durch die Kombination von prinzipieller zeitlicher Modellierung (vektorisierte Zeitschritte) mit effizienter, nicht-destruktiver Anpassung neu definiert PUSA den Trade-off zwischen Effizienz und Qualität.

Demokratisierung: Die Methode demokratisiert die hochauflösende Video-Generierung, indem sie SOTA-Level-Multi-Task-Synthese mit minimalen Rechenressourcen zugänglich macht.
Vielseitigkeit: Sie etabliert ein skalierbares Paradigma, das T2V, I2V und komplexe zeitliche Bearbeitungsaufgaben innerhalb eines einzigen Rahmens vereint und damit die Grenzen sowohl starrer skalärer Zeitschritt-Modelle als auch fehleranfälliger autoregressiver Ansätze überwindet.
Nicht-destruktiver Charakter: Die Arbeit zeigt, dass fortschrittliche zeitliche Kontrolle freigeschaltet werden kann, ohne die grundlegenden Fähigkeiten großskaliger vortrainierter Modelle zu opfern, und damit die Fallstricke des katastrophalen Vergessens vermeidet.