🤖 AI

Making Time Editable in Video Diffusion Transformers

Dieses Paper schlägt ein leichtgewichtiges Temporalsmodul vor, das vortrainierte Video-Diffusion-Transformer erweitert, um eine explizite Kontrolle über die Bewegungsgeschwindigkeit und die zeitliche Struktur zu ermöglichen, ohne dass eine Neugestaltung des ursprünglichen Backbones erforderlich ist.

Ursprüngliche Autoren: Konstantin Kuklev, Viacheslav Vasilev, Alexander Kunitsyn, Andrei Ivaniuta, Denis Dimitrov

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Konstantin Kuklev, Viacheslav Vasilev, Alexander Kunitsyn, Andrei Ivaniuta, Denis Dimitrov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen Chefkoch, der unglaublich gut darin ist, köstliche Mahlzeiten zuzubereiten (Videoframes zu generieren). Dieser Koch hat gelernt, perfekte Filme zu kochen, indem er tausende Stunden Film beobachtet hat. Aber es gibt einen Haken: Der Koch versteht „Zeit“ nicht wirklich als eine separate Zutat. Für den Koch ist „Zeit“ nur ein Nebeneffekt davon, wie der Kochprozess abläuft. Wenn Sie den Koch bitten, eine Szene zu kochen, in der ein Mädchen rennt, kann er das tun. Aber wenn Sie ihn bitten, diese Szene in einer anderen Geschwindigkeit abzulaufen – sagen wir Zeitlupe oder Supergeschwindigkeit – ist das Ergebnis oft fehlerhaft, wie eine Zeichentrickfigur mit wackeligen Beinen, oder die Szene ergibt physikalisch einfach keinen Sinn.

Dieses Paper stellt ein neues „Küchenwerkzeug“ namens Time Adapter vor, das dieses Problem löst. So funktioniert es, heruntergebrochen auf einfache Konzepte:

Das Problem: Zeit ist „überladen“

In aktuellen Video-KI-Modellen ist „Zeit“ wie ein Schweizer Taschenmesser, das versucht, zu viele Aufgaben gleichzeitig zu erledigen. Es soll dem Modell zwei Dinge sagen:

Wie weit der Kochprozess fortgeschritten ist (Denoising/Entrauschen).
Wie sich die Geschichte vorwärts bewegt (Bewegungsentwicklung).

Da diese Aufgaben miteinander verstrickt sind, wird das Modell verwirrt. Wenn Sie die Geschwindigkeit des Videos ändern (die FPS oder Bilder pro Sekunde), hat das Modell Schwierigkeiten, die Bewegung flüssig zu halten. Es ist wie der Versuch, ein Auto zu fahren, bei dem das Gaspedal auch das Lenkrad ist; wenn man versucht, schneller zu fahren, lenkt man versehentlich das Auto vom Weg ab.

Die Lösung: Ein spezialisierter „Zeit-Regler“

Die Autoren schlagen vor, ein kleines, leichtgewichtiges Modul zur KI hinzuzufügen, das wie ein dedizierter Zeit-Regler fungiert. Dieser Regler trennt das Konzept der Zeit in zwei unterschiedliche Steuerungen:

Der globale Geschwindigkeitsregler (FPS): Dieser sagt dem Modell: „Hey, wir kochen gerade mit 60 Bildern pro Sekunde, also muss die Action schnell gehen,“ oder „Wir sind bei 15 Bildern pro Sekunde, also nimm es langsam.“ Dies steuert das allgemeine Tempo der Szene.
Der lokale Zeitstrahl-Regler (Latente Zeit): Dieser sagt dem Modell: „Dieser spezifische Frame ist die 5. Sekunde der Geschichte.“ Er stellt sicher, dass die Abfolge der Ereignisse logisch und geordnet bleibt, selbst wenn sich die Geschwindigkeit ändert.

Wie es in der Praxis funktioniert

Denken Sie an das ursprüngliche KI-Modell als einen talentierten Schauspieler, der weiß, wie man eine Szene spielt, aber verwirrt ist, wenn der Regisseur das Tempo mitten in der Szene ändert. Der neue „Time Adapter“ ist wie ein Inspizient, der dem Schauspieler zwei Dinge zuflüstert:

„Der Regisseur möchte, dass diese Szene ein Sprint ist (Globale Geschwindigkeit).“
„Du befindest dich gerade in dem Moment, in dem du dich umdrehst (Lokaler Zeitstrahl).“

Weil der Schauspieler (die KI) nun diese klaren, getrennten Anweisungen hat, kann er den Sprint flüssig ausführen, ohne über seine eigenen Füße zu stolpern.

Was das Paper herausgefunden hat

Die Forscher haben dies auf zwei Arten von Szenen getestet:

Menschliche Bewegungen: Wie ein Mädchen, das rennt oder tanzt.
- Ergebnis: Die neue Methode machte die Bewegungen viel flüssiger und konsistenter. Die Arme und Beine des Mädchens sahen auch bei Geschwindigkeitsänderungen nicht mehr wackelig aus.
Natürliche Prozesse: Wie das Aufziehen von Nebel oder Sonnenlicht, das durch Bäume wandert.
- Ergebnis: Die neue Methode ließ diese langsamen, graduellen Veränderungen realistischer aussehen. Der Nebel verschwand nicht einfach abrupt, sondern löste sich natürlich über die Zeit auf.

Sie fanden auch heraus, dass dieser „Zeit-Regler“ auf verschiedenen KI-Modellen funktioniert, nicht nur auf dem, für das er trainiert wurde. Es ist wie eine Universalfernbedienung, die mit verschiedenen Marken von Fernsehern funktioniert.

Wichtige Einschränkungen

Das Paper ist ehrlich darüber, was dieses Werkzeug nicht kann:

Es erschafft keine zusätzliche Zeit: Wenn Sie nach einem 10-Sekunden-Video fragen, aber der KI sagen, sie soll es mit doppelter Geschwindigkeit abspielen, ist das Video immer noch nur 10 Sekunden lang. Die Action passiert nur schneller. Es dehnt das Video nicht magisch aus, um es an eine längere Geschichte anzupassen.
Es braucht gute Daten: Wenn die KI eine bestimmte Art von Zeitlupe noch nie in ihren Trainingsdaten gesehen hat, kann das neue Werkzeug sie nicht perfekt aus dem Nichts erfinden. Es muss zuvor ähnliche „Rezepte“ gesehen haben.
Die Erfolgsmessung ist knifflig: Standardmäßige Computertests werden manchmal verwirrt. Ein Video kann für einen Menschen perfekt aussehen, aber einen niedrigeren Wert in einem Computertest erhalten, weil der Computer nach spezifischen mathematischen Mustern sucht, anstatt die „Gefühlhaftigkeit“ der Geschmeidigkeit zu erfassen.

Das Fazm

Dieses Paper erfindet keinen neuen Weg, um Videos von Grund auf neu zu generieren. Stattdessen nimmt es einen bestehenden, leistungsstarken Video-Generator und gibt ihm einen dedizierten „Zeit-Kontrollknopf“. Dies ermöglicht es Nutzern, den Zeitfluss in einem Video zu bearbeiten – das Beschleunigen oder Verlangsamen –, ohne die Physik zu brechen oder die Charaktere glitschig aussehen zu lassen. Es verwandelt die Zeit von einer verwirrenden, verborgenen Variable in etwas, das man tatsächlich editieren kann.

Technische Zusammenfassung: Zeit editierbar machen in Video-Diffusion-Transformern

Problemstellung

Moderne Diffusion Transformer (DiTs) haben signifikante Erfolge bei der Erzeugung hochgradig detailreicher Videoframes und realistischer Bewegungen erzielt. Sie leiden jedoch unter einer begrenzten zeitlichen Steuerbarkeit. In der Standard-DiT-basierten Videogenerierung fungiert die „Diffusionszeit“ als eine überladene Variable, die sowohl als Stellvertreter für den Fortschritt des Denoising-Prozesses als auch für die Entwicklung der Bewegung dient. Folglich werden die zeitliche Dynamik nicht als explizite, unabhängig steuerbare Variable modelliert, sondern sind mit Inhalts- und Bewegungsrepräsentationen verschränkt.

Diese Verschränkung schafft Ambiguität: Das Modell hat Schwierigkeiten zu unterscheiden, wie weit der Denoising-Prozess fortgeschritten ist und wie sich die Bewegung über die Zeit entfalten soll. Infolgedessen kann das Modell bei einer Änderung des Ziel-Zeitgitters (z. B. Bilder pro Sekunde oder FPS) relativ zum Training die konsistente zeitliche Dynamik nicht aufrechterhalten. Es erzeugt zwar plausible Einzelbilder, kämpft aber mit der Qualität der Zwischenbewegungen, was zu Artefakten in artikulierten Strukturen (z. B. Gliedmaßen) führt oder dazu führt, dass physikalische Prozesse (z. B. das Auflösen von Nebel) nicht korrekt ablaufen. Bestehende Methoden steuern, was sich bewegt oder wohin es sich bewegt, aber sie machen den zeitlichen Fortschritt selbst nicht zu einer explizit editierbaren Variable.

Methodik

Die Autoren schlagen eine Methodik vor, um vortrainierte DiT-Backbones durch ein explizites zeitliches Kontrollmodul, den sogenannten Time Adapter (TA), zu erweitern. Dieser Ansatz trennt das globale Bewegungstempo von der lokalen zeitlichen Ausrichtung, ohne die Backbone-Architektur neu zu entwerfen.

Kernarchitektur: Time Adapter

Die Methode führt zwei komplementäre Zeitsignale ein, die über leichtgewichtige additive Adapter integriert werden:

Globale FPS-Konditionierung: Ein Embedding $E_{fps}(fps)$ , das aus der Eingabe-FPS abgeleitet wird (z. B. 15, 24, 30, 60). Dies moduliert die globale Bewegungsrate durch den Denoising-Konditionierungspfad und bestimmt das erwartete Tempo der Szenenentwicklung.
Lokale Latent-Zeit-Embeddings: Ein Embedding $E_{\tau}(\tau)$ , das die frameweise zeitliche Position ( $\tau$ ) repräsentiert. Dies liefert die lokale zeitliche Ordnung und Korrespondenz auf Token-Ebene und richtet den Fortschritt spezifischer Frames aus.

Der Konditionierungsvektor $e$ ist wie folgt formuliert:
$e = E_t(t) + E_{fps}(fps)$
wobei $E_t(t)$ das Standard-Diffusionszeit-Embedding ist. Das Latent-Zeit-Embedding wird zu den Patch-Embeddings addiert:
$h_0 = \text{PatchEmbed}(x_t) + E_{\tau}(\tau)$

Diese Faktorisierung ermöglicht es dem Modell, den zeitlichen Fortschritt explizit darzustellen, anstatt sich allein auf die Diffusionszeit als impliziten Stellvertreter zu verlassen. Die Adapter werden so initialisiert, dass das Verhalten des vortrainierten Backbones erhalten bleibt.

Trainingsregime

Die Autoren evaluieren zwei Trainingsstrategien:

Time Adapter (TA): Nur die zeitlichen Zweige (Adapter) werden trainiert, während das DiT-Backbone eingefroren bleibt. Dies bewahrt den ursprünglichen generativen Prior.
Fine-Tuned Time Adapter (FTTA): Dieselbe zeitliche Konditionierung wird verwendet, aber das gesamte DiT-Backbone wird zusätzlich feinjustiert. Dies führt zu einer stärkeren globalen zeitlichen Regularisierung.

Die Modelle werden auf einem kuratierten Datensatz von etwa 40.000 Videos trainiert, die menschliche Handlungen und natürliche Prozesse über mehrere FPS-Regime (24–60 FPS) hinweg abdecken.

Zentrale Beiträge

Explizite zeitliche Faktorisierung: Die Arbeit führt ein Framework ein, das die Zeit vom Denoising-Prozess entkoppelt, indem sie in globales Bewegungstempo (FPS) und lokale zeitliche Ausrichtung (Latent-Zeit) aufgeteilt wird.
Erhalt des Backbones: Der TA-Ansatz ermöglicht eine explizite Zeit-Editierung, ohne das Backbone neu zu entwerfen, wodurch die visuellen und strukturellen Priors des vortrainierten Modells beibehalten und gleichzeitig dessen steuerbarer dynamischer Bereich erweitert wird.
Architekturübergreifende Übertragbarkeit: Die Autoren zeigen, dass die explizite zeitliche Faktorisierung über verschiedene DiT-Backbones (Wan2.2 und Kandinsky 5.0 Lite) mit variierenden Parametermaßstäben und Ausgaberesolutionen hinweg transferierbar ist.
Verbesserte zeitliche Konsistenz: Die Methode verbessert die Konsistenz der Zwischenbewegungen und reduziert perzeptive Artefakte in artikulierten Dynamiken, selbst bei Standard-Wiedergabegeschwindigkeiten, indem sie das Modell während des Trainings dichteren zeitlichen Übergängen aussetzt.

Experimentelle Ergebnisse

Die Evaluierung nutzt den VMBench-Benchmark über zwei Domänen hinweg: Menschliche Handlungen (Human Actions) und Natürliche Prozesse (Natural Processes), getestet bei 15, 24, 30 und 60 FPS.

Quantitative Befunde

Menschliche Handlungen: Sowohl TA als auch FTTA reduzieren die Flow-Beschleunigung (Flow Acceleration) und LPIPS-Var im Vergleich zur Baseline, was auf stabilere Kurzzeit-Übergänge hindeutet. TA erreicht die stärkste Richtungskonsistenz des Flusses (Flow Directional Consistency, FDC) bei 24–60 FPS, was darauf hindeutet, dass die explizite Konditionierung die Konsistenz der Zwischenbewegungen verbessert, wenn das Ziel-FPS mit dem Trainingsregime übereinstimmt.
Natürliche Prozesse: FTTA erreicht konsistent die stärkste zeitliche Regularisierung, was zu den besten Werten für die Bewegungsglätte (Motion Smoothness Scores, MSS) und der niedrigsten Flow-Beschleunigung führt. Dies wird der Fähigkeit von FTTA zugeschrieben, verteilte physikalische Prozesse (z. B. Nebel, Wellen) so umzustrukturieren, dass sie besser auf die zeitliche Konditionierung reagieren.
Metrik-Limitierungen: Die Autoren merken an, dass Standardmetriken die Verbesserung der zeitlichen Qualität nicht immer widerspiegeln. Beispielsweise können artikulierte Artefakte den Perceptible Amplitude Score (PAS) erhöhen, obwohl die wahrgenommene Bewegungsqualität sinkt, was eine Diskrepanz zwischen quantitativen Scores und menschlicher Bewertung schafft.

Qualitative und menschliche Evaluierung

Side-by-Side (SBS) Evaluierung: Menschliche Bewerter bevorzugten TA für artikulierte menschliche Bewegungen und Natürlichkeit, während FTTA für verteilte physikalische Prozesse und Geschwindigkeitskonsistenz bevorzugt wurde.
Physikalische Entwicklung: Im Gegensatz zum Post-hoc-FPS-Resampling (das lediglich Frames interpoliert) ändert die vorgeschlagene Methode die generierte zeitliche Entwicklung selbst. Eine Erhöhung der Ziel-FPS führt zu einer schnelleren Szenenentwicklung statt nur zu einer glatteren Wiedergabe.
Generalisierung: Die qualitativ beobachteten Trends auf Wan2.2 wurden auf Kandinsky 5.0 Lite repliziert, was die Behauptung stützt, dass die explizite zeitliche Faktorisierung nicht architekturspezifisch ist.

Bedeutung und Limitierungen

Bedeutung

Das Paper argumentiert, dass die Behandlung der Zeit als eine einzige überladene Variable eine fundamentale Einschränkung aktueller Video-Diffusionsmodelle darstellt. Durch die Zeit durch explizite Faktorisierung editierbar zu machen, ermöglichen die Autoren eine physikalisch konsistentere und zuverlässigere Videogenerierung. Die Arbeit legt nahe, dass die zeitliche Steuerbarkeit nicht bloß ein Nebeneffekt des Denoising ist, sondern eine primäre, steuerbare Variable sein kann.

Limitierungen

Die Autoren räumen explizit drei Limitierungen ein:

Sensitivität des Trainingsregimes: Obwohl die zeitliche Faktorisierung die Steuerbarkeit innerhalb der Trainingsverteilung verbessert, bleibt das Modell anfällig für unterrepräsentierte Zeitskalen (z. B. niedrige FPS). Explizite Zeitrepräsentationen können fehlende zeitliche Priors in den Trainingsdaten nicht vollständig kompensieren.
Fixierter Generierungshorizont: Die Methode macht die zeitliche Dynamik steuerbarer, erhöht aber nicht die Anzahl der generierten Frames. Eine starke zeitliche Beschleunigung komprimiert die verfügbare Zeit für die Realisierung einer Handlung, was potenziell zu verkürzten Verhaltensweisen führen kann.
Evaluationsmetriken: Aktuelle Metriken haben Schwierigkeiten, perzeptive Artefakte in Zwischenbewegungen zu erfassen, insbesondere bei artikulierten Strukturen, was zu Lücken zwischen quantitativen Scores und der wahrgenommenen zeitlichen Qualität führt.

Die Autoren kommen zu dem Schluss, dass das Editierbar-Machen der Zeit ein notwendiger Schritt für eine zuverlässige Videogenerierung ist, aber für eine Langzeit-Generierung (Long-Horizon Generation) nicht ausreicht, was wahrscheinlich die Kombination von expliziten zeitlichen Repräsentationen mit adaptiven Generierungslängen erfordern wird.