🤖 AI

TokenTrim: Inference-Time Token Pruning for Autoregressive Long Video Generation

TokenTrim adressiert den zeitlichen Drift bei der autoregressiven Langzeit-Videogenerierung durch die Einführung einer Inferenzzeit-Methode, die instabile latente Token identifiziert und beschneidet, bevor diese für die Konditionierung wiederverwendet werden, wodurch die Langzeit-Konsistenz verbessert wird, ohne die Modellarchitektur oder den Trainingsprozess zu verändern.

Ursprüngliche Autoren: Ariel Shaulov, Eitan Shaar, Amit Edenzon, Lior Wolf

Veröffentlicht 2026-02-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ariel Shaulov, Eitan Shaar, Amit Edenzon, Lior Wolf

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Freund eine sehr lange Geschichte zu erzählen, aber Sie können immer nur einen Satz auf einmal sprechen. Um die Geschichte am Laufen zu halten, müssen Sie sich an alles erinnern, was Sie gerade gesagt haben, damit der nächste Satz Sinn ergibt.

Das Problem: Der „schlechte Gedächtnis“-Effekt
In der Welt der KI-Videogenerierung macht der Computer etwas Ähnliches. Er erstellt ein Video in kurzen Clips (wie Sätzen) und nutzt das, was er gerade erstellt hat, um den nächsten Clip zu generieren. Dies wird als „autoregressive“ Generierung bezeichnet.

Das Paper identifiziert einen schwerwiegenden Fehler in diesem Prozess, den Temporal Drift (zeitlichen Drift) nennt. Stellen Sie sich vor, Sie erzählen eine Geschichte über einen weißen Lkw.

Sie sagen: „Ein weißer Lkw fährt.“
Die KI macht im zweiten Clip einen winzigen Fehler, vielleicht sieht der Lkw leicht grau aus.
Im dritten Clip nutzt die KI diesen „grauen Lkw“ als Referenz, sodass sie den Lkw noch dunkler macht.
Bis zum zehnten Clip ist der Lkw schwarz. Bis zum zwanzigsten Clip könnte er sich in eine Kuh verwandelt haben.

Die KI hat nicht etwa einen Mangel an Rechenleistung; sie verwendet einfach ihre eigenen Fehler wieder. Jedes Mal, wenn sie einen neuen Clip generiert, schaut sie auf die vorherigen Clips zurück, um Kontext zu erhalten. Wenn diese vorherigen Clips „korrumpierte“ Informationen enthalten (wie den grauen Lkw), behandelt die KI diese Korruption als Wahrheit und gibt sie weiter, wodurch der Fehler immer schlimmer wird, bis das Video auseinanderfällt.

Die Lösung: TokenTrim (Der „Editor“)
Die Autoren schlagen eine neue Methode namens TokenTrim vor. Betrachten Sie die Videodaten, die die KI verwendet, als einen Stapel Klebezettel (genannt „Tokens“). Einige Zettel enthalten gute Informationen, und einige enthalten „korrumpierte“ oder instabile Informationen.

TokenTrim fungiert wie ein intelligenter Editor, der die Klebezettel prüft, bevor die KI sie für den nächsten Schritt verwendet. So funktioniert es in einfachen Worten:

Die Prüfung: Bevor die KI mit dem Erstellen des nächsten Clips beginnt, vergleicht TokenTrim die „Zusammenfassung“ des neuen Clips, den sie erstellen möchte, mit der Zusammenfassung des Clips, den sie gerade fertiggestellt hat.
Der Alarm: Wenn ein bestimmter Teil des Videos (ein spezifischer „Token“ oder Klebezettel) sich wild anders oder instabil gegenüber dem Vorherigen verhält, markiert das System dies. Es ist, als würde man bemerken, dass der Zettel „weißer Lkw“ plötzlich „lila Elefant“ sagt.
Das Beschneiden: Anstatt diesen schlechten Zettel zu verwenden, wirft TokenTrim ihn weg (pruning/beschneidet ihn). Es entfernt die korrumpierten Informationen aus dem Gedächtnis der KI.
Der Neustart: Die KI wird dann gezwungen, den neuen Clip ohne diesen schlechten Zettel zu generieren. Sie muss sich auf die verbleibenden, stabilen Zettel verlassen, um zu entscheiden, was als Nächstes zu tun ist.

Das Ergebnis
Indem es aktiv die „schlechten Erinnerungen“ (instabile Tokens) löscht, bevor sie den nächsten Schritt vergiften können, bleibt das Video konsistent. Der Lkw bleibt weiß, das Gesicht einer Person schmilzt nicht weg und der Hintergrund verzerrt sich nicht, selbst wenn das Video schon sehr lange läuft.

Wichtige Erkenntnisse aus dem Paper:

Kein Retraining nötig: Dies ist nicht dazu gedacht, der KI eine neue Art des Lernens beizubringen. Es ist ein „Plug-and-Play“-Werkzeug, das funktioniert, während die KI bereits läuft. Sie müssen das Modell nicht neu trainieren oder den Code ändern.
Es ist schnell: Der Prozess benötigt fast keine zusätzliche Zeit für die Erstellung des Videos. Es ist eine schnelle Prüfung und ein schnelles Löschen.
Es funktioniert mit bestehender Technologie: Das Paper hat diese Methode auf zwei populären Videogenerierungs-Methoden (Rolling Forcing und Self Forcing) getestet und gezeigt, dass das Hinzufügen von TokenTrim die Videos deutlich verbessert und länger bestehen lässt, ohne auseinanderzufallen.
Der „Erster-Clip“-Trick: Die Autoren fanden auch heraus, dass die Verwendung einer speziellen Technik speziell für den allersten Clip hilft, ein stabiles Fundament zu setzen, was den gesamten Prozess reibungsloser macht.

Zusammenfassend
Die Generierung langer Videos scheitert meistens deshalb, weil die KI ihre eigenen Fehler immer wieder recycelt. TokenTrim behebt dies, indem es als Qualitätskontrollfilter fungiert: Es erkennt die Fehler im Gedächtnis der KI, löscht sie und zwingt die KI, mit sauberen Daten neu zu beginnen. Dies stoppt den „Schneeballeffekt“ der Fehler und hält das Video über einen viel längeren Zeitraum hinweg realistisch und konsistent.

Technisches Resümee: TokenTrim

Problemstellung

Die autoregressive Videogenerierung hat sich als dominantes Paradigma für die Synthese langer Videos etabliert, indem neue Batches von Frames iterativ auf zuvor generierten Inhalten konditioniert werden. Dieser Ansatz leidet jedoch unter temporalem Drift – einem Phänomen, bei dem sich geringfügige Fehler und Inkonsistenzen, die in frühen Frames eingeführt wurden, über lange Horizonte akkumulieren und verstärken. Diese Akkumulation führt zu Identitätswechseln, struktureller Degradierung, Verlust der globalen Kohärenz und semantischem Kollaps.

Jüngste Versuche, den Drift zu mildern, konzentrierten sich auf die Stärkung der Langzeit-Konditionierung (z. B. temporales Key-Value-Caching, Anker-Tokens) oder auf die Modifikation von Trainingsverfahren (z. B. Self-Forcing mit stochastischer Gradienten-Trunkierung). Die Autoren hypothetisieren, dass diese Methoden fragil bleiben, da sie die eigentliche Ursache der Fehlerpropagation während der Inferenz nicht adressieren: die unkontrollierte Wiederverwendung korrupter latenter Konditionierungs-Tokens. Sob sobald ein Bereich des latenten Zustands korrumpiert ist, wird er in nachfolgenden autoregressiven Schritten wiederholt verwendet, wodurch er die Attention dominiert und Fehler vorwärts propagiert. Dem System fehlt derzeit ein Mechanismus, um zu bewerten, welche gecachten latenten Tokens vertrauenswürdig sind.

Methodik: TokenTrim

Die Autoren schlagen TokenTrim vor, eine rein auf die Inferenz ausgerichtete Methode, die darauf abzielt, instabile latente Tokens zu identifizieren und zu entfernen, bevor sie für die Konditionierung wiederverwendet werden. TokenTrim operiert vollständig im latenten Raum, erfordert keine architektonischen Änderungen, kein Retraining und verursacht einen vernachlässigbaren Rechenaufwand.

Die Methode besteht aus den folgenden Kernkomponenten:

1. Bewegungsstabilisierte Initialisierung

Um die Korruption in der frühen Phase zu reduzieren, wird der erste Batch von Frames mittels FlowMo generiert, einer Regularisierungstechnik zur Inferenzzeit, die eine bewegungswahrnehmende Varianz-Guidance einführt. Dies erzeugt einen stabilen latenten Anker. Nachfolgende Batches werden mit dem Basis-Autoregressionsmodell generiert.

2. Konstruktion der latenten Zusammenfassung

In jedem autoregressiven Schritt $t$ kodiert die Methode den zuvor generierten Batch ( $X_{t-1}$ ) und den aktuellen Kandidaten-Batch ( $X_t$ ) in latente Tokens. Um einen direkten Vergleich zu ermöglichen, konstruiert sie eine latente Zusammenfassung ( $Z_{t-1}$ und $Z_t$ ), indem sie die räumlichen latenten Tokens über die temporale Dimension (Frames) jedes Batches mittelt.

3. Per-Token Drift-Schätzung

Die Methode berechnet einen Drift-Score ( $d_i$ ) für jeden räumlichen Token-Index $i$ , indem sie den euklidischen Abstand zwischen den latenten Repräsentationen in den aktuellen und den vorherigen Zusammenfassungen misst:
$d_i = \|Z_t(i) - Z_{t-1}(i)\|_2$
Hohe Drift-Scores deuten auf potenzielle Korruption oder semantische Abweichung an spezifischen Token-Positionen hin.

4. Adaptiver Trigger und Schweregrad-Bewertung

Anstatt unkonditionell zu prunen, bewertet TokenTrim, ob der aktuelle Batch einen abnormalen Drift aufweist.

Es identifiziert die obersten $p \cdot N$ Tokens mit den höchsten Drift-Scores (wobei $p$ ein Pruning-Anteil und $N$ die Gesamtzahl der Tokens ist).
Es berechnet einen Drift-Schweregrad-Score ( $D_t$ ) als Mittelwert des Drifts dieser obersten Tokens.
Es führt laufende Statistiken (Mittelwert $\mu_t$ und Standardabweichung $\sigma_t$ ) der Drift-Schwere aus zuvor akzeptierten Batches.
Eine Pruning-Intervention wird nur ausgelöst, wenn $D_t > \mu_t + \lambda\sigma_t$ gilt, wobei $\lambda$ ein Sensitivitäts-Hyperparameter ist. Eine Warm-up-Phase ( $T_{warm}$ ) wird anfangs verwendet, um zuverlässige Statistiken zu sammeln.

5. Hard Pruning und Regeneration

Wenn das Drift-Kriterium überschritten wird:

Wird eine räumliche Pruning-Maske auf den temporalen Key-Value (KV) Cache angewendet, wobei die Keys und Values der instabilen Token-Positionen entfernt werden.
Der aktuelle Batch wird einmalig regeneriert, unter Verwendung dieses geprunteten Caches als Konditionierung.
Falls der regenerierte Batch das Drift-Kriterium immer noch verletzt, wird er unverändert akzeptiert, um unendliche Schleifen zu verhindern.
Falls das Drift-Kriterium nicht überschritten wird, wird der Batch ohne Modifikation akzeptiert.

TokenTrim ist kompatibel mit autoregressiven Frameworks, die Self-Attention mit KV-Caching nutzen, und wurde spezifisch für Self Forcing und Rolling Forcing demonstriert.

Wichtigste Beiträge

Drift-Erkennung zur Inferenzzeit: Die Arbeit führt einen Mechanismus ein, um instabile latente Tokens explizit während der Inferenz zu detektieren, wodurch der Fokus von der Modellkapazität auf die Kontrolle der Informationspropagation verschoben wird.
Hard Pruning von latenten Tokens: Im Gegensatz zu Methoden, die ganze räumliche Regionen oder Modellparameter modifizieren, entfernt TokenTrim selektiv spezifische korrupte Tokens aus dem autoregressiven Kontext und verhindert so, dass unzuverlässige Informationen zukünftige Schritte beeinflussen.
Training-freie Integration: Die Methode arbeitet ohne Änderung der Modellgewichte, der Trainingsverfahren oder das Verlassen des latenten Raums, wodurch sie mit bestehenden State-of-the-Art Video-Generierungs-Frameworks kompatibel ist.
Bewegungsstabilisierte Initialisierung: Die Integration von FlowMo für den initialen Batch liefert einen stabilen Anker, der den Pruning-Mechanismus ergänzt.

Experimentelle Ergebnisse

Die Autoren evaluierten TokenTrim auf dem Wan2.1-1.3B Text-to-Video-Modell unter Verwendung von Rolling Forcing und Self Forcing Strategien.

Quantitative Leistung (VBench):
- Bei Rolling Forcing verbesserte TokenTrim den Final Score von 75,12 % auf 79,67 % (+4,55 %), mit signifikanten Gewinnen in Qualität (+5,58 %) und Semantik (+3,53 %).
- Bei Self Forcing stieg der Final Score von 75,93 % auf 81,84 % (+5,91 %).
- TokenTrim übertraf konsistent FlowMo (eine Methode zur Bewegungs-Guidance zur Inferenzzeit) und die Baseline-Autoregressionsmethoden über alle aggregierten Metriken hinweg.
Human Preference Study (VideoJAM-Bench):
- In direkten Vergleichen wurde TokenTrim bei der Reduktion von temporalem Drift signifikant gegenüber den Baselines und FlowMo bevorzugt (41,7 % vs. 15,2 % für die Rolling Forcing Baseline; 49,7 % vs. 10,2 % vs. FlowMo).
- Es zeigte zudem eine überlegene Leistung bei der Bewegungs-Kohärenz und ästhetischen Qualität, während die Text-Video-Ausrichtung gewahrt blieb.
Effizienz: TokenTrim erhöhte die Wandzeit (Wall-Clock Runtime) nur um den Faktor 1,08x im Vergleich zur Baseline, während FlowMo-angepasste Setups eine Verlangsamung um das 2,18-fache aufwiesen.
Ablationsstudien:
- Aggressives Pruning (20 %) verschlechterte die Leistung massiv, während moderates Pruning (10 %) optimale Ergebnisse lieferte.
- Das Entfernen der FlowMo-Initialisierung reduzierte die Leistung, was den komplementären Nutzen eines stabilen Starts bestätigt.

Bedeutung und Ansprüche

Das Paper behauptet, dass temporaler Drift nicht allein ein Problem des Modellings oder der Daten ist, sondern ein Informationspropagationsproblem zur Inferenzzeit. Indem TokenTrim den KV-Cache als einen aktiven, selbstkorrigierenden Speichermechanismus behandelt und nicht als passives Protokoll der Historie, zeigt es, dass die Kontrolle des Konditionierungskontexts allein während der Inferenz den temporalen Drift erheblich reduzieren kann.

Die Autoren kommen zu dem Schluss, dass der zukünftige Fortschritt in der unendlichen Videosynthese nicht nur davon abhängen wird, wie viel Kontext ein Modell sich merken kann, sondern von seiner Fähigkeit, das Rauschen selektiv zu verwerfen, das die Realität zu verzerren droht. Sie positionieren TokenTrim als einen distinkten, unterexplorierten Mechanismus, der die langfristige temporale Konsistenz verbessert, ohne die Rechenkosten eines Retrainings oder einer architektonischen Modifikation zu verursachen.