Steering Video Diffusion Transformers with Massive Activations

1. Problemstellung

Trotz rascher Fortschritte bei Video-Diffusions-Transformern (Video DiTs) bleibt die Frage offen, wie interne Modellsignale mit minimalem Aufwand genutzt werden können, um die Qualität der Videogenerierung zu verbessern. Bestehende Methoden zur Verbesserung der zeitlichen Kohärenz und Bildqualität erfordern oft:

• Zusätzliche Trainingsdaten und Optimierung (Fine-Tuning).
• Externe Hilfsmodelle für die Führung (Guidance).
• Erhöhte Rechenkosten durch zusätzliche Inferenzschritte oder Vorwärtsdurchläufe.

Die Autoren identifizieren ein bisher ungenutztes Potenzial in den Massiven Aktivierungen (Massive Activations, MAs) – seltenen, hochmagnitudigen Spitzen in den versteckten Zuständen des Modells. Während MAs in Bild-DiT-Modellen bereits untersucht wurden, ist ihr Verhalten und ihre Rolle in Video-DiT-Architekturen noch nicht verstanden.

2. Methodik: Structured Activation Steering (STAS)

Die Kernidee des Papers ist die Entdeckung einer strukturierten räumlich-zeitlichen Hierarchie in den MAs von Video-DiTs und die Nutzung dieser Struktur für eine training-freie, selbst-führende Methode namens STAS.

A. Beobachtungen zu Massiven Aktivierungen (MAs)

Die Analyse der internen Aktivierungen (z. B. in Modellen wie Wan2.1, Wan2.2, CogVideoX) ergab zwei entscheidende Muster, die spezifisch für Videos sind:

1. Erster-Rahmen-Dominanz: Tokens, die dem ersten Bildrahmen (First Frame) entsprechen, weisen die stärksten MA-Magnituden auf. Sie fungieren als globale zeitliche Anker.
2. Periodische Rand-Spitzen: Tokens an den Grenzen von latenten Frames (Head und Tail der zeitlich komprimierten Segmente im VAE-Latenzraum) zeigen ebenfalls erhöhte MA-Werte, die jedoch geringer sind als beim ersten Frame. Diese Spitzen korrelieren mit den Übergängen zwischen zeitlich komprimierten Segmenten und sind für die Konsistenz über diese Grenzen hinweg entscheidend.
3. Zeitlicher Verlauf: Diese Muster sind in den frühen Ent-Rauschungs-Schritten (Denoising Steps) am ausgeprägtesten und nehmen mit fortschreitender Generierung ab.

B. Der STAS-Algorithmus

STAS ist eine lightweight, training-freie Methode, die während der Inferenz angewendet wird. Sie steuert die Aktivierungswerte an den strukturell signifikanten Positionen (erster Frame und Latent-Frame-Grenzen) in Richtung einer skalierten globalen Maximalreferenz.

• Was wird gesteuert? Nur die spezifischen MA-Dimensionen (z. B. Dimension 1188 in Wan2.1).
• Wo wird gesteuert? Nur bei Tokens des ersten latenten Frames ($\mathcal{F}_0$) und den Rand-Token-Percentilen ($p\%$) jedes latenten Frames ($\mathcal{B}(p)$).
• Wann wird gesteuert? Nur in den frühen Ent-Rauschungs-Schritten ($t \geq t_K$), wo das Signal am stärksten ist.
• Wie wird gesteuert? Die Aktivierung $D_{\theta, m, i, d}$ wird durch eine Zielgröße $g(i, d)$ ersetzt oder in diese Richtung gelenkt:
  $$g(i, d) = \alpha \cdot \max_j |D_{\theta, m, j, d}| \cdot \text{sign}(D_{\theta, m, i, d})$$
  Dabei ist $\alpha$ ein Skalierungsfaktor und $\max_j$ das globale Maximum der Dimension $d$ im aktuellen Layer.

Dieser Vorgang erfolgt in einem einzigen Vorwärtsdurchlauf und fügt weniger als 0,1% Rechenzeit hinzu, da nur eine kleine Teilmenge der Aktivierungen maskiert und überschrieben wird.

3. Hauptbeiträge

1. Systematische Analyse: Erstmals wurde die strukturierte Hierarchie von MAs in Video-DiTs identifiziert (First-Frame-Peaks und periodische Rand-Spitzen), die direkt mit der zeitlichen Kompression des VAE zusammenhängt.
2. STAS-Verfahren: Entwicklung einer training-freien Methode, die diese Struktur nutzt, um die zeitliche Kohärenz und Bildqualität zu verbessern, ohne Modellparameter zu ändern oder zusätzliche Berechnungen durchzuführen.
3. Breite Anwendbarkeit: Die Methode funktioniert konsistent über verschiedene Architekturen (Wan2.1, Wan2.2, CogVideoX) und Skalen hinweg und ist mit anderen training-freien Methoden (wie FlowMo oder CFG-Zero) kombinierbar.

4. Ergebnisse

Die Evaluation wurde an drei State-of-the-Art-Modellen (Wan2.1-1.3B, Wan2.2-5B, CogVideoX-5B) durchgeführt.

• Quantitative Verbesserungen:
  • VBench-Scores: STAS führte zu konsistenten Steigerungen in den aggregierten Qualitäts- und Semantik-Scores (z. B. +0,37 Punkte bei Wan2.1-1.3B).
  • Zeitliche Konsistenz: Die Ähnlichkeit zwischen aufeinanderfolgenden Frames (gemessen mit DINO und CLIP) verbesserte sich signifikant, insbesondere bei Cross-Chunk-Übergängen (den kritischen Grenzen zwischen latenten Frames), wo die Baseline oft Artefakte aufwies.
  • Objekt-Attribut-Bindung: Verbesserungen in der Stabilität von Objekt-Eigenschafts-Zuordnungen über die Zeit (T2V-CompBench).
• Qualitative Verbesserungen:
  • Reduktion von Artefakten wie plötzlichen Objektwechseln (z. B. ein Teddybär, der plötzlich erscheint) oder strukturellen Brüchen in Szenen.
  • Glattere Übergänge und stabilere Szenenlayouts.
• Effizienz: Die Inferenzzeit erhöhte sich nur marginal (z. B. von 234,47s auf 234,53s), was die Behauptung der „negligible overhead" bestätigt.
• Nutzerstudie: In einer menschlichen Präferenzstudie wurde STAS in über 55% der Fälle gegenüber der Baseline bevorzugt.

5. Bedeutung und Fazit

Das Paper zeigt, dass Video-Diffusions-Transformer bereits interne Signale (MAs) besitzen, die eine implizite zeitliche Struktur kodieren. STAS nutzt diese Signale, um die Generierung ohne Training zu „steuern".

• Praktische Relevanz: Da STAS training-frei und rechnerisch extrem effizient ist, kann es als Plug-in in bestehende Inferenz-Pipelines integriert werden, um die Qualität sofort zu verbessern.
• Wissenschaftlicher Beitrag: Es liefert ein tieferes Verständnis dafür, wie zeitliche Informationen in Transformer-Architekturen für Videos repräsentiert werden (insbesondere die Rolle des ersten Frames und der Latent-Grenzen).
• Einschränkung: Ein kleiner Nachteil ist ein leichtes Absinken des „Dynamic Degree"-Scores, da die verbesserte Kohärenz zu weniger abrupten Bewegungen zwischen Frames führt, was von der Metrik fälschlicherweise als weniger dynamisch interpretiert werden kann.

Zusammenfassend bietet STAS einen eleganten, kostengünstigen Weg, um die zeitliche Stabilität und visuelle Qualität von KI-generierten Videos signifikant zu steigern, indem es die „inneren Stimmen" des Modells selbst nutzt.