💻 computer science

Versatile Video Representation via Feed-Forward 2D Gaussian Splatting Tokenization

Das Papier stellt den Gaussian Video Transformer (GVT) vor, ein vielseitiges Video-Repräsentations-Framework, das eine Feed-Forward-2D-Gaussian-Splatting-Tokenisierung mit räumlich-zeitlicher Adaptivität und expliziter statisch-dynamischer Trennung nutzt, um eine führende Leistung bei der Videorekonstruktion, Kompression, Aktionserkennung und Generierung zu erzielen.

Ursprüngliche Autoren: Zhenghao Chen, Zicong Chen, Lei Liu, Yiming Wu, Dong Xu

Veröffentlicht 2026-08-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhenghao Chen, Zicong Chen, Lei Liu, Yiming Wu, Dong Xu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einem Freund einen Film über eine langsame Internetverbindung schicken. Sie können nicht einfach das Ganze senden; Sie müssen es in winzige Stücke zerlegen, komprimieren und als „Token“ (kleine digitale Informationspakete) versenden. Dies ist die Welt der Video-Tokenisierung, ein entscheidender Trick in der Computer Vision, der Computern hilft, Videos zu verstehen, zu speichern und zu erstellen. Lange Zeit war die Standardmethode dabei so, als würde man ein Foto nehmen und es in ein starres Gitter aus gleich großen Quadraten zerschneiden, völlig ungeachtet dessen, was darin zu sehen war. Wenn Sie ein Quadrat mit einer langweiligen, leeren Wand und ein anderes mit einer schnellen Explosion hatten, behandelte der Computer sie exakt gleich und gab beiden die gleiche Menge an Daten. Das war verschwenderisch und übersah oft die wichtigen Details.

Stellen Sie sich nun vor, anstatt eines starren Gitters könnten Sie einen magischen, formveränderlichen Pinsel verwenden, der genau weiß, wo er mehr Farbe für die Explosion und weniger für die Wand auftragen muss. Dies ist die Idee hinter dem Gaussian Splatting. Ursprünglich verwendet, um 3D-Szenen realistisch erscheinen zu lassen, nutzt es kleine „Blobs“ (Gaussians), die sich dehnen, schrumpfen und drehen können, um der Form eines Objekts perfekt zu entsprechen. Die große Frage, die Forscher gestellt haben, lautet: Können wir diesen flexiblen, blob-basierten Malstil nutzen, um ganze Videos darzustellen, nicht nur einzelne Bilder? Wenn wir dies könnten, könnten wir Videos viel effizienter speichern und sie besser aussehen lassen, während wir gleichzeitig den Computern beibringen, was sich bewegt und was stillsteht.

Der neue „Blob“-Video-Maker

In dieser Arbeit stellen die Autoren ein neues System namens Gaussian Video Transformer (GVT) vor. Betrachten Sie es als einen smarten Video-Editor, der ein Video nicht einfach in Quadrate zerhackt. Stattdessen verwandelt er das Video in eine Sammlung flexibler, 2D-„Blobs“ (Gaussians), die sich dehnen und bewegen können, genau dort, wo die Action stattfindet.

So haben sie es zum Laufen gebracht, unter Verwendung einiger cleverer Tricks:

1. Der „Smart Blob“-Generator (STGE)
Die meisten alten Videosysteme sind starr. Sie betrachten ein Video und sagen: „Okay, ich brauche 1.000 Token für diese Szene“, unabhängig davon, ob es sich um eine ruhige Bibliothek oder ein chaotisches Fußballspiel handelt. Das neue System der Autoren, genannt Spatio-Temporal Gaussian Embedding (STGE), ist anders. Es sieht sich das Video an und sagt: „Hey, dieser Teil ist langweilig, lass uns weniger Blobs verwenden. Dieser Teil ist verrückt, lass uns mehr verwenden!“ Es generiert diese Blobs in einem einzigen, schnellen Durchgang (einem sogenannten „Feed-Forward“-Prozess), was bedeutet, dass es nicht Stunden damit verbringen muss, das Video zu optimen, um es gut aussehen zu lassen. Es erstellt einfach auf der Flieg das perfekte Set an Blobs.

2. Die „Statisch vs. Dynamisch“-Trennung (GSP)
Hier wird das System wirklich clever. In einem Video bewegen sich einige Dinge nie (wie die Hintergrundwand), während andere Dinge herumschießen (wie ein rennender Hund). Alte Systeme würden die Wand in jedem einzelnen Frame neu zeichnen, was eine enorme Menge an Daten verschwendet. Die Autoren führsten eine Strategie namens Gaussian Set Partitioning (GSP) ein. Dies wirkt wie ein intelligenter Sortierer, der das Video in zwei Stapel trennt:

Der statische Stapel: Die Hintergrund-Blobs, die gleich bleiben. Das System zeichnet diese einmal und sagt: „Kopiere dies für den Rest des Videos.“
Der dynamische Stapel: Die beweglichen Blobs, die sich jede Sekunde ändern.

Indem das System nur die beweglichen Teile aktualisiert und die statischen Teile wiederverwendet, spart es eine massive Menge an Platz und Zeit. Es ist, als würde man einmal ein Bild eines Zimmers zeichnen und dann nur die Charaktere animieren, die durch das Zimmer laufen, anstatt das ganze Zimmer für jeden Frame neu zu zeichnen.

3. Die Ergebnisse: Besser, kleiner und schneller
Das Team hat ihr neues GVT-System auf mehreren berühmten Video-Datensätzen (wie UCF101 und Kinetics) getestet und mit den derzeit besten Methoden verglichen.

Rekonstruktion: Als sie versuchten, die Videos aus diesen Blobs wieder aufzubauen, machte GVT einen besseren Job als die bisherigen Champions und erzeugte klarere Bilder mit weniger Fehlern.
Komprimierung: Da das System so gut darin ist, zu erkennen, was statisch und was dynamisch ist, kann es die Videodateien erheblich schrumpfen. Sie fanden heraus, dass es die Dateigröße im Vergleich zum neuesten Standard der Videokompression (H.266/VVC) um etwa 54,8 % reduzieren kann, während die Bildqualität hoch bleibt.
Verständnis und Erstellung: Das System war nicht nur gut darin, Videos zu speichern; es war auch besser darin, Computern zu helfen, Handlungen zu erkennen (wie „Cello spielen“) und sogar neue, künstliche Videos von Grund auf zu erschaffen.

Was sie nicht getan haben (und warum)
Die Autoren waren sorgfältig darauf bedacht, festzuhalten, was ihr System noch nicht kann. Obwohl es Videos aus dem Nichts erschaffen kann (unconditionale Generierung), ist es noch nicht ganz so gut wie die sehr besten KI-Videogeneratoren von heute. Sie erklären dies damit, dass sie eine neue Art der „Blob“-Repräsentation verwenden, die noch nicht auf massiven, bereits existierenden Datensätzen trainiert wurde. Sie behaupten nicht, die Videogenerierung vollständig gelöst zu haben, sondern zeigen vielmehr, dass dieser „Blob“-Ansatz eine sehr vielversprechende neue Richtung ist, die überraschend gut bei der Speicherung und beim Verständnis funktioniert.

Das Fazit
Die Arbeit legt nahe, dass durch den Austausch starrer Gitter gegen flexible, smarte „Blobs“, die wissen, wie man bewegliche Objekte von statischen Hintergründen trennt, die Videorepräsentation viel vielseitiger werden kann. Es ist ein wenig so, als würde man von einem verpixelten, blockartigen Videospiel zu einer flüssigen, geschmeidigen Animation wechseln, bei der jeder Teil des Bildschirms genau weiß, wie viel Aufmerksamkeit er benötigt. Die Ergebnisse zeigen, dass dieser Ansatz zu schärferen Videos, kleineren Dateigrößen und einer intelligenteren Art führt, wie Computer die Welt sehen.

Technisches Resümee: Vielseitige Videorepräsentation durch Feed-Forward 2D-Gaussian-Splatting-Tokenisierung

Problemstellung

Bestehende Methoden zur Videorepräsentation, insbesondere solche, die auf einer festen Raster-basierten, patchweisen Tokenisierung beruhen (z. B. MAGVIT-v2), leiden unter einer begrenzten Vielseitigkeit sowohl in der räumlichen als auch in der zeitlichen Domäne.

Räumliche Einschränkungen: Die gleichmäßige Zuweisung einer festen Anzahl von Token führt zu einer Überkodierung in Bereichen mit geringem Informationsgehalt (z. B. glatte Hintergründe), während gleichzeitig detailreiche Bereiche potenziell unterrepräsentiert werden.
Zeitliche Einschränkungen: Aktuelle Ansätze verarbeiten Zeitschritte einheitlich, ohne explizit zwischen statischen Inhalten (z. B. Hintergründen) und dynamischen Inhalten (z. B. bewegten Objekten) zu unterscheiden. Dies führt zu redundanten Token-Budgets für unveränderliche Segmente, was die gesamte Token-Anzahl und den Rechenaufwand aufbläht.
Generalisierungsprobleme: Während jüngste Gaussian-Splatting-Methoden vielversprechend sind, erfordern sie oft eine pro-Video-Optimierung, was rechenintensiv ist und die Generalisierbarkeit auf ungesehene Videos einschränkt.

Methodik: Gaussian Video Transformer (GVT)

Die Autoren schlagen den Gaussian Video Transformer (GVT) vor, ein Framework, das die starre patchweise Tokenisierung durch ein Feed-Forward 2D-Gaussian-Splatting-Schema ersetzt. Die Kernarchitektur besteht aus drei Hauptphasen:

1. Spatio-Temporale Gaussian Embedding (STGE)

Anstatt latente Vektoren direkt zu quantisieren, projiziert GVT latente Videofeatures in einer Feed-Forward-Art in eine Menge von 2D-Gaussians.

Input: Ein Videoclip wird zunächst mittels eines Standard-Patch-basierten Feature-Extraktors (kausaler 3D-CNN) in eine Sequenz von latenten Tensoren $Z$ kodiert.
Mechanismus: Das STGE-Modul nutzt zwei Schlüssel-Submodule:
- Spatio-Temporal Attention (STA): Aggregiert Features, um globale Korrelationen zu erfassen.
- Deformable Spatio-Temporal Fusion (DSTF): Verwendet lernbare Queries, um Informationen aus latenten Vektoren in spezifische 2D-Gaussian-Parameter (Position $\mu$ , Kovarianz $\Sigma$ und Feature-Koeffizienten $\varsigma$ ) zu projizieren.
Output: Eine Menge von 2D-Gaussians $G = \{G_t\}$ für jeden Zeitschritt, wobei jeder Gaussian die lokale räumliche Struktur und variierende Detailgrade explizit modelliert.

2. Gaussian Set Partitioning (GSP)

Um die zeitliche Redundanz zu adressieren, führt GVT eine Strategie zur Entkopplung von statischen und dynamischen Inhalten ein.

Partitionierung: Eine lernbare binäre Maske wird generiert, um die Gaussians in zwei Mengen zu klassifizieren:
- Statische Gaussians ( $G_{static}$ ): Repräsentieren stationäre Regionen (z. B. Hintergründe), die über alle Zeitschritte hinweg geteilt werden. Diese werden einmalig (bei $t=1$ ) berechnet und für nachfolgende Frames wiederverwendet.
- Dynamische Gaussians ( $G_{dynamic}$ ): Repräsentieren zeitlich variierende Inhalte (z. B. bewegte Objekte) und werden für jeden Zeitschritt aktualisiert.
Optimierung: Ein Constraint-Loss ( $L_{GSP}$ ) reguliert den Anteil der dynamischen Gaussians und regt das Modell dazu an, Redundanz zu minimieren und gleichzeitig eine lernbare Token-Anzahl beizubehalten.

3. Vektorkuantisierung und Rekonstruktion

Quantisierung: Die Feature-Koeffizienten ( $\varsigma$ ) der 2D-Gaussians werden mittels einer Vektorquantisierung (VQ) mit einem lernbaren Codebook quantisiert, wodurch kontinuierliche Parameter in diskrete Tokens umgewandelt werden.
Rendering: Während der Rekonstruktion werden die quantisierten Gaussians gerastert. Statische Gaussians werden über alle Zeitschritte dupliziert, während dynamische Gaussians pro Frame gerendert werden. Das fertige Video wird rekonstruiert, indem die aggregierten Strahlungsgewichte und Koeffizienten zurück in den Pixelraum dekodiert werden.

Zentrale Beiträge

STGE (Spatio-Temporal Gaussian Embedding): Ein neuartiges Projektionsmodul, das kompakte latente Videorepräsentationen in einer Feed-Forward-Manier auf 2D-Gaussian-Splatting abbildet und so eine vielseitige Tokenisierung ohne pro-Video-Optimierung ermöglicht.
GSP (Gaussian Set Partitioning): Eine lernbare Strategie, die Gaussians explizit in statische und dynamische Mengen partitioniert. Dies reduziert die zeitliche Redundanz durch die Wiederverwendung statischer Inhalte und verbessert sowohl die zeitliche Vielseitigkeit als auch die Kompaktheit der Repräsentation.
GVT-Framework: Ein end-to-end Video-Tokenisierungs-Framework, das STGE und GSP integriert. Es ist die erste Arbeit, die Gaussian Splatting in die Video-Tokenisierungsforschung einbezieht und eine State-of-the-Art (SOTA) Performance bei Rekonstruktion und Kompression erzielt.

Experimentelle Ergebnisse

Die Autoren evaluierten GVT in vier Aufgabenbereichen: Video-Rekonstruktion, Aktionserkennung, Kompression und Generierung, unter Verwendung von Datensätzen wie UCF101, Kinetics (K600/K400) und DAVIS.

Video-Rekonstruktion:
- Auf UCF101 und Kinetics-600 erreichte GVT eine SOTA-Performance hinsichtlich des rekonstruierten Video-FVD (rFVD) und übertraf damit MAGVIT-v2 und andere Tokenizer (z. B. 12,6 rFVD auf UCF101 gegenüber 16,7 für MAGVIT-v2).
- Auf DAVIS-2017-480P demonstrierte GVT eine überlegene Instanz-Ebene-Fidelität (bestes LPIPS, dritter bester SSIM) unter den Radiance-Field-basierten Methoden. Entscheidend ist, dass es die einzige Feed-Forward-Methode in diesem Vergleich ist, wodurch die stundenlangen pro-Video-Fitting-Zeiten vermieden werden, die durch NeRF oder 4DGS-basierte Ansätze erforderlich sind.
Video-Aktionserkennung:
- Durch die Verwendung rekonstruierter Videos als Input für VideoMAE erreichte GVT eine höhere Top-1- und Top-5-Genauigkeit auf UCF101 und K400 im Vergleich zu MAGVIT-v2, was auf eine bessere Bewahrung semantischer Informationen hindeutet.
Video-Kompression:
- GVT demonstrierte eine überlegene Rate-Distortion (RD)-Performance. Im Vergleich zum H.266/VVC-Standard erreichte GVT durchschnittliche Bitraten-Reduktionen von 54,8 % (basierend auf DISTS) und 2,1 % (basierend auf LPIPS).
Video-Generierung:
- Bei unbedingten (unconditional) Video-Generierungsaufgaben auf UCF101 erreichte GVT einen FVD von 1240, was die MAGVIT-v2-Baseline mit demselben Flow-Matching-Paradigma (FVD 3772) übertrifft und konkurrenzfähig zu anderen Methoden wie MCVD und TGAN-v2 ist.

Bedeutung und Ansprüche

Das Paper behauptet, dass GVT eine signifikante Verschiebung in der Videorepräsentation darstellt, indem es die explizite und adaptive Natur von Gaussian Splatting nutzt.

Vielseitigkeit: Durch die Abkehr von festen Gittern passt GVT die Token-Dichte an den Informationsgehalt (räumlich) an und unterscheidet zwischen statischen und dynamischen Elementen (zeitlich).
Effizienz: Das Feed-Forward-Design eliminiert die Notwendigkeit einer kostspieligen pro-Video-Optimierung, was den Ansatz skalierbar und auf ungesehene Videos generalisierbar macht.
Performance: Die Methode setzt neue Benchmarks in der Rekonstruktionsqualität und Kompressionseffizienz und behält gleichzeitig eine konkurrenzfähige Leistung in Downstream-Aufgaben wie der Aktionserkennung und Generierung bei.

Die Autoren räumen Einschränkungen ein und merken an, dass die aktuellen Generierungsfähigkeiten aufgrund des Fehlens von vortrainierten multimodalen Alignment-Modellen für 2DGS auf unbedingte Settings beschränkt sind. Sie betrachten die aktuellen Generierungsergebnisse als vorläufigen Beleg für das Potenzial des Frameworks und planen zukünftige Arbeiten, um die bedingte Generierung (z. B. Text-zu-Video) zu untersuchen.