💻 computer science

Versatile Video Representation via Feed-Forward 2D Gaussian Splatting Tokenization

Het artikel introduceert de Gaussian Video Transformer (GVT), een veelzijdige video-representatieframework dat gebruikmaakt van feed-forward 2D Gaussian Splatting tokenisatie met spatio-temporele adaptiviteit en expliciete statisch-dynamische scheiding om state-of-the-art prestaties te behalen in video-reconstructie, compressie, actieherkenning en generatie.

Oorspronkelijke auteurs: Zhenghao Chen, Zicong Chen, Lei Liu, Yiming Wu, Dong Xu

Gepubliceerd 2026-08-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhenghao Chen, Zicong Chen, Lei Liu, Yiming Wu, Dong Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een film naar een vriend probeert te sturen via een trage internetverbinding. Je kunt niet zomaar het hele ding versturen; je moet het opdelen in kleine stukjes, comprimeren en als "tokens" (kleine digitale pakketjes informatie) verzenden. Dit is de wereld van videotokenisatie, een cruciale truc in computer vision die computers helpt om video's te begrijpen, op te slaan en te creëren. Lange tijd was de standaardmanier om dit te doen als het maken van een foto en het opdelen in een rigide rooster van gelijke vierkantjes, ongeacht wat er in die vierkantjes te zien was. Als je een vierkant had dat een saaie, lege muur liet zien en een ander dat een snelle explosie liet zien, behandelde de computer ze precies hetzelfde en gaf ze beide evenveel data. Dit was verspillend en miste vaak de belangrijke details.

Stel je nu voor dat je, in plaats van een rigide rooster, een magische, vormveranderende penseel zou kunnen gebruiken die precies weet waar hij meer verf moet aanbrengen voor de explosie en minder voor de muur. Dit is het idee achter Gaussian Splatting. Oorspronkelijk gebruikt om 3D-scènes er echt uit te laten zien, gebruikt het kleine "klodders" (Gaussians) die kunnen rekken, krimpen en draaien om de vorm van een object perfect aan te passen. De grote vraag die onderzoekers zich hebben gesteld is: Kunnen we deze flexibele, op klodders gebaseerde schilderstijl gebruiken om volledige video's weer te geven, en niet alleen losse afbeeldingen? Als we dit zouden kunnen, zouden we video's veel efficiënter kunnen opslaan en ze beter kunnen laten ogen, terwijl we computers leren wat beweegt en wat stilstaat.

De Nieuwe "Klodder" Videomaker

In dit artikel introduceren de auteurs een nieuw systeem genaamd de Gaussian Video Transformer (GVT). Denk aan dit als een slimme video-editor die een film niet alleen in een raster van vierkantjes hakt. In plaats daarvan verandert het de video in een verzameling flexibele, 2D "klodders" (Gaussians) die kunnen rekken en bewegen precies daar waar de actie plaatsvindt.

Zo hebben ze het werkend gekregen, met behulp van een paar slimme trucjes:

1. De "Slimme Klodder" Generator (STGE)
De meeste oude videosystemen zijn rigide. Ze kijken naar een video en zeggen: "Oké, ik heb 1.000 tokens nodig voor deze scène," ongeacht of de scène een stille bibliotheek of een chaotische voetbalwedstrijd is. Het nieuwe systeem van de auteurs, genaamd Spatio-Temporal Gaussian Embedding (STGE), is anders. Het kijkt naar de video en zegt: "Hé, dit deel is saai, laten we minder klodders gebruiken. Dit deel is wild, laten we er meer gebruiken!" Het genereert deze klodders in één enkele, snelle passage (een "feed-forward" genoemd), wat betekent dat het geen uren hoeft te besteden aan het tweaken van de video om hem er goed uit te laten zien. Het creëert gewoon ter plekke de perfecte set klodders.

2. De "Statisch vs. Bewegend" Splitsing (GSP)
Hier wordt het systeem echt slim. In een video gebeuren sommige dingen nooit (zoals de achtergrondmuur), terwijl andere dingen rondvliegen (zoals een rennende hond). Oude systemen zouden de muur in elke frame opnieuw tekenen, wat een enorme hoeveelheid data verspilt. De auteurs introduceerden een strategie genaamd Gaussian Set Partitioning (GSP). Dit werkt als een slimme sorteerder die de video in twee stapels verdeelt:

De Statische Stapel: De achtergrondklodders die hetzelfde blijven. Het systeem tekent deze één keer en zegt: "Kopieer dit voor de rest van de video."
De Dynamische Stapel: De bewegende klodders die elke seconde veranderen.

Door alleen de bewegende delen bij te werken en de statische delen te hergebruiken, bespaart het systeem een enorme hoeveelheid ruimte en tijd. Het is alsof je één keer een tekening maakt van een kamer, en dan alleen de personages animeert die er doorheen lopen, in plaats van telkens de hele kamer opnieuw te tekenen voor elk frame.

3. De Resultaten: Beter, Kleiner en Sneller
Het team heeft hun nieuwe GVT-systeem getest op verschillende beroemde video-datasets (zoals UCF101 en Kinetics) en het vergeleken met de huidige beste methoden.

Reconstructie: Wanneer ze probeerden de video's te reconstrueren vanuit deze klodders, deed GVT het beter dan de vorige kampioenen; het creëerde duidelijkere beelden met minder fouten.
Compressie: Omdat het systeem zo goed is in het herkennen van wat statisch is en wat beweegt, kan het de videobestanden aanzienlijk verkleinen. Ze ontdekten dat het de bestandsgrootte met ongeveer 54,8% kon verkleinen ten opzichte van de nieuwste standaard videocompressie (H.266/VVC), terwijl de beeldkwaliteit hoog bleef.
Begrip en Creatie: Het systeem was niet alleen goed in het opslaan van video's; het was ook beter in het helpen van computers om acties te herkennen (zo zoals "cello spelen") en zelfs het creëren van nieuwe, zelfgemaakte video's vanuit het niets.

Wat ze niet deden (en waarom)
De auteurs waren voorzichtig om te vermelden wat hun systeem nog niet kan. Hoewel het video's kan maken uit het niets (unconditional generation), is het nog niet zo goed als de allerbeste AI-videogenerators van dit moment. Ze leggen uit dat dit komt omdat ze een nieuw type "klodder"-representatie gebruiken die nog niet getraind is op enorme, bestaande datasets. Ze beweren niet dat ze video-generatie volledig hebben opgelost, maar wel dat deze "klodder"-benadering een zeer veelbelovende nieuwe richting is die verrassend goed werkt voor opslag en begrip.

De Kern van het Verhaal
Het artikel suggereert dat door rigide rasters te vervangen door flexibele, slimme "klodders" die weten hoe ze bewegende objecten van statische achtergronden moeten scheiden, we de videorepresentatie veelzijdiger kunnen maken. Het is een beetje als het overstappen van een gepixelde, blokkerige videogame naar een vloeiende, soepele animatie waarbij elk deel van het scherm precies weet hoeveel aandacht het nodig heeft. De resultaten laten zien dat deze aanpak leidt tot scherpere video's, kleinere bestandsgroottes en een slimmere manier voor computers om de wereld te zien.

Technische Samenvatting: Veelzijdige Videorepresentatie via Feed-Forward 2D Gaussian Splatting Tokenisatie

Probleemstelling

Bestaande methoden voor videorepresentatie, met name die afhankelijk zijn van vaste grid-gebaseerde, patch-gewijze tokenisatie (bijv. MAGVIT-v2), lijden aan een beperkte veelzijdigheid in zowel het ruimtelijke als het temporele domein.

Ruimtelijke beperkingen: Een uniforme toewijzing van een vast aantal tokens leidt tot overmatige codering in regio's met weinig informatie (bijv. gladde achtergronden), terwijl gebieden met veel details mogelijk ondervertegenwoordigd worden.
Temporele beperkingen: Huidige benaderingen verwerken tijdstappen uniform zonder expliciet onderscheid te maken tussen statische inhoud (bijv. achtergronden) en dynamische inhoud (bijv. bewegende objecten). Dit resulteert in redundante token-budgetten voor onveranderlijke segmenten, wat de totale token-count en de computationele kosten verhoogt.
Generalisatieproblemen: Hoewel recente Gaussian Splatting (GS) methoden veelbelovend zijn, vertrouwen ze vaak op per-video optimalisatie, wat computationeel duur is en de generaliseerbaarheid naar onbekende video's beperkt.

Methodologie: Gaussian Video Transformer (GVT)

De auteurs stellen de Gaussian Video Transformer (GVT) voor, een framework dat rigide patch-gewijze tokenisatie vervangt door een feed-forward 2D Gaussian Splatting-schema. De kernarchitectuur bestaat uit drie hoofdfasen:

1. Spatio-Temporele Gaussian Embedding (STGE)

In plaats van latente vectoren direct te kwantiseren, projecteert GVT latente videofeatures op een feed-forward manier naar een reeks 2D Gaussians.

Input: Een videoclip wordt eerst gecodeerd in een sequentie van latente tensors $Z$ met behulp van een standaard patch-gewijze feature extractor (causale 3D CNN).
Mechanisme: De STGE-module maakt gebruik van twee belangrijke sub-modules:
- Spatio-Temporele Attention (STA): Aggregeert features om globale correlaties te vangen.
- Deformable Spatio-Temporele Fusion (DSTF): Gebruikt leerbare queries om informatie van latente vectoren te projecteren naar specifieke 2D Gaussian-parameters (positie $\mu$ , covariantie $\Sigma$ , en feature-coëfficiënten $\varsigma$ ).
Output: Een set 2D Gaussians $G = \{G_t\}$ voor elk tijdstap, waarbij elke Gaussian de lokale ruimtelijke structuur en variërende detailniveaus expliciet modelleert.

2. Gaussian Set Partitioning (GSP)

Om temporele redundantie aan te pakken, introduceert GVT een strategie om statische en dynamische inhoud te ontkoppelen.

Partitionering: Een leerbare binaire mask wordt gegenereerd om Gaussians te classificeren in twee sets:
- Statische Gaussians ( $G_{static}$ ): Vertegenwoordigen stationaire regio's (bijv. achtergronden) die gedeeld worden over alle tijdstappen. Deze worden één keer berekend (bij $t=1$ ) en hergebruikt voor opeenvolgende frames.
- Dynamische Gaussians ( $G_{dynamic}$ ): Vertegenwoordigen tijdelijk variërende inhoud (bijv. bewegende objecten) en worden voor elk tijdstap bijgewerkt.
Optimalisatie: Een constraint loss ( $L_{GSP}$ ) reguleert de proportie van dynamische Gaussians, wat het model stimuleert om redundantie te minimaliseren terwijl een leerbaar aantal tokens behouden blijft.

3. Vector Kwantisatie en Reconstructie

Kwantisatie: De feature-coëfficiënten ( $\varsigma$ ) van de 2D Gaussians worden gekwantiseerd met behulp van een Vector Quantization (VQ)-strategie met een leerbaar codeboek, waardoor continue parameters worden omgezet in discrete tokens.
Rendering: Tijdens reconstructie worden de gekwantiseerde Gaussians gerasterd. Statische Gaussians worden over alle tijdstappen gedupliceerd, terwijl dynamische Gaussians per frame worden gerenderd. De uiteindelijke video wordt gereconstrueerd door de geaggregeerde radiance-gewichten en coëfficiënten terug te decoderen naar de pixelruimte.

Belangrijkste Bijdragen

STGE (Spatio-Temporele Gaussian Embedding): Een nieuw projectiemodule die compacte latente videorepresentaties in kaart brengt naar 2D Gaussian Splatting op een feed-forward manier, wat veelzijdige tokenisatie mogelijk maakt zonder per-video optimalisatie.
GSP (Gaussian Set Partitioning): Een leerbare strategie die Gaussians expliciet partitioneert in statische en dynamische sets. Dit vermindert de temporele redundantie door statische inhoud te hergebruiken, wat zowel de temporele veelzijdigheid als de compactheid van de representatie verbetert.
GVT Framework: Een end-to-end video-tokenisatieframework dat STGE en GSP integreert. Het is het eerste werk dat Gaussian Splatting integreert in video-tokenisatieonderzoek en bereikt state-of-the-art (SOTA) prestaties in reconstructie en compressie.

Experimentele Resultaten

De auteurs hebben GVT geëvalueerd op vier taken: video-reconstructie, actieherkenning, compressie en generatie, met behulp van datasets zoals UCF101, Kinetics (K600/K400) en DAVIS.

Video-reconstructie:
- Op UCF101 en Kinetics-600 behaalde GVT SOTA-prestaties in termen van gereconstrueerde video FVD (rFVD), waarbij het MAGVIT-v2 en andere tokenizers overtrof (bijv. 12,6 rFVD op UCF101 versus 16,7 voor MAGVIT-v2).
- Op DAVIS-2017-480P demonstreerde GVT superieure instantie-niveau getrouwheid (beste LPIPS, derde beste SSIM) onder Radiance Field-gebaseerde methoden. Cruciaal is dat het de enige feed-forward methode is in deze vergelijking, waardoor de urenlange per-video fitting-tijden die vereist zijn door NeRF of 4DGS-gebaseerde benaderingen worden vermeden.
Video Actieherkenning:
- Door gereconstrueerde video's als input te gebruiken voor VideoMAE, behaalde GVT een hogere Top-1 en Top-5 nauwkeurigheid op UCF101 en K400 vergeleken met MAGVIT-v2, wat wijst op een betere preservatie van semantische informatie.
Video-compressie:
- GVT demonstreerde superieure Rate-Distortion (RD) prestaties. Vergeleken met de H.266/VVC-standaard behaalde GVT gemiddelde bit-rate reducties van 54,8% (gebaseerd op DISTS) en 2,1% (gebaseerd op LPIPS).
Video-generatie:
- In onvoorwaardelijke video-generatietaken op UCF101 behaalde GVT een FVD van 1240, waarmee het MAGVIT-v2 overtrof (die is uitgerust met hetzelfde flow-matching paradigma met een FVD van 3772) en concurreert met andere methoden zoals MCVD en TGAN-v2.

Betekenis en Claims

Het artikel beweert dat GVT een significante verschuiving in videorepresentatie betekent door gebruik te maken van de expliciete en adaptieve aard van Gaussian Splatting.

Veelzijdigheid: Door af te stappen van vaste grids, past GVT de token-dichtheid aan op de informatie-inhoud (ruimtelijk) en maakt het onderscheid tussen statische en dynamische elementen (temporeel).
Efficiëntie: Het feed-forward ontwerp elimineert de noodzaak voor kostbare per-video optimalisatie, waardoor de aanpak schaalbaar en generaliseerbaar is naar onbekende video's.
Prestaties: De methode vestigt nieuwe benchmarks in reconstructiekwaliteit en compressie-efficiëntie, terwijl het concurrerende prestaties behoudt in downstream taken zoals actieherkenning en generatie.

De auteurs erkennen beperkingen en merken op dat de huidige generatie-capaciteiten beperkt zijn tot onvoorwaardelijke settings vanwege het gebrek aan pre-trained multimodale alignment-modellen voor 2DGS. Zij beschouwen de huidige generatie-resultaten als voorlopig bewijs van het potentieel van het framework, met toekomstig werk gepland om conditionele generatie (bijv. tekst-naar-video) te verkennen.