🤖 AI

Rethinking Video Token Compression with a Global Codebook: Learning Once, Compressing Everywhere

Het artikel stelt **ONCE** voor, een plug-in video-tokencompressiekader dat het kostbare compressieproces offline verplaatst door eenmaal een frequentiebewuste globale codebook te leren, wat efficiënte, model-agnostische online compressie mogelijk maakt die de inferentielatentie aanzienlijk vermindert terwijl de competitieve prestaties over video-begripsbenchmarks behouden blijven.

Oorspronkelijke auteurs: Jiayang He, Tianling Xu, Diancheng Kang, Huaide Jiang, Junyan Bai, Shaoming Zheng, Xuan Song

Gepubliceerd 2026-08-04

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiayang He, Tianling Xu, Diancheng Kang, Huaide Jiang, Junyan Bai, Shaoming Zheng, Xuan Song

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren hoe hij films moet begrijpen. Om dit te doen, breek je elk frame van de film af in duizenden kleine digitale "pixels" van betekenis, genaamd tokens. De robot leest deze enorme lijst met tokens vervolgens als een zin om te begrijpen wat er gebeurt. Het probleem is dat films lang zijn en vol zitten met herhaling. Als een personage tien seconden lang stilstaat in een kamer, wordt de robot gedwongen om duizenden keren precies dezelfde "staan in een kamer"-token te lezen. Het is alsof je een boek leest waarin het woord "de" een miljoen keer wordt herhaald om de ruimte te vullen; het verspilt de hersencapaciteit van de robot en maakt hem ongelooflijk traag in het beantwoorden van vragen. Wetenschappers hebben geprobeerd dit op te lossen door de robot te leren om de saaie delen over te slaan of vergelijkbare delen samen te voegen terwijl hij de film bekijkt, maar dit vereist meestal dat de robot voor elke nieuwe film extra wiskunde uitvoert, wat nog steeds erg traag en duur is.

Dit artikel introduceert een nieuwe manier om dit aan te pakken, genaamd ONCE. In plaats van de robot het zware werk te laten doen om te sorteren en over te slaan bij elke nieuwe video die hij ziet, hebben de onderzoekers besloten het zware werk te doen voordat de robot ooit een film ziet. Ze hebben een "Global Codebook" gecreëerd, wat in essentie een enorme, vooraf gemaakte index is van de meest voorkomende visuele patronen in duizenden uren video. Denk aan een bibliotheek waar elk boek al perfect in een vak is gesorteerd. Wanneer er een nieuwe film aankomt, hoeft de robot de patronen niet vanaf nul te organiseren; hij zoekt simpelweg de patronen op in zijn vooraf gemaakte index, pakt de relevante "vakken" en middelt deze uit. Dit stelt de robot in staat om video's veel sneller te verwerken omdat hij slechts een snelle zoekopdracht uitvoert in plaats van een complexe berekening. De onderzoekers ontdekten dat deze methode ongelooflijk goed werkt, vooral wanneer ze de robot dwingen om met zeer weinig tokens te werken, waardoor de robot snel blijft zonder te vergeten wat hij aan het bekijken is.

Het Probleem: Het Overweldigde Brein van de Robot

Video Large Language Models (Video-LLMs) zijn als superkrachtige detectives die een video kunnen bekijken en er vragen over kunnen beantwoorden. Om dit te doen, veranderen ze de video in een lange reeks digitale tokens. Maar hier is de crux: als je de detective een tweeuur durende film voert, wordt de reeks tokens zo lang dat het de geheugen van de detective overweldigt.

Bovendien zitten films vol redundantie. Als een scène laat zien dat een kat vijf minuten lang op een bank zit, genereert de video-encoder duizenden tokens die allemaal "kat op bank" zeggen. De detective moet elke enkele van hen lezen, ook al zijn ze allemaal hetzelfde. Bestaande methoden proberen dit op te lossen door de detective de tokens te laten "prunen" (eruit knippen) of "mergen" (combineren) terwijl hij de video bekijkt. Maar dit is alsof je de detective vraagt om bij elke nieuwe film even te stoppen en zijn aantekeningen te reorganiseren. Het kost elke keer extra tijd en energie, en de regels voor het organiseren veranderen afhankelijk van welke detective (model) je gebruikt.

De Oplossing: ONCE en de "Global Codebook"

De auteurs van dit artikel, Jiayang He en hun team, stelden een andere aanpak voor. Ze vroegen zich af: "Wat als we het organiseren één keer voor iedereen doen, in plaats van de detective elke keer opnieuw te vragen?"

Ze bouwden een systeem genaamd ONCE (Offline-to-Online Video Token Compression). Zo werkt het, met een eenvoudige analogie:

Stel je voor dat je een bibliothecaris bent die miljoenen boeken moet sorteren.

De Oude Manier (Bestaande Methoden): Elke keer als er een nieuwe zending boeken aankomt, moet je stoppen, elk boek lezen, beslissen welke vergelijkbaar zijn, en ze dan fysiek samenvoegen voordat je ze kunt opbergen. Dit kost voor elke nieuwe zending veel tijd.
De ONCE Manier: Voordat er nieuwe boeken aankomen, besteed je tijd aan het bestuderen van een enorme collectie boeken die je al hebt. Je creëert een "Master Index" (de Global Codebook) die elke veelvoorkomende soort boek vermeldt die je ooit hebt gezien (bijv. "Actieheld", "Kookprogramma", "Natuurdocumentaire"). Je maakt ook een regel: "Als een boek op een 'Natuurdocumentaire' lijkt, zet het in Bak A."

Nu, wanneer er een nieuwe zending boeken (een nieuwe video) aankomt, hoef je ze niet allemaal zorgvuldig te lezen. Je werpt slechts een snelle blik op elk boek, controleert je "Master Index" om te zien in welk bakje het thuishoort, en laat het erin vallen. Je neemt vervolgens alle boeken in Bak A en vat ze samen in één enkele notitie. Dit is ongelooflijk snel omdat je de sorteerregels niet telkens opnieuw uitvindt voor elke nieuwe zending; je gebruikt simpelweg de regels die je één keer hebt geleerd.

Hoe het in detail werkt

Offline Leren (Het "Once"-gedeelte): De onderzoekers namen een enorme dataset van video's (LLaVA-Video-178K) en analyseerden de visuele patronen. Ze kozen niet zomaan de patronen; ze zorgden ervoor dat de patronen verschillende momenten in de video vastlegden (temporele stratificatie) en gewogen ze op basis van hoe vaak ze voorkwamen. Vervolgens gebruikten ze een wiskundige techniek genaamd "optimal transport" om een Global Codebook van 8.192 representatieve "prototypes" (of codewords) te fitten. Deze codebook fungeert als een kaart van de visuele wereld.
Online Compressie (Het "Overal"-gedeelte): Wanneer er een nieuwe video binnenkomt, traint het systeem niets nieuws. Het kijkt simpelweg naar de visuele tokens van de video en vraagt: "Waar lijkt dit op van mijn 8.192 prototypes?" Het kiest de meest voorkomende prototypes die in de video verschijnen, wijst alle video-tokens opnieuw toe aan deze prototypes en middelt ze vervolgens uit. Dit verandert duizenden tokens in een veel kleiner, beheersbaar aantal (zoals 256 of 512) zonder de kernbetekenis te verliezen.

Wat ze vonden

Het team testte ONCE op vier verschillende video-begrip benchmarks (MVBench, EgoSchema, Video-MME, en LongVideoBench) met behulp van twee verschillende AI-modellen (LLaVA-OneVision-7B en Qwen3.5-9B).

Snelheid: De resultaten waren opvallend. ONCE verminderde de hoeveelheid werk die het taalmodel moest doen met ongeveer 96% in termen van pre-computatie (prefill FLOPs). In de echte wereld betekende dit dat het systeem gemiddeld 2,96 keer sneller draaide vergeleken met draaien zonder compressie.
Nauwkeurigheid: Meestal, wanneer je een systeem sneller maakt door gegevens weg te halen, wordt het dommer. Maar ONCE was verrassend slim. Wanneer het tokenbudget zeer krap was (slechts 32, 64 of 128 tokens toegestaan), behaalde ONCE zelfs hogere scores dan andere compressiemethoden. Het was bijzonder goed in taken zoals het tellen van gebeurtenissen of het herkennen van statusveranderingen.
Efficiëntie: Het systeem bereikte deze snelheidsverbeteringen zonder de hoofd-AI-modellen opnieuw te hoeven trainen. De codebook werd één keer geleerd en daarna voor alles hergebruikt.

Wat ze uitsloten

Het paper argumenteert expliciet tegen het idee dat compressie "online" (tijdens het afspelen van de video) voor elke individuele video moet worden uitgevoerd. Ze toonden aan dat het zware werk uitvoeren tijdens de inferentie (tijdens het kijken) inefficiënt en redundant is. Ze toonden ook aan dat het simpelweg kiezen van willekeurige tokens of het gebruiken van een vaste set tokens voor elke video niet zo goed werkt als hun methode, die de juiste prototypes voor de specifie of video selecteert terwijl de groeperingsregels vast blijven staan.

Verder ontdekten ze dat de "Global Codebook" niet alleen trainingsvoorbeelden opslaat, maar een herbruikbare structuur leert. Zelfs toen het werd getest op video's die het nog nooit eerder had gezien (een publieke video-stress test), presteerde de codebook beter dan willekeurige groeperingen, wat suggereert dat het echt de onderliggende "grammatica" van visuele patronen heeft gevangen.

De Kernboodschap

De auteurs suggereren dat ONCE een nieuwe manier biedt om over video-AI na te denken: in plaats van de AI harder te laten werken voor elke nieuwe video, kunnen we het één keer een universele taal van visuele patronen leren, en het vervolgens die taal vloeiend en snel laten spreken wanneer dat nodig is. Hoewel de methode nog steeds een aparte codebook vereist voor verschillende AI-modellen (omdat zij dingen anders "zien"), suggereren de resultaten dat deze "leer één keer, comprimeer overal"-aanpak een krachtige manier is om video-AI sneller en efficiënter te maken zonder het vermogen te verliezen om te begrijpen wat er op het scherm gebeurt. Het paper concludeert dat dit een veelbelovende stap is richting het praktisch bruikbaar maken van het begrijpen van lange video's voor dagelijks gebruik.

Technische Samenvatting: Het heroverwegen van videotokencompressie met een globale codeboek (ONCE)

Probleemstelling

Video Large Language Models (Video-LLM's) representeren video-inputs als dichte sequenties van visuele tokens, waarbij de sequentielengte schaalt met de temporele en ruimtelijke resolutie. Deze dichtheid creëert twee primaire knelpunten:

Computationele redundantie: Naburige frames en patches bevatten vaak herhaalde visuele informatie, wat leidt tot onnodige berekeningen in de daaropvolgende taalmodelverwerking.
Inefficiëntie van bestaande methoden: Huidige technieken voor tokencompressie (pruning en merging) werken online tijdens de inferentie. Ze genereren eerst dichte visuele kenmerken en comprimeren deze vervolgens onafhankelijk voor elke inputvideo. Deze aanpak brengt herhaalde per-video berekeningen met zich mee om de belangrijkheid of gelijkenis van tokens vanaf nul in te schatten, slaagt er niet in om compressiekennis over verschillende video's heen te delen, en leunt vaak op modelspecifieke ontwerpen (bijv. op aandacht gebaseerde belangrijkheid) die de generaliseerbaarheid beperken.

Methodologie: ONCE-framework

De auteurs stellen ONCE voor, een plug-in video-tokencompressieframework dat het paradigma verschuift van online, instantie-specifieke compressie naar een offline-naar-online benadering. Het kernidee is om één keer een herbruikbaar, frequentiebewust globaal codeboek te leren in een bevroren visuele feature-ruimte en dit te hergebruiken voor lichtgewicht online compressie.

1. Offline Fase: Eén keer leren

ONCE leert een globaal visueel codeboek $\mathcal{C} = [c_1, \dots, c_K]^T$ van een grootschalige video-corpus (bijv. LLaVA-Video-178K) zonder de parameters van de Video-LLM bij te werken.

Temporaal gestratificeerde corpus-schetsing: In plaats van uniforme bemonstering wordt de trainingscorpus langs de tijdlijn gestratificeerd om temporele diversiteit te behouden. Video's worden verdeeld in bins, en spherical Lloyd-updates partitioneren genormaliseerde tokens in lokale groepen. Elke groep wordt gerepresenteerd door een gewogen schets-token ( $r_u$ ) en een bron-token aantal gewicht ( $w_u$ ).
Gebalanceerde globale codeboek-fitting: Om te voorkomen dat dominante visuele patronen het codeboek overheersen, gebruikt ONCE een gebalanceerde toewijzingsstrategie. Het definieert een effectief gewicht $\omega_u$ dat de massa van de bron-tokens en een long-tail correctie voor categoriefrequentie incorporeert.
Optimalisatie: De codeboektoewijzing wordt geformuleerd als een entropie-geregulariseerd optimal transport-probleem (opgelost via Sinkhorn-iteraties). Dit zorgt voor een gebalanceerde benutting van codewords terwijl de belangrijkheid van hoog-massa representanten behouden blijft. Het resulterende codeboek is vast na de training.

2. Online Fase: Overal comprimeren

Tijdens de inferentie dient het bevroren codeboek als een groeperingsprior voor willekeurige inputvideo's.

Actieve codeword-selectie: Voor een nieuwe video worden dichte visuele tokens gekoppeld aan de dichtstbijzijnde codewords in het globale codeboek. Het systeem telt de frequentie van toewijzingen ( $n_k$ ) en selecteert de top- $B$ actieve codewords ( $K_B$ ) met de hoogste frequenties. Dit past de globale geometrie aan de specifieke inhoud van de huidige video aan.
Herverdeling en Token Pooling: Bron-tokens worden opnieuw toegewezen aan de geselecteerde actieve codewords. Elke groep tokens wordt vervolgens gecomprimeerd tot een enkele continue token via mean pooling van de originele bron-embeddings.
Output: De output is een compacte sequentie van continue tokens (niet discrete indices), geordend door de frequentie van hun overeenkomstige actieve codewords. De sequentielengte $M$ voldoet aan $M \le \min(N, B)$ , waarbij $N$ het originele aantal tokens is en $B$ het budget.

Belangrijk onderscheid: In tegen tegen discrete tokenizer (zoals VQ-VAE), vervangt ONCE kenmerken niet door discrete codes. In plaats daarvan gebruikt het het codeboek om groeperingsstructuren te definiëren, terwijl de gecomprimeerde representatie een continue aggregatie blijft van de kenmerken van de inputvideo.

Belangrijkste Bijdragen

Offline-naar-online Paradigma: Introductie van een framework dat één keer een corpus-niveau groeperingsprior leert en deze hergebruikt voor ongeziene video's, waardoor de noodzaak voor per-video compressiestrategie-optimalisatie wordt geëlimineerd.
Globaal Codeboek Leren: Een methode om een gebalanceerd globaal codeboek te leren van bron-aantal-gewogen schetsen, gebruikmakend van budget-bewuste selectie en bron-token mean pooling.
Plug-and-Play Efficiëntie: De methode is model-agnostisch met betrekking tot het compressiemechanisme (zolang de feature-ruimte bevroren is) en bereikt competitieve nauwkeurigheid met aanzienlijk lagere inferentie-latentie.

Experimentele Resultaten

De auteurs evalueerden ONCE op vier benchmarks (MVBench, EgoSchema, Video-MME, LongVideoBench) met twee backbones (LLaVA-OneVision-7B en Qwen3.5-9B).

Nauwkeurigheid-Efficiëntie Afweging:
- Onder strakke token-budgetten ( $B \in \{32, 64, 128\}$ ) behaalde ONCE de hoogste nauwkeurigheid onder alle vergeleken compressie-baselines (inclusief ForestPrune en FastVID) over alle benchmarks.
- Bij grotere budgetten ( $B=512, 1024$ ) bleef ONCE competitief, hoewel sommige input-adaptieve baselines in specifieke scenario's af en toe boven ONCE uitkwamen.
Inferentie Latentie:
- ONCE behaalde de laagste inferentie-latentie onder de vergeleken methoden.
- Bij $B=512$ verminderde ONCE de visuele-token prefill FLOPs met ongeveer 96% en behaalde een end-to-end versnelling van (2.96 ± 1.21)× (gemiddelde ± standaarddeviatie) vergeleken met dichte inferentie.
- Het geheugengebruik zag bescheiden reducties (~15%), voornamelijk door de verminderde sequentielengte, hoewel de modelgewichten aanwezig bleven.
Generalisatie: De aanpak werd succesvol overgedragen naar de Qwen3.5-9B backbone met een enkel codeboek dat op dezelfde corpus was getraind, wat robuustheid demonstreert over verschillende modelarchitecturen heen.

Betekenis en Claims

Het artikel claimt dat ONCE de fundamentele inefficiëntie van huidige Video-LLM compressie aanpakt, waarbij compressie wordt behanding als een aanvullende, repetitieve inferentie-fase berekening. Door het zware werk van de groeperingslogica naar een offline fase te verplaatsen, zorgt ONCE ervoor dat:

Het de compressiekennis ontkoppelt van specifieke inputvideo's, waardoor kennishergebruik mogelijk is.
Het de computationele overhead van compressiebeslissingen tijdens de inferentie vermindert.
Het een hoge taakprestatie behoudt, vooral wanneer de token-budgetten beperkt zijn, door corpus-niveau statistieken te gebruiken om token-aggregatie te sturen.

De auteurs merken op dat hoewel de methode de prefill-kosten aanzienlijk vermindert, de end-to-end versnelling begrensd wordt door de visuele codering en decodering fasen, die ongewijzigd blijven. Ze erkennen ook dat het vaste codeboek specifiek is voor de visuele feature-ruimte van de doel-backbone en dat de methode momenteel de kosten van de initiële visuele encoder niet vermindert.