InfoTok: Adaptive Discrete Video Tokenizer via Information-Theoretic Compression

Each language version is independently generated for its own context, not a direct translation.

🎬 Het Probleem: De "Eén-grootte-past-voor-Allen" Verpakking

Stel je voor dat je een pakketje moet versturen.

Pakket A is een lege doos met een paar zandkorrels erin (een heel rustig filmpje, zoals een slapende hond).
Pakket B is een doos vol met springende ballen, vuurwerk en dansende mensen (een dynamisch filmpje, zoals een gevecht tussen katten).

Tot nu toe hebben computers die video's opslaan of versturen, een heel dom systeem gebruikt: ze doen altijd precies evenveel verpakkingsmateriaal (tokens) in elke doos, ongeacht wat erin zit.

Voor de lege doos (Pakket A) gebruiken ze 1000 meter tape. Dat is zonde; er zit niets in!
Voor de chaotische doos (Pakket B) gebruiken ze ook 1000 meter tape. Dat is juist te weinig; de ballen vallen eruit!

Dit is wat huidige technologie doet: het comprimeert video's met een vaste snelheid. Dit leidt tot verspilling van ruimte bij saaie video's en kwaliteitsverlies bij spannende video's.

💡 De Oplossing: INFOTOK (De Slimme Verpakker)

De onderzoekers van NVIDIA en Stanford hebben INFOTOK bedacht. Dit is een slimme "verpakker" die kijkt naar de inhoud van het filmpje voordat hij begint.

Stel je INFOTOK voor als een slimme robot-pakker die werkt volgens de regels van de wiskunde (de theorie van Shannon over informatie).

Hoe werkt het? De Twee Delen

De Slimme Manager (De Router):
Voordat de robot gaat pakken, kijkt hij naar het filmpje.
- Ziet hij een slapende hond? Dan denkt hij: "Ah, dit is saai. Er verandert niets. Ik heb maar een klein beetje tape nodig."
- Ziet hij een gevecht? Dan denkt hij: "Wow, veel beweging! Ik heb heel veel tape nodig om dit netjes te verpakken."
- De analogie: Het is alsof je een krant leest. Als er een saaie lijst met cijfers in staat, lees je die snel door (weinig "tokens"). Als er een spannend nieuwsverhaal is, lees je elk woord aandachtig (veel "tokens"). INFOTOK past de hoeveelheid "leeswerk" aan op basis van hoe spannend het moment is.
De Slimme Pakker (De Compressor):
Zodra de manager weet hoeveel tape er nodig is, gaat de robot aan de slag. Hij pakt alleen de belangrijkste stukjes van het filmpje en laat de saaie, herhalende stukjes weg (die kan de computer namelijk wel zelf invullen).
- In het filmpje met de slapende hond worden 60% van de beelden "zwart gemaakt" (weggelaten) omdat ze niet nodig zijn.
- In het gevechtsscene worden bijna alle beelden bewaard.

🚀 Waarom is dit zo cool?

Het paper laat zien dat INFOTOK twee grote voordelen heeft ten opzichte van de oude methoden:

Besparen zonder kwaliteitsverlies:
Omdat INFOTOK niet zomaar alles weggooit, maar alleen de onnodige dingen, kan hij 20% tot 50% minder ruimte gebruiken dan de beste huidige systemen.
- Analogie: Het is alsof je een brief schrijft. In plaats van "De hond slaapt. De hond slaapt. De hond slaapt..." te schrijven, schrijf je gewoon "De hond slaapt". Je gebruikt minder woorden, maar de boodschap is nog steeds perfect duidelijk.
Veel sneller:
Andere slimme systemen proberen vaak door "gokken" (trial-and-error) uit te vinden hoeveel ruimte ze nodig hebben. Ze moeten het filmpje meerdere keren proberen te verpakken om te zien of het lukt.
- INFOTOK doet dit in één keer. De "Manager" kijkt er even naar, berekent direct hoeveel tape er nodig is, en de "Pakker" doet het werk.
- Resultaat: Het is 11 keer sneller dan de huidige slimme systemen die moeten gokken.

🌍 De Grote Droom

Dit systeem is niet alleen voor video's. Het idee is dat elke vorm van data (geluid, 3D-modellen, tekst) "saaie" en "interessante" momenten heeft. INFOTOK leert ons dat we niet alles gelijk moeten behandelen.

Kort samengevat:
INFOTOK is de eerste computer die begrijpt dat een rustig moment in een film minder "informatie" bevat dan een explosie. Door die informatie slim te verdelen, kunnen we video's opslaan met minder ruimte en beter beeld, precies zoals een slimme mens dat zou doen.

Het paper is gepresenteerd op de ICLR 2026 conferentie en toont aan dat de toekomst van video-compressie niet ligt in "meer rekenkracht", maar in "slimmer denken".

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

De groeiende succes van visuele fundamentele modellen (foundation models) vereist efficiënte verwerking van lange videosequenties. Het vertalen van video naar discrete tokens biedt voordelen voor integratie met Large Language Models (LLMs), maar huidige methoden kampen met ernstige beperkingen:

Rigiditeit: Bestaande tokenizers gebruiken een vaste compressiesnelheid voor alle video's, ongeacht hun inhoudelijke complexiteit. Dit leidt tot redundantie bij simpele video's (bijv. een stilstaand beeld) en informatieverlies bij complexe video's (bijv. snelle bewegingen).
Sub-optimaliteit: Huidige adaptieve methoden (zoals ElasticTok) maken gebruik van heuristische, dataneutrale trainingsmethoden (bijv. uniforme steekproeven van tokenlengtes). Het paper bewijst dat deze benaderingen fundamenteel vertekend (biased) zijn en leiden tot een veel grotere verwachte tokenlengte dan theoretisch noodzakelijk voor dezelfde reconstructiekwaliteit.
Inefficiëntie: Bestaande adaptieve methoden vereisen vaak een "trial-and-error" zoekproces tijdens inferentie om de optimale lengte te vinden, wat rekenkundig zeer duur is.

Methodologie: INFOTOK

INFOTOK is een principieel raamwerk voor adaptieve videotokenisatie, gebaseerd op de informatietheorie van Shannon. Het doel is om het aantal tokens dynamisch aan te passen aan de informatie-inhoud (complexiteit) van het videomateriaal.

1. Theoretische Basis:
Het paper bewijst dat de optimale tokenlengte ( $N_x$ ) voor een video $x$ evenredig moet zijn met de negatieve log-likelihood ( $-\log p(x)$ ), zoals beschreven in het broncoderingsstelsel van Shannon. Helaas is de exacte likelihood van video's niet direct berekenbaar.

2. De Router (Token Lengte Selectie):
Om het probleem van de onbekende likelihood op te lossen, introduceert INFOTOK een router die gebruikmaakt van de Evidence Lower Bound (ELBO).

De router schat de informatiecomplexiteit van een video door de ELBO te berekenen (een ondergrens voor de log-likelihood).
De tokenlengte wordt bepaald door: $N_x = \beta \cdot \frac{\text{ELBO}(x)}{\mathbb{E}[\text{ELBO}]}$ , waarbij $\beta$ een compressiefactor is die de gemiddelde tokenlengte regelt.
Dit elimineert de noodzaak voor brute-force zoekopdrachten tijdens inferentie.

3. De Adaptieve Compressor:
Zodra de doel-lengte $N_x$ is bepaald, moet de encoder-decoder de informatie efficiënt comprimeren.

In plaats van willekeurig tokens te verwijderen (zoals bij eerdere methoden), selecteert INFOTOK de tokens met de hoogste informatie-inhoud (gebaseerd op per-token log-likelihood/ELBO).
Tokens met de laagste informatie-inhoud worden gemaskeerd.
Een Transformer-gebaseerd netwerk (compressor) leert de informatie van de gemaskeerde tokens te herschikken naar de overgebleven tokens, zodat reconstructie mogelijk blijft.
Een binaire masker wordt opgeslagen in de tokensequentie met een minimale overhead (ongeveer 5%).

4. Architectuur:
INFOTOK bouwt voort op bestaande vaste tokenizers (in dit geval de Cosmos Discrete Video Tokenizer). Het voegt twee nieuwe componenten toe:

Een Router die de ELBO berekent en de lengte bepaalt.
Een Adaptieve Compressor/Decompressor (opgebouwd uit Transformer-lagen) die de variabele lengte verwerkt.

Belangrijkste Bijdragen

Theoretisch Bewijs: Een rigoureuze afleiding gebaseerd op Shannon's informatietheorie die aantoont dat bestaande methoden met vaste of dataneutrale adaptieve compressie inherent suboptimaal en vertekend zijn.
INFOTOK Framework: Een nieuw, principieel raamwerk dat ELBO gebruikt om de tokenlengte dynamisch en theoretisch optimaal te bepalen, zonder heuristische zoekprocessen.
Efficiënte Inferentie: Het vermijden van meervoudige inferentie-passen (zoals binair zoeken bij ElasticTok) door direct de ELBO te gebruiken, wat leidt tot aanzienlijke snelheidswinst.
Flexibiliteit: De introductie van INFOTOK-Flex, die meerdere compressiefactoren in één model verenigt, waardoor het model zich kan aanpassen aan verschillende compressie-eisen zonder hertraining.

Resultaten

Experimenten zijn uitgevoerd op videoreconstructiedatasets (TokenBench en DAVIS) met vergelijkingen tegen state-of-the-art methoden zoals Cosmos, OmniTokenizer en ElasticTok.

Compressie-efficiëntie: INFOTOK bespaart ongeveer 20% tokens ten opzichte van de beste vaste tokenizers (Cosmos) zonder kwaliteitsverlies.
Prestatie ten opzichte van adaptieve methoden: INFOTOK bereikt een compressie die 2.3x beter is dan ElasticTok bij gelijke reconstructiekwaliteit (gemeten in PSNR, SSIM, LPIPS en FVD).
Inferentie-efficiëntie: INFOTOK is 11x sneller in inferentie dan ElasticTok. Waar ElasticTok een binaire zoekopdracht vereist (11 extra forward passes), heeft INFOTOK slechts één extra decoder-pass nodig om de ELBO te berekenen.
Kwaliteit: Bij een compressie van 0.56 BPP16 (bits per 16 pixels) behaalt INFOTOK een PSNR van 29.27 en een FVD van 70, wat aanzienlijk beter is dan ElasticTok (PSNR 27.34, FVD 194) op dezelfde datasets.

Betekenis en Impact

INFOTOK markeert een verschuiving van heuristische naar theoretisch onderbouwde adaptieve tokenisatie. Door de tokenlengte te koppelen aan de daadwerkelijke informatie-inhoud van het videomateriaal, biedt het een oplossing voor de schaalbaarheid van multimodale modellen.

Toekomstige Toepassingen: De methode is niet beperkt tot video; het principe van adaptieve compressie op basis van informatie-inhoud is toepasbaar op audio, 3D-data en andere sequentiële data.
Efficiëntie: Het maakt de verwerking van zeer lange videosequenties haalbaar binnen transformer-architecturen door de tokenlengte te minimaliseren waar mogelijk, zonder in te leveren op de kwaliteit van de weergave of generatie.
Reproduceerbaarheid: De code en experimentele instellingen zijn openbaar gemaakt, wat de basis legt voor verdere onderzoek naar schaalbare multimodale systemen.

Kortom, INFOTOK biedt een fundamentele verbetering in hoe visuele data wordt gecomprimeerd voor AI-modellen, door de principes van informatietheorie direct toe te passen op de architectuur van de tokenizer.