Planning in 8 Tokens: A Compact Discrete Tokenizer for Latent World Model

Dit paper introduceert CompACT, een compacte discrete tokenizer die waarnemingen comprimeert tot slechts 8 tokens, waardoor wereldmodellen voor beslissingsplanning aanzienlijk sneller en efficiënter worden zonder in te leveren op prestaties.

De kern

Stel je voor dat je een robot wilt programmeren om door een huis te lopen en een kopje koffie te halen. De robot moet constant beslissingen nemen: "Ga ik linksaf of rechtsaf? Is die stoel een obstakel?"

Om dit te doen, gebruiken moderne AI's iets dat een Wereldmodel wordt genoemd. Dit is als een droommachine in het hoofd van de robot. Hij simuleert in zijn hoofd wat er gebeurt als hij een stap zet, voordat hij die stap daadwerkelijk zet.

Het probleem met de huidige "droommachines" is dat ze te traag en te duur zijn. Ze proberen elke foto van de wereld te onthouden tot in het kleinste detail: de textuur van het tapijt, de schaduwen op de muur, de stof op de meubels. Het is alsof je een hele bibliotheek vol met ultra-hoge-resolutie foto's moet lezen om één simpele vraag te beantwoorden. Dat kost te veel tijd en rekenkracht.

CompACT (de uitvinding uit dit paper) lost dit op met een heel slim idee: Wat als we stoppen met het onthouden van de details en alleen de essentie onthouden?

Hier is hoe het werkt, vertaald naar alledaagse beelden:

1. De "8-woord" Samenvatting

Stel je voor dat je iemand vraagt om een foto van een kamer te beschrijven.

• De oude manier: De robot beschrijft elke steen in de muur, elke vezel in het tapijt en de kleur van elke schaduw. Dat zijn duizenden woorden (tokens).
• De CompACT-methode: De robot zegt: "Er is een deur links, een tafel in het midden en een stoel rechts." Dat zijn slechts 8 woorden.

De auteurs hebben een slimme "vertaler" (een tokenizer) bedacht die elke foto van de wereld reduceert tot slechts 8 tot 16 blokjes (tokens). In plaats van een hele foto op te slaan, slaat de robot alleen de belangrijke informatie op: Waar zijn de objecten? Hoe liggen ze ten opzichte van elkaar?

2. De "Frozen" Leraar (DINOv3)

Hoe kan de robot zo weinig woorden gebruiken zonder de betekenis kwijt te raken?
Stel je voor dat je een student hebt die al jarenlang les heeft gehad door een wereldberoemde professor (een voorgeprogrammeerd AI-model genaamd DINOv3). Deze professor is een expert in het begrijpen van de wereld: hij weet wat een stoel is en wat een deur is, maar hij is niet geïnteresseerd in de stof van de stoel.

De CompACT-robot gebruikt deze professor als een "vaste leraar". Hij kijkt naar de foto en vraagt de professor: "Wat is hier belangrijk?" De professor geeft een samenvatting. De robot leert dan alleen maar om die samenvatting in 8 blokjes te coderen. Omdat de professor al weet wat belangrijk is, hoeft de robot niet te leren hoe hij een foto moet reconstrueren, maar alleen hoe hij de betekenis moet onthouden.

3. De "Magische Ontwerper" (Generatieve Decoder)

Nu heb je een robot die alleen maar 8 blokjes onthoudt. Maar wat als je de robot vraagt om de foto weer te zien? Kan hij die 8 blokjes terugveranderen in een foto?
Nee, niet precies. Het is alsof je probeert een schilderij te maken op basis van alleen de tekst "rode auto, blauwe lucht". Je mist de details.

Maar voor het plannen van bewegingen maakt dat niet uit! De robot hoeft de foto niet perfect te zien, hij moet alleen weten waar de obstakels zijn.
Als de robot toch een foto nodig heeft (bijvoorbeeld om te controleren of hij er goed uitziet), gebruikt hij een magische ontwerper. Deze ontwerper kijkt naar de 8 blokjes en zegt: "Oké, er is een deur links. Ik ga nu een deur tekenen die eruitziet alsof hij links staat." Hij vult de details in die de robot niet heeft onthouden, maar die wel logisch zijn.

Waarom is dit zo geweldig?

• Snelheid: Omdat de robot maar met 8 blokjes hoeft te rekenen in plaats van met duizenden, kan hij 40 keer sneller plannen. Het is het verschil tussen het lezen van een heel boek om een vraag te beantwoorden versus het scannen van de titel van het hoofdstuk.
• Slimmer Plannen: Door zich te focussen op de "essentie" (waar is de deur?) en niet op de "ruis" (wat voor patroon heeft het tapijt?), maakt de robot betere beslissingen. Hij raakt niet afgeleid door details die voor het plannen irrelevant zijn.
• Toekomst: Dit maakt het mogelijk om robots in de echte wereld te gebruiken die in real-time moeten reageren, zoals een zelfrijdende auto of een robot die in een fabriek werkt.

Kortom:
CompACT is als het geven van een robot een korte, krachtige samenvatting van de wereld in plaats van een volledige encyclopedie. Het leert de robot om te plannen met de "grote lijnen", waardoor hij razendsnel en efficiënt kan handelen, zonder zich te verliezen in de details.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Planning in 8 Tokens: A Compact Discrete Tokenizer for Latent World Model" in het Nederlands.

Probleemstelling

Wereldmodellen (world models) bieden een krachtig kader om omgevingsdynamica te simuleren, wat essentieel is voor actieplanning en beleidslernen in versterkende leer (RL). Echter, de toepassing van deze modellen op planning op beslismomenten (decision-time planning) voor real-time controle blijft computationeel onhaalbaar.

De belangrijkste bottleneck ligt in de latente representaties:

• Conventionele tokenizers (zoals SD-VAE) coderen elke observatie (afbeelding) in honderden tokens (bijv. 784 tokens).
• Omdat de meeste wereldmodellen op attention-architecturen zijn gebaseerd, groeit de rekenkosten kwadratisch met het aantal tokens.
• Dit resulteert in extreme latentie; bijvoorbeeld, state-of-the-art navigatiemodellen kunnen tot 3 minuten per episode nodig hebben voor planning, wat te traag is voor real-time toepassingen.

Bestaande generatieve modellen zijn ontworpen voor fotorealistische reconstructie (texturen, belichting), wat overbodige informatie bevat voor daadwerkelijke besluitvorming.

Methodologie: CompACT

De auteurs stellen CompACT voor: een compacte, discrete tokenizer die elke observatie comprimeert tot slechts 8 tot 16 tokens (ongeveer 128-256 bits per afbeelding). De kernfilosofie is dat extreme compressie niet noodzakelijk schadelijk is voor planning, zolang de voor planning cruciale semantische informatie behouden blijft.

De architectuur bestaat uit drie hoofdcomponenten:

1. Semantische Encoding via Bevroren Features:

   • In plaats van een encoder end-to-end te trainen voor reconstructie, gebruiken de auteurs een bevroren, vooraf getrainde visuele foundation model (specifiek DINOv3) als basis.
   • DINOv3 abstracteert al lage-niveau details (textuur, licht) en focust op semantisch begrip.
   • Een Latent Resampler (een transformer-decoder met leerbare query-tokens) gebruikt cross-attention om deze bevroren features te distilleren naar een zeer korte reeks discrete tokens.
   • Dit zorgt ervoor dat alleen object-niveau semantiek en ruimtelijke relaties worden behouden, terwijl irrelevante visuele details worden weggegooid.

2. Generatieve Decoding:

   • Directe pixelreconstructie vanuit slechts 8 tokens is een slecht gesteld probleem (ill-posed) omdat er veel mogelijke pixelmanifestaties zijn voor dezelfde semantiek.
   • CompACT lost dit op met een generatieve decoder. Deze decoder leert om een rijkere, intermediate latente representatie (van een vooraf getrainde "doel-tokenizer" zoals VQGAN/MaskGIT met ~256 tokens) te genereren, geconditioneerd op de compacte 8 tokens.
   • De compacte tokens fungeren als hoog-niveau semantische gids, terwijl de generatieve decoder de fijne visuele details synthetiseert die consistent zijn met die semantiek.

3. Wereldmodel in de Compacte Latente Ruimte:

   • Het wereldmodel wordt getraind om de volgende toestand ($z_{t+1}$) te voorspellen op basis van de huidige toestand ($z_t$) en actie ($a_t$), direct in de ruimte van de compacte tokens.
   • Er wordt gebruik gemaakt van gemaskerde generatieve modellering (MaskGIT-achtig) in plaats van autoregressieve modellen of diffusion-modellen met continue latente ruimtes. Dit maakt het mogelijk om meerdere tokens in één stap te unmaskeren, wat de sampling-snelheid drastisch verhoogt.

Belangrijkste Bijdragen

• Extreme Compressie: Een tokenizer die afbeeldingen comprimeert tot 8 discrete tokens zonder dat dit ten koste gaat van de planningsefficiëntie.
• Semantische Prioritering: Het bewijs dat het behoud van semantische informatie (via bevroren foundation models) superieur is voor planning ten opzichte van het behoud van fotorealistische details.
• Generatieve Decoding Strategie: Een innovatieve aanpak die het decompressieprobleem transformeert naar een conditionele generatietask, waardoor de beperkte informatie in de compacte tokens effectief kan worden uitgebreid naar een volledige afbeelding.
• Computationele Efficiëntie: Een aanzienlijke reductie in de latentie van planningrollouts door het vermijden van de kwadratische complexiteit van lange tokenreeksen.

Resultaten

De methode is geëvalueerd op navigatie (RECON, SCAND datasets) en robotmanipulatie (RoboNet).

• Planningsnelheid: CompACT bereikt een 40x versnelling in planningslatentie vergeleken met modellen die 784 tokens gebruiken (SD-VAE), terwijl de planningsnauwkeurigheid (gemeten in Absolute Trajectory Error - ATE) vergelijkbaar blijft.
• Superieure Prestaties: Het model met 8 tokens presteert beter dan eerdere tokenizers met 64 tokens (FlexTok), wat aantoont dat de kwaliteit van de compressie (semantisch gericht) belangrijker is dan het aantal tokens.
• Actie-gerelateerde Informatie: Inverse Dynamics Models (IDM) getraind op CompACT-tokens presteren beter dan die getraind op 16x meer tokens (R2 van 0.716 vs 0.684). Dit bevestigt dat de compacte tokens de voor actie cruciale dynamische informatie (zoals de positie van de robotgrijper) beter vastleggen.
• Video Predictie: Bij actie-geconditioneerde videopredictie op RoboNet toont CompACT een 3x lagere voorspellingsfout voor acties en 5x snellere generatie dan de baseline met 256 tokens.

Betekenis en Impact

Dit werk markeert een paradigmaverschuiving in de ontwikkeling van wereldmodellen voor real-time controle:

1. Haalbaarheid voor Real-World Deployments: Door de rekenkosten drastisch te verlagen, worden wereldmodellen voor het eerst praktisch inzetbaar voor real-time toepassingen zoals autonome navigatie en robotbesturing.
2. Informatie-theoretisch Inzicht: Het paper onderstreept dat voor planning geen fotorealistische wereld nodig is, maar een compacte, semantisch rijke abstractie. Dit daagt de huidige trend aan om steeds grotere en gedetailleerdere generatieve modellen te bouwen.
3. Efficiëntie vs. Fidelity: Het toont aan dat het opzettelijk "verliezen" van visuele details ten gunste van semantische compressie leidt tot robuustere en snellere planners.

Kortom, CompACT bewijst dat "minder tokens" (8) niet gelijkstaat aan "minder prestaties", maar juist kan leiden tot "snellere en betere planning" door de focus te leggen op wat er echt toe doet voor de agent: de semantische structuur van de wereld.