🤖 machine learning

The Compression Gap: Why Discrete Tokenization Limits Vision-Language-Action Model Scaling

Dit paper toont aan dat het schalen van Vision-Language-Action-modellen faalt wanneer acties worden getokeniseerd als discrete tokens, omdat de codebook-capaciteit dan een informatieknelpunt vormt dat de voordelen van verbeterde visuele encoders blokkeert, terwijl continue actie-representaties deze schaling wel toelaten.

Oorspronkelijke auteurs: Takuya Shiba

Gepubliceerd 2026-04-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Takuya Shiba

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kernboodschap: Waarom een betere camera niet altijd helpt

Stel je voor dat je een robot bouwt die een taak moet uitvoeren, zoals een kopje thee zetten. Je denkt: "Als ik een superkrachtige camera (een betere 'vision encoder') gebruik, zal de robot slimmer worden en de taak beter uitvoeren."

In de wereld van taalmodellen (zoals ChatGPT) klopt dit. Maar deze studie toont aan dat dit niet altijd werkt voor robots. Het hangt er namelijk van af hoe de robot zijn bewegingen beschrijft.

De auteurs noemen dit het "Compressie Gat" (The Compression Gap).

Twee Manieren om te Denken: De "Luxe Auto" vs. de "Postkaart"

De paper vergelijkt twee manieren waarop robots hun acties plannen:

1. De Continue Weg (Diffusion Policy) – De Luxe Auto

Stel je voor dat de robot een luxe auto is die een lange, rechte weg rijdt.

Hoe het werkt: De camera kijkt naar de wereld, en de auto stuurt direct naar de bestemming. Er zijn geen poortwachters of controlepunten die de snelheid beperken.
Het effect: Als je de motor van de auto vervangt door een krachtigere (een betere camera), gaat de auto direct sneller en verder. De verbetering loopt direct door tot het einddoel.
Conclusie: Bij deze methode helpt een betere camera altijd.

2. De Discrete Weg (OAT) – De Postkaart

Nu stel je je voor dat de robot een postkaart moet schrijven om te zeggen wat hij doet.

Hoe het werkt: De robot kijkt naar de wereld, maar moet zijn gedachten vertalen naar een beperkt aantal woorden op een postkaart. Stel dat de postkaart maar 80 tekens (bits) heeft.
Het probleem: Het maakt niet uit of je een briljant schrijver bent (een superkrachtige camera) die duizenden details ziet. Je kunt maar 80 tekens op de kaart zetten. Alle extra informatie die je ziet, moet je weggooien omdat er simpelweg geen ruimte is.
Het effect: Als je je camera vervangt door een veel betere, zie je wel meer details, maar je kunt ze niet kwijt op de kleine postkaart. De robot blijft net zo traag als voorheen. De "postkaart" is het flesje (de bottleneck) dat de stroom blokkeert.

Wat hebben ze bewezen? (Het Experiment)

De onderzoekers hebben dit getest met robots die verschillende taken moesten doen (op de LIBERO-benchmark). Ze hebben drie dingen veranderd:

De Camera: Ze hebben een simpele camera (ResNet) vervangen door een zeer slimme, dure camera (SigLIP).
De Methode: Ze hebben gekeken naar robots die de "Luxe Auto" methode gebruikten versus diegene die de "Postkaart" methode gebruikten.
De Grootte: Ze hebben gekeken of het helpt als de robot zelf groter is (meer rekenkracht).

De resultaten waren verrassend:

Bij de "Luxe Auto" (Diffusion): De robot werd 21% beter met de nieuwe camera. De verbetering kwam direct aan.
Bij de "Postkaart" (OAT): De robot werd nauwelijks beter (slechts een paar procent). De extra kennis van de camera werd "opgegeten" door de beperkte postkaart.

Zelfs als ze de robot groter maakten, hielp dat niet. Je kunt een grotere postbus hebben, maar als de postkaart zelf maar 80 tekens toestaat, blijft de informatie beperkt.

De "Postkaart" Grootte Test

Om te bewijzen dat het echt aan de postkaart lag, hebben ze de grootte van de postkaart vergroot.

Met een kleine postkaart: De betere camera hielp niet.
Met een grote postkaart: Plotseling hielp de betere camera weer wel! De robot kon nu de extra informatie van de camera verwerken.

Dit bewijst dat de "Postkaart" (de codebook) het echte probleem was, niet de robot zelf.

Wat betekent dit voor de toekomst?

Deze studie leert ons een belangrijke les voor de ontwikkeling van robots (Physical AI):

Niet alles groter maken: Het is niet genoeg om alleen maar grotere modellen of meer data te gebruiken. Je moet kijken waar het flesje in de keten zit.
Kies je methode slim: Als je een robot bouwt die gebruikmaakt van een beperkte "woordenlijst" (discrete tokens) voor zijn bewegingen, dan maakt het niet uit hoe slim je camera is. Je moet eerst de "woordenlijst" vergroten of een andere methode kiezen.
Nieuwe camera's nodig: De studie suggereert ook dat de beste camera's die we nu hebben (ontworpen voor het begrijpen van plaatjes en tekst) misschien niet perfect zijn voor robots. Robots hebben camera's nodig die specifiek kijken naar beweging, ruimte en hoe je dingen kunt vastgrijpen, niet alleen naar wat er op de foto staat.

Samengevat:
Je kunt de beste camera ter wereld kopen, maar als je robot zijn bewegingen moet beschrijven op een postkaart van 80 tekens, zal die camera zijn werk niet doen. Je moet eerst de postkaart groter maken (of een auto kiezen) voordat de camera zijn kracht kan laten zien.

Titel: The Compression Gap: Waarom Discrete Tokenisatie de Schaalbaarheid van Vision-Language-Action Modellen Beperkt

Auteur: Takuya Shiba (Shibattic Inc.)
Datum: 3 april 2026 (arXiv:2604.03191v1)

1. Het Probleem

Binnen het veld van Vision-Language-Action (VLA) modellen voor robotica is er een algemene aanname dat het upgraden van de visuele encoder (bijvoorbeeld van ResNet-18 naar SigLIP) automatisch leidt tot betere prestaties in manipulatietaken. Dit principe werkt uitstekend in vision-language modellen. Echter, dit paper toont aan dat deze verwachting niet geldt wanneer robotacties worden weergegeven als discrete tokens.

De kern van het probleem is een fundamenteel verschil in hoe informatie stroomt door het systeem, afhankelijk van de gekozen actie-representatie:

Continue representaties (zoals Diffusion Policy) laten verbeteringen in de encoder direct doorwerken naar de actie.
Discrete representaties (zoals OAT - Ordered Action Tokenization) introduceren een "compressie-kloof" waarbij verbeteringen in de encoder worden tegengehouden door een vastomlijnde codebook-capaciteit.

2. Methodologie

De auteurs gebruiken een informatie-theoretisch kader gebaseerd op de Data Processing Inequality om te analyseren waar de "bindende bottleneck" (de strengste beperking) in de visuo-motorische pijplijn ligt.

Experimenteel Ontwerp:

Benchmarks: Gebruik van het LIBERO-10 benchmark (Franka Emika Panda robot, 7-dimensionale actieruimte).
Factorieel Experiment: Een gecontroleerde studie met $2 \times 2 \times 2 = 8$ $2 \times 2 \times 2 = 8$ condities, variërend in:
1. Actie-representatie: Discrete tokenisatie (OAT) vs. Continue denoising (Diffusion Policy).
2. Visuele Encoder: ResNet-18 (beperkt) vs. SigLIP (rijk, semantisch).
3. Modelgrootte: Medium (M) vs. Large (L) transformer backbones.
Aanvullende Experimenten:
- Encoder Kwaliteit Gradiënt: Testen met vier encoders van verschillende kwaliteit (ResNet-18, SigLIP, SigLIP 2, DINOv2) om te zien of het effect lineair is.
- Codebook Grootte Variatie: Het verhogen van de capaciteit van het FSQ-codebook (van 1000 naar 1920 en 4375 tokens) om te testen of het wegnemen van de bottleneck de gevoeligheid voor encoder-kwaliteit herstelt.

3. Kernconcept: De "Compression Gap"

De auteurs introduceren het concept van de Compression Gap (Compressiekloof):

Continue Pijplijn (Diffusion Policy): De bottleneck ligt bij de visuele encoder ( $I(O; Z)$ ). Als je de encoder verbetert, vergroot je de informatiestroom direct naar de actie. Er is geen harde limiet op de informatieoverdracht tussen representatie en actie.
Discrete Pijplijn (OAT): Er is een kwantisatiestap (FSQ) die acties comprimeert naar een discrete codebook. De maximale informatiedoorvoer is begrensd door de grootte van het codebook ( $I(Z; T) \leq H_l \log_2 |V|$ $I (Z; T) \leq H_{l} lo g_{2} ∣ V ∣$ ). Voor de standaard OAT-instelling is dit ongeveer 80 bits.
- Als de encoder verbeterd wordt, maar de codebook-capaciteit al verzadigd is, wordt de extra informatie verworpen bij de kwantisatie. De upgrade heeft dus geen invloed op de uiteindelijke prestatie, ongeacht hoe goed de encoder is.

4. Belangrijkste Resultaten

A. Encoder Gevoeligheid (Factorieel Experiment)

Diffusion Policy (Continue): Een upgrade van ResNet-18 naar SigLIP resulteerde in een enorme prestatieverbetering:
- Model M: +21,2% succesrate (van 36,4% naar 57,6%).
- Model L: +26,0% succesrate (van 44,0% naar 70,0%).
OAT (Discrete): Dezelfde upgrade leverde slechts marginale winst op:
- Model M: +3,6% succesrate (van 53,8% naar 57,4%).
- Model L: +10,4% succesrate (van 48,0% naar 58,4%).
Conclusie: De discrete pathway blokkeert de voordelen van betere visuele representaties.

B. Encoder Kwaliteit Gradiënt

Bij Diffusion Policy volgt de succesrate monotoon de kwaliteit van de encoder (ResNet < SigLIP < SigLIP 2 < DINOv2).
Bij OAT blijft de prestatie vrijwel plat, ongeacht hoe krachtig de encoder is. Zelfs bij de sterkste encoder (DINOv2) presteert OAT slechter dan Diffusion Policy, terwijl OAT bij de zwakste encoder (ResNet) juist beter presteerde. Dit toont aan dat discrete tokenisatie goed werkt bij lage encoder-kwaliteit, maar faalt bij hoge kwaliteit.

C. Codebook Grootte (Causaal Bewijs)

Door de codebook-capaciteit van OAT te vergroten (van 1000 naar 1920 tokens), werd de "Compression Gap" gedeeltelijk opgeheven.
Bij een groter codebook (1920) zakte de prestatie van OAT met ResNet drastisch (naar 42,6%), terwijl SigLIP stabiel bleef (57,8%). Dit onthulde dat de beperkte codebook eerder de zwakke encoder had "gemaskeerd".
Dit bewijst causaal dat de codebook-capaciteit de bindende bottleneck is die de relatie tussen encoder-kwaliteit en taakprestatie onderbreekt.

5. Betekenis en Conclusie

Principiële Inzichten:

Schaalbaarheid is niet uniform: Het simpelweg vergroten van modelgrootte of data is niet voldoende voor "Physical AI". Het is cruciaal om te identificeren waar de informatie-bottlenecks in de pijplijn liggen.
Structuur van Bottlenecks: In discrete systemen is de bottleneck vaak de actie-tokenizer (codebook), niet de visuele encoder. Upgrades upstream zijn nutteloos als ze niet door de bottleneck kunnen.
Parallel met Multimodaal Schalen: Dit fenomeen spiegelt bevindingen uit grote taalmodellen (zoals Tong et al., 2026) waar VAE-gebaseerde representaties verzadigen terwijl semantische encoders blijven schalen.

Implicaties voor de Toekomst:

Voor Discrete Methoden: Om de voordelen van krachtige visuele encoders te benutten, moeten discrete tokenisatiemethoden hun codebook-capaciteit verhogen of adaptief maken.
Voor Continue Methoden: Deze zijn beter geschikt voor schaalbaarheid met foundation models, maar bereiken nu een plateau (rond 60% succes) omdat de huidige visuele encoders (ontworpen voor semantiek, niet voor robotica) zelf de nieuwe bottleneck worden.
Nieuwe Richting: Er is behoefte aan visuele encoders die specifiek zijn geoptimaliseerd voor fysieke interactie (contactgeometrie, object-aanbiedingen) en hybride architecturen die discrete redenering combineren met continue actie-decodering.

Samenvattend: Het paper onthult dat de keuze van actie-representatie (discreet vs. continu) bepaalt of een robotmodel kan profiteren van de snelle vooruitgang in visuele foundation modellen. Zolang discrete tokenisatie een strakke compressie-bottleneck behoudt, blijft de schaalbaarheid van robotpolicies beperkt.