Scaling Laws in Patchification: An Image Is Worth 50,176 Tokens And More

Dit onderzoek toont aan dat het verminderen van de patchgrootte in Vision Transformers en Mamba-modellen leidt tot een consistente prestatieverbetering tot aan pixel-tokenisatie, waardoor visuele modellen zonder compressie effectiever kunnen worden.

De kern

Stel je voor dat je een schilderij bekijkt. De kunstenaar heeft elke penseelstreek met zorg gemaakt, van de kleinste details tot de grote vormen.

Voor de meeste moderne kunstenaars (in dit geval: kunstmatige intelligentie) die naar deze schilderijen kijken, is het echter te veel werk om naar elk detail te kijken. Dus, in plaats van het hele schilderij in één keer te bekijken, knippen ze het in grote, vierkante stukken (zoals een puzzel). Ze kijken alleen naar het gemiddelde van elk stukje. Dit noemen ze in de tech-wereld "patchification".

Deze methode werkt snel en bespaart veel energie, maar het heeft een groot nadeel: je mist de fijne details. Het is alsof je een foto van een gezicht bekijkt, maar je kijkt alleen naar vierkante blokjes van 16 bij 16 pixels. Je ziet misschien dat er een neus is, maar je mist de vorm van de neusvleugels of de textuur van de huid.

Wat hebben deze onderzoekers ontdekt?

De onderzoekers van dit paper hebben een interessante vraag gesteld: "Wat gebeurt er als we stoppen met die grote blokjes en in plaats daarvan naar elk individueel 'pixel' kijken?"

Ze hebben een nieuwe wet ontdekt, die ze de "Patchification Scaling Law" noemen. Hier is de uitleg in simpele taal:

1. Hoe kleiner de blokjes, hoe slimmer de AI

Stel je voor dat je een boek leest.

• De oude manier: Je leest het boek, maar je mag alleen elk woord samenvatten tot één letter. Je leest "H-e-l-e" in plaats van "H-e-l-l-o". Je begrijpt de tekst, maar je mist de nuances.
• De nieuwe manier: Je leest het boek letter voor letter, zonder iets weg te laten.

De onderzoekers hebben getest wat er gebeurt als ze de grootte van die "blokjes" (de patch) kleiner maken. Ze begonnen met grote blokjes (16x16 pixels) en maakten ze steeds kleiner: 8x8, 4x4, 2x2, en uiteindelijk 1x1 (elk individueel puntje op het scherm).

Het resultaat was verrassend: Hoe kleiner de blokjes, hoe beter de AI werd. Zelfs bij de kleinste maat (1 pixel) bleef de prestatie verbeteren. Het leek erop dat de AI eindelijk alle informatie kon gebruiken die er eigenlijk in het beeld zat.

2. Een foto is meer dan 50.000 woorden

In de wereld van AI wordt een afbeelding vaak omgezet in een reeks "woorden" (tokens) die de computer begrijpt.

• Met de oude methode (grote blokjes) werd een foto omgezet in ongeveer 196 "woorden".
• Met de nieuwe methode (1 pixel per token) werd dezelfde foto omgezet in 50.176 "woorden".

Dat klinkt als een enorme hoeveelheid informatie om te verwerken, maar de onderzoekers hebben bewezen dat het kan. Ze lieten een AI-model een foto zien die bestond uit 50.000 losse stukjes informatie, en het model werd hierdoor slimmer dan ooit tevoren. Het haalde een score van 84,6% op een bekende test (ImageNet), wat een zeer hoog niveau is.

3. Je hebt geen "vertaler" meer nodig

Bij de oude methode was het zo dat de AI het beeld in grote blokjes zag, en daarna een extra "hoofd" (een decoder) nodig had om die ruwe informatie weer om te zetten in een fijn beeld (bijvoorbeeld voor het herkennen van objecten of het kleuren van een kaart).

De onderzoekers ontdekten iets fascinerends: Als je de AI direct laat kijken naar de kleine pixels, heeft die extra "vertaler" bijna geen nut meer.
De AI kan de details zelf al zo goed zien, dat de extra stappen overbodig worden. Het is alsof je een vertaler nodig hebt om een gesprek te voeren, maar als je zelf de taal perfect spreekt, kun je het gesprek direct voeren zonder tussenpersoon.

Waarom hebben we dit niet eerder gedaan?

Je vraagt je misschien af: "Waarom doen we dit niet altijd al?"
Het antwoord is simpel: Rekenkracht.

Vijf jaar geleden was het te duur en te traag om naar 50.000 stukjes tegelijk te kijken. Het was alsof je probeerde een hele bibliotheek in één seconde te lezen; je computer zou het niet aankunnen.
Maar dankzij snellere computers (zoals de nieuwste grafische kaarten) en slimme nieuwe algoritmen, is het nu mogelijk om deze "overkill" aan informatie te verwerken. De onderzoekers zeggen eigenlijk: "We hebben nu genoeg kracht om de volledige foto te zien, dus laten we stoppen met het weglaten van details."

De conclusie in één zin

Deze paper zegt dat we in de toekomst van beeldherkenning moeten stoppen met het "samenvatten" van afbeeldingen in grote blokjes. In plaats daarvan moeten we leren van elk individueel puntje op het scherm. Hoe meer details we toestaan, hoe slimmer de computer wordt, en hoe minder complexe extra stappen we nodig hebben.

Het is een oproep om de "pixel" te eren: Eén pixel is meer waard dan je denkt.

Technische samenvatting

Probleemstelling

Sinds de introductie van de Vision Transformer (ViT) is patchificatie (het verdelen van een afbeelding in niet-overlappende blokken of 'patches') de de facto standaard voor het tokeniseren van beelden in visuele architecturen. De huidige aanpak gebruikt doorgaans een patchgrootte van 16x16 pixels. Dit dient als een compressieve coderingsparadigma: het reduceert de ruimtelijke grootte van de afbeelding om de token-sequentie te verkorten en de rekenkosten (vooral bij self-attention, die kwadratisch schaalt met de sequentielengte) beheersbaar te houden.

De auteurs stellen echter dat deze compressie irreversibele informatieverlies veroorzaakt. Een visuele input (bijv. 224x224 pixels) bevat veel meer informatie dan een tekst van 196 woorden, maar onder een ViT met 16x16 patches wordt de representatieruimte van beide gelijk gemaakt. De paper onderzoekt of deze noodzaak tot compressie een fundamentele beperking is of slechts een compromis vanwege beperkte rekenkracht, en of het verkleinen van de patchgrootte kan leiden tot betere prestaties.

Methodologie

De auteurs hebben uitgebreide schalingsexperimenten uitgevoerd waarbij ze de patchgrootte systematisch verkleinden van de standaard 16x16 tot aan de limiet van 1x1 (pixel-tokenisatie).

• Architecturen: Er werden twee verschillende visuele encoders gebruikt om de generaliseerbaarheid te waarborgen:
  1. ViT (Vision Transformer): Gebruikt voor kortere sequenties (tot ~4.096 tokens) vanwege de kwadratische complexiteit van self-attention.
  2. Adventurer: Een recente architectuur gebaseerd op Mamba (State Space Models) met lineaire complexiteit. Dit maakt het mogelijk om zeer lange sequenties (tot 50.000+ tokens) te verwerken binnen redelijke rekenkracht.
• Taken: De experimenten omvatten vier visuele taken:
  • Beeldclassificatie (ImageNet-1k).
  • Semantische segmentatie (ADE20k).
  • Objectdetectie en instance segmentatie (COCO).
• Vergelijking: Er werd gekeken naar het effect van het verkleinen van de patchgrootte versus het vergroten van het aantal parameters (traditionele scaling) en het vergroten van de invoergrootte. Ook werd onderzocht of specifieke decoder-heads nog nodig zijn bij zeer kleine patches.

Belangrijkste Bijdragen en Ontdekkingen

1. De "Patchification Scaling Law":
   De paper introduceert een nieuwe schalingswet voor visuele modellen. In tegenstelling tot de intuïtie dat kleinere patches (meer tokens) te duur zijn, ontdekten de auteurs dat het verkleinen van de patchgrootte consistent leidt tot verbeterde voorspellende prestaties. De testfout (test loss) neemt soepel af naarmate de patchgrootte kleiner wordt, tot aan de limiet van 1x1 (pixel-tokenisatie). Dit geldt voor diverse taken, invoerschalen en architecturen.

2. Pixel-tokenisatie en Lange Sequenties:
   Door de patchgrootte te verkleinen tot 1x1, werd een visuele sequentielengte van 50.176 tokens bereikt voor een 224x224 invoer. Met een "base-sized" model (Adventurer-Base) werd hiermee een testnauwkeurigheid van 84,6% op ImageNet-1k bereikt, een significant verbetering ten opzichte van de standaard 16x16 patch (82,6%). Dit bewijst dat visueel begrip effectief kan plaatsvinden in zeer lange contexten zonder compressie.

3. Verminderde afhankelijkheid van Decoders:
   Een opvallende bijvangst is dat bij zeer kleine patches (pixel-niveau) de noodzaak van task-specifieke decoder-heads (zoals UperNet voor segmentatie) sterk afneemt. De auteurs vonden dat een encoder-only model, zelfs zonder complexe decoder, concurrerende resultaten boekte op semantische segmentatie. Dit suggereert dat de encoder zelf, bij voldoende lage compressie, voldoende fijnkorrelige features levert voor dichte voorspellingstaken.

4. Informatie vs. Representatieruimte:
   Ablatiestudies toonden aan dat de prestatiewinst voornamelijk komt door het ontsluiten van visuele informatie die eerder verloren ging door compressie, en niet puur door het vergroten van de sequentielengte zelf. Het simpelweg interpoleren van tokens (sequentielengte vergroten zonder nieuwe informatie) leverde nauwelijks winst op.

Resultaten

• ImageNet-1k: Een stijgende lijn in nauwkeurigheid van ~81,8% (16x16) naar 84,6% (1x1) met Adventurer-Base.
• Semantische Segmentatie (ADE20k): De mIoU (mean Intersection over Union) steeg consistent naarmate de patchgrootte kleiner werd (bijv. van 45,7% naar 46,8% voor Adventurer-B).
• Objectdetectie (COCO): Ook hier werd de beste performance bereikt bij de kleinste haalbare patchgrootte (2x2), met significante verbeteringen in AP (Average Precision) ten opzichte van 16x16 baselines.
• Efficiëntie: Hoewel de FLOPs (rekenkosten) toenemen bij kleinere patches, biedt deze methode een betere trade-off tussen rekenkosten en nauwkeurigheid dan het simpelweg vergroten van het model (parameter scaling), waarbij de prestaties vaak stagneren of instorten bij zeer grote modellen.

Betekenis en Conclusie

De paper daagt het fundamentele ontwerpprincipe van moderne visuele modellen uit. Het toont aan dat patchificatie geen noodzakelijk onderdeel is voor effectieve visuele encoding, maar eerder een historisch compromis was vanwege beperkte rekenkracht en geheugen.

Met de snelle vooruitgang in hardware (zoals A100 GPU's) en efficiënte architecturen (zoals Mamba), is het nu haalbaar om niet-compressieve visuele foundation modellen te bouwen die leren van elke pixel ("a pixel is worth a token"). Dit opent de weg voor een nieuwe generatie visuele modellen die:

1. Geen informatie verliezen door compressie.
2. Minder afhankelijk zijn van complexe decoder-architecturen.
3. Schalen via een nieuwe dimensie: het verkleinen van de patchgrootte in plaats van alleen het vergroten van het model.

De auteurs concluderen dat de toekomst van visuele representatielearning ligt in het volledig benutten van de data-informatie door de compressie te minimaliseren of te elimineren.