Technische Samenvatting: Hoeveel informatie kan een visuele token bevatten?

Probleemstelling

De escalerende vraag naar begrip van lange contexten in Large Language Models (LLM's) wordt beperkt door de kwadratische computationele complexiteit van self-attention mechanismen. Hoewel technieken voor contextcompressie bestaan, verwerpt het uitsluitend vertrouwen op tekstuele modaliteiten kritieke ruimtelijke en structurele semantiek (bijv. tabeluitlijning, hiërarchische lay-outs). Recente visus-gecentreerde benaderingen, zoals DeepSeek-OCR, coderen gerenderde tekstafbeeldingen in continue visuele tokens om deze semantiek te behouden terwijl het aantal tokens wordt verminderd.

Het beschouwen van de visuele encoder als een verliesgevend kanaal met een eindige capaciteit roept echter een fundamentele, nog niet verkende vraag op: Wat is de bovengrens van de semantische informatie die in visuele tokens kan worden gecomprimeerd? In tegen tegenstelling tot discrete teksttokenisatie (bijv. BPE), die een foutloze reconstructie garandeert, worden visuele encoders geconfronteerd met een afweging tussen computationele efficiëntie (minimaliseren van het aantal tokens) en representatiecapaciteit. Als de informatiedichtheid per token de limiet van de encoder overschrijdt, faalt de herkenning. Dit onderzoek onderzoekt de kwantitatieve relatie tussen de hoeveelheid informatie binnen een afbeelding en het aantal visuele tokens dat wordt gebruikt om deze te coderen, met als doel de capaciteitslimieten van visuele tokens te identificeren.

Methodologie

Experimentele Opzet

Om de capaciteitslimieten van visuele tokens te isoleren van linguïstische priors, ontwierpen de auteurs een gecontroleerde stress-test:

• Data Synthese: Teksten uit zes diverse domeinen (Romans, Wetgeving, Economie, Geneeskunde, Kranten, Brieven) werden verzameld. Een Block-wise Shuffling strategie werd toegepast, waarbij tekst in blokken werd gesegmenteerd, willekeurig werd gesampled en werd samengevoegd. Dit dwingt het model om te vertrouwen op visuele perceptie in plaats van het voorspellen van het volgende token op basis van semantische context.
• Typografische Controle: Typografische parameters (lettergrootte, regel- en karakterafstand) werden aangepast om variërende dichtheden te simuleren. Een dynamisch lay-outalgoritme zorgde ervoor dat afbeeldingen een aspectratio tussen 0,9 en 1,1 behielden.
• Modellen: Het primaire model was DeepSeek-OCR, gekozen vanwege de mogelijkheid om het budget aan visuele tokens te controleren via de invoerresolutie. Om de generaliseerbaarheid te verifiëren, evalueerde de studie ook InternVL3.5-8B (Tile-based High-Resolution strategie) en Qwen2.5-VL-8B (Native Dynamic/NaViT strategie).
• Metrieken: De kwaliteit van de herkenning werd gemeten met behulp van de Edit Distance (ED) tussen de voorspelde sequentie en de grondwaarheid.

Onderzoek naar Falingsmechanismen

De auteurs analyseerden de prestaties over toenemende tekstlengtes (informatiehoeveelheid) bij vier resoluties ($R \in \{512, 640, 1024, 1280\}$) om de overgang van stabiliteit naar instorting te karakteriseren.

1. Ruimtelijke Uitlijningsgevoeligheid (Zone I): Om te testen of fouten te wijten waren aan de misuitlijning van Vision Transformer (ViT) patches, werd een Pixel-Shift Perturbation experiment uitgevoerd. Afbeeldingen werden verschoven met sub-patch strides om de optimale uitlijning te vinden.
2. Capaciteit versus Leesbaarheid (Zone II): Om onderscheid te maken tussen de grenzen van visuele leesbaarheid (tekens die te klein worden) en de limieten van de informatiecapaciteit, werd een Visual Density Alignment experiment uitgevoerd. Afbeeldingen uit de stabiele fase en de instortingsfase werden opnieuw geschaald naar een vast canvas om een identieke karakter-pixel-dichtheid te garanderen, waardoor de variabele van de totale informatiehoeveelheid werd geïsoleerd.

Probabilistische Schalingswet

De auteurs formuleerden een model dat de Gemiddelde Visuele Token Load ($G$) (tekens per token) en Visuele Dichtheid ($V$) (regels per ViT patch) verenigt in een Latente Moeilijkheidsgraad ($Z$) metriek:
$$Z = w_0 + a \log V + \alpha \log G$$
Een mengmodel werd gebruikt om de waarschijnlijkheid te voorspellen van het betreden van een "Collapse Mechanism", waarbij de overgang als een probabilistisch proces werd behandeld.

Belangrijkste Resultaten

1. Fase-transitie Fenomeen

De studie identificeerde een duidelijk driefasig gedrag in de herkenningsprestaties naarmate de informatiehoeveelheid toeneemt:

• Stabiele Fase: Bijna nul ED. Het model reconstrueert de tekst succesvol.
• Instabiliteitsfase: Een regio van hoge variantie waar ED drastisch fluctueert voor identieke tekstlengtes.
• Instortingsfase (Collapse Phase): Een "Hard Wall" waar ED abrupt stijgt (>0,6), wat duidt op een totaal falen van de reconstructie van de inhoud.

2. Falingsmechanismen

• Instabiliteit is Omkeerbaar: Het Pixel-Shift experiment bevestigde dat fouten in de Instabiliteitsfase worden veroorzaakt door ruimtelijke uitlijningsgevoeligheid in de ViT patch-partitionering. Het verschuiven van de afbeelding om tekens uit te lijnen met de patchgrenzen herstelde de prestaties vaak naar een foutniveau van bijna nul.
• Instorting is Onomkeerbaar: Het Visual Density Alignment experiment weerlegde de "Visual Legibility Hypothesis". Zelfs wanneer tekens op dezelfde visuele schaal werden gerenderd, faalden monsters in de Instortingsfase terwijl stabiele monsters slaagden. Dit bevestigt dat de instorting wordt gedreven door een informatiecapaciteitslimiet, waarbij het vaste aantal visuele tokens de semantische payload niet kan coderen.

3. Universele Schalingswet

• Resolutie-onafhankelijkheid: De breedte van de Instabiliteitsfase is schaalinvariant en beslaat consistent een benaderende 2,2× range in tekstlengte over alle resoluties.
• Dominantie van de Load: De schalingsexponent voor de token load ($\alpha \approx 5,53$) is bijna het dubbele van die van de visuele dichtheid ($a \approx 2,91$), wat aangeeft dat de totale tekstlengte (informatiehoeveelheid) een sterkere voorspeller van falen is dan de lokale karakterdichtheid.
• Generaliseerbaarheid: De probabilistische schalingswet, met vaste schalingsexponenten afgeleid van DeepSeek-OCR, voorspelde succesvol de fase-transities in InternVL3.5-8B en Qwen2.5-VL-8B, wat suggereert dat deze limieten inherent zijn aan de huidige ViT-gebaseerde visuele tokenisatie.

Betekenis en Claims

Het artikel beweert de eerste systematische studie te zijn naar de informatiecapaciteitslimieten van visuele tokens. De belangrijkste bijdragen zijn:

1. Definiëren van de "Hard Wall": Het vaststellen dat visuele tokens een eindige informatiecapaciteit hebben, waarboven de herkenning onomkeerbaar instort, wat verschilt van louter visuele vervaging of uitlijningsproblemen.
2. Mechanistisch Onderscheid: Het scheiden van omkeerbare fouten (veroorzaakt door ViT-grid misuitlijning) van onomkeerbare fouten (veroorzaakt door uitputting van de capaciteit).
3. Praktische Richtlijnen: De voorgestelde probabilistische schalingswet biedt een instrument om de maximale informatiehoeveelheid te schatten die een visueel tokenbudget kan verwerken. Dit maakt "content-aware" inferentie mogelijk, waarbij tokenbudgetten of resoluties dynamisch kunnen worden aangepast op basis van de documentdichtheid om de efficiëntie-nauwkeurigheid afweging te optimaliseren.

De auteurs concluderen dat hoewel visus-gecentreerde compressie een veelbelovend paradigma is voor long-context modellering, het gebonden is aan intrinsieke informatiegrenzen die expliciet gemodelleerd en geoptimaliseerd moeten worden in toekomstige VLM-architecturen. De studie merkt beperkingen op met betrekking tot de focus op Engelse tekst en ViT-gebaseerde architecturen, wat suggereert dat talen met een hogere karakterdichtheid of fundamenteel andere tokenisatiemechanismen verschoven capaciteitslimieten kunnen vertonen.