Technische Samenvatting: OccamToken

Probleemstelling

Vision-Language Models (VLM's) vertrouwen op lange sequenties van visuele tokens om afbeeldingen te coderen, wat leidt tot aanzienlijke rekenkundige en geheugenoverhead tijdens de prefill-fase en autoregressieve decoding. Bestaande methoden voor compressie van visuele tokens volgen overwegend een paradigma van absolute rangschikking: ze toewijzen belangrijkheidsscores aan tokens en behouden een vaste subset van de top-$K$. De auteurs betogen dat dit paradigma fundamenteel broos is om twee redenen:

1. Aandachtssinks: Tokens met weinig informatie (vaak uitschieters met hoge normen) kunnen excessieve aandachtsmassa absorberen, waardoor de rangschikking van de belangrijkheid van echt informatieve tokens wordt vervormd en de scoreverdeling wordt samengedrukt.
2. Statisch budget-mismatch: Een vaste cutoff van top-$K$ kan niet adaptief omgaan met de variatie in verdeling van aandachtsscores per steekproef. Het houdt geen rekening met afbeeldingsredundantie of vraagafhankelijke eisen aan bewijs, waardoor vaak redundante tokens in eenvoudige gevallen worden behouden terwijl kritiek bewijs in complexe gevallen wordt verworpen.

Bovendien vereisen bestaande adaptieve methoden vaak extra training of vertrouwen op zwak responsieve, training-vrije statistieken die de vraag-geconditioneerde behoeften aan bewijs niet volledig vastleggen.

Methodologie: OccamToken

De auteurs stellen OccamToken voor, een training-vrij, budget-adapterend raamwerk dat absolute tokenrangschikking vervangt door register-verankerde relatieve bewijstesten. Het kerninzicht is dat registertokens (geïntroduceerd in recente transformerstudies om aandachtssinks op te vangen) van nature patronen van aandacht met weinig informatie absorberen, waardoor ze een stabiele, niet-discriminerende referentie vormen voor het identificeren van echt informatief visueel bewijs.

Het raamwerk werkt in twee fasen:

1. Kernmechanisme: Relatieve Vergelijking

In plaats van te vragen "Is dit token in de top-$K$?", vraagt OccamToken: "Biedt dit token sterkere bewijzen dan het registertoken?"
De pruning-regel wordt gedefinieerd als:
$$S(x) = \{v \in V(x) \mid s_x(v) \ge \lambda \cdot s_x(r(x))\}$$
Waarbij $r(x)$ een steekproefafhankelijke referentietoken is (het register), $s_x$ de scoringsfunctie is en $\lambda$ de intensiteit van de pruning regelt. Dit zorgt ervoor dat het behouden tokenbudget dynamisch varieert op basis van de scoreverdeling van de invoer.

2. Pruning-pipeline in twee fasen

• Fase I: Afbeeldings-adapterende Redundantiepruning (AdapRP)

  • Locatie: Output van de Vision Encoder.
  • Mechanisme: Een test-tijd registertoken wordt geconstrueerd door hoge-norm "sink"-activaties van sparse neuronen om te leiden naar een dedicated registertoken. De [CLS]-token (of een wederzijdse scoringsmethode voor architecturen zonder [CLS]) scoort gezamenlijk alle visuele tokens en het registertoken.
  • Actie: Tokens die onder $\lambda_1 \cdot s_1(r)$ scoren, worden verwijderd. Dit verwijdert redundantie op afbeeldingsniveau voordat de tokens de Large Language Model (LLM) binnenkomen, waardoor een afbeeldings-adapterend tussenbudget ontstaat.

• Fase II: Register-verankerde Relevantiepruning (RegRP)

  • Locatie: Binnen de Language Model (op een specifieke decoderlaag, bijvoorbeeld laag 11).
  • Mechanisme: Teksttokens fungeren als vraag-geconditioneerde beoordelaars. Voor elke overlevende visuele token wordt de maximale aandacht ontvangen van teksttokens gebruikt als zijn score (om gelokaliseerde relevantie vast te leggen). De gemiddelde aandacht ontvangen door het registertoken van tekst dient als de dynamische drempel.
  • Actie: Tokens die onder $\lambda_2 \cdot s_2(r)$ scoren, worden verwijderd. Dit levert een vraag-adapterend eindbudget op, waarbij dezelfde afbeelding verschillende tokenaantallen kan opleveren afhankelijk van de specifieke gestelde vraag.

Belangrijkste Bijdragen

1. Register-verankerde Dynamische Drempelstelling: Een training-vrij mechanisme dat mitigatie van aandachtssinks koppelt aan adaptieve pruning. Door een registertoken in de aandachtscompetitie in te voegen, absorbeert het door sinks veroorzaakte vervorming en fungeert het als een verdelings-adapterende drempel.
2. OccamToken Framework: Een plug-and-play pruning-systeem in twee fasen dat redundantie op afbeeldingsniveau verwijdert gevolgd door relevantieselectie op vraagniveau, waardoor adaptieve toewijzing van tokens mogelijk is zonder geleerde voorspellers of extra trainingsdata.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat OccamToken state-of-the-art training-vrije en training-gebaseerde baselines overtreft op diverse architecturen (LLaVA-v1.5, LLaVA-NeXT, Qwen3-VL) en benchmarks (GQA, POPE, MME, enz.).

Experimentele Resultaten

• Afweging tussen Nauwkeurigheid en Efficiëntie: OccamToken verbetert de afweging consistent in vergelijking met vaste budgetten en andere adaptieve methoden.
• Extreme Compressie: Op LLaVA-NeXT (verwerking van 2.880 visuele tokens) reduceert OccamToken het tokenaantal tot ongeveer 40 tokens (een regime van 1,4% behoud) terwijl ruim 93% van de oorspronkelijke nauwkeurigheid met volledige tokens behouden blijft.
• Robuustheid: De methode behoudt een hoge relatieve nauwkeurigheid (bijvoorbeeld 97,2% op LLaVA-v1.5 met 32 tokens) en presteert aanzienlijk beter dan vaste budget-baselines in lage-budgetregimes waar het behoud van taakrelevante bewijzen cruciaal is.
• Efficiëntie: Door de visuele sequentielengte te verkorten, verlaagt OccamToken significant het geheugengebruik voor de KV-cache (bijvoorbeeld vermindering van 313 MB naar 47 MB op LLaVA-v1.5) en de prefill-latentie, hoewel het een kleine overhead introduceert voor de adaptieve scoringslogica.
• Generalisatie: De methode werkt effectief over op niet-LLaVA-architecturen (bijvoorbeeld Qwen3-VL, Mini-Gemini) en video-VLM's, wat aantoont dat het register-verankerde principe niet gekoppeld is aan specifieke tokeninterfaces.

Betekenis en Claims

Het artikel beweert dat referentie-gebaseerde adaptieve pruning een eenvoudige maar effectieve richting is voor schaalbare multimodale inferentie. Door te verschuiven van absolute rangschikking naar relatieve vergelijking tegen een register-anker, adresseert OccamToken de structurele tekortkomingen van aandachtssinks en statische budgetten zonder modelhertraining te vereisen. De auteurs benadrukken dat deze aanpak stabiele compressie van visuele tokens mogelijk maakt, zelfs in extreme regimes (1,4% behoud), terwijl het bewijs dat nodig is voor multimodaal redeneren behouden blijft.

Het werk positioneert OccamToken niet louter als een hulpmiddel voor latency-reductie, maar als een praktische oplossing voor het balanceren van nauwkeurigheid en efficiëntie, met name in scenario's voor implementatie met beperkte middelen waar het behoud van kritiek visueel bewijs van het grootste belang is. De auteurs erkennen beperkingen met betrekking tot de afhankelijkheid van het construeren van betrouwbare test-tijd registertokens voor specifieke Transformer-gebaseerde backbones, en suggereren dat toekomstig werk dit kan uitbreiden naar bredere multimodale architecturen.