Technische Samenvatting: TOPS - First-Principles Visuele Token Pruning

1. Probleemstelling

Multimodale Large Language Models (MLLM's) hebben significante vooruitgang geboekt in redeneren en begrip, maar lijden onder een hoge computationele en geheugenoverhead. Deze inefficiëntie komt voort uit het grote aantal visuele tokens dat gegenereerd wordt tijdens de tokenisatie, die door alle transformer-lagen worden verwerkt. Omdat self-attention mechanismen kwadratisch schalen met de sequentielengte, creëren hoog-resolutie afbeeldingen en video-inputs substantiële bottlenecks.

Bestaande methoden voor visuele token pruning proberen dit te mitigeren door redundante tokens te verwijderen, maar vertrouwen op heuristische score-schema's in plaats van een principieel doel. Huidige benaderingen vallen over het algemeen uiteen in drie categorieën, die elk specifieke beperkingen hebben:

• Attention-gebaseerde methoden: Behouden tokens met hoge attention-scores, maar bewaren vaak semantisch redundante tokens.
• Diversiteit-gebaseerde methoden: Stimuleren semantische dispersie, maar zijn vaak ongevoelig voor gebruikersinstructies, waardoor potentieel taalkritische bewijslast wordt weggegooid.
• Gecombineerde methoden: Hoewel ze meerdere criteria integreren, ontbreekt het hen aan een fundamentele formulering van het intrinsieke doel van token pruning; ze behandelen het louter als een rankingsprobleem zonder theoretische rechtvaardiging waarom specifieke criteria voldoende zijn.

2. Methodologie: First-Principles Formulering

De auteurs stellen TOPS (Token Optimal Preservation Sets) voor, een training-vrije en model-agnostische pruning-module afgeleid vanuit een first-principles perspectief met behulp van informatietheorie.

2.1 Theoretische Fundering

Het kerndoel van token pruning wordt gedefinieerd als het vinden van een deelverzameling $S \subseteq V$ (waarbij $V$ de volledige verzameling visuele tokens is) die de wederzijdse informatie tussen de deelverzameling en de gezamenlijke distributie van de visuele tokens en de tekstuele query $Q$ maximaliseert:
$$\max_{S \subseteq V, |S| \le K} I(S; V, Q)$$

Door de ketenregel van wederzijdse informatie toe te passen, deconstrueren de auteurs dit doel in drie fundamentele principes:

1. Taakrelevantie ($I(S; Q)$): De deelverzameling moet informatief zijn met betrekking tot de gebruikersquery.
2. Informatie-dekking ($I(S; V | Q)$): De deelverzameling moet voldoende informatie behouden over de oorspronkelijke visuele verzameling $V$ gegeven de query, waarbij de conditionele entropie $H(V | S, Q)$ wordt geminimaliseerd.
3. Semantische Diversiteit: Afgeleid van de bovengrens van conditionele wederzijdse informatie, dicteert dit principe dat tokens bij een vast budget semantisch verschillend moeten zijn van reeds geselecteerde tokens om de informatiewinst te maximaliseren.

2.2 Het TOPS Algoritme

TOPS construeert de optimale token-deelverzameling gulzig (greedily) bij elk pruning-punt. Het proces omvat:

1. Scoring: Voor elke kandidaat-token $i$ berekent het algoritme:
   • Taakrelevantie ($r_i$): Geschat via text-rater attention (of CLS attention in de vroege stadia).
   • Informatie-dekking ($c_i$): Berekend op basis van de maximale gelijkenis tussen de kandidaat en de resterende niet-geselecteerde tokens, aangepast door de gelijkenis met reeds geselecteerde tokens.
   • Semantische Diversiteit ($d_i$): Gemeten als $1 - \max_{j \in S} \text{sim}(h_i, h_j)$, wat ervoor zorgt dat de nieuwe token onderscheidend is van de huidige verzameling.
2. Selectie: Het algoritme combineert deze scores in een informatie-preservatie score:
   $$\tilde{g}_{info_i} = \tilde{r}_i + \lambda \tilde{c}_i(U) + \alpha \tilde{d}_i(S)$$
   waarbij $\alpha$ en $\lambda$ balansfactoren zijn. De token die deze score maximaliseert, wordt toegevoegd aan de deelverzameling $S$.
3. Multi-Stage Pipeline: Om fijnmazige reductie aan te pakken, is TOPS geïmplementeerd in twee stadia:
   • Stadium I: Toegepast na de multimodale projector maar vóór de LLM. Het gebruikt CLS attention voor relevantie om grove redundantie te verwijderen.
   • Stadium II: Toegepast binnen de LLM op aangewezen lagen. Het maakt gebruik van de LLM's text-to-visual attention voor tekst-bewuste verfijning.

3. Belangrijkste Bijdragen

1. First-Principles Perspectief: Het artikel herdefinieert token pruning niet als een heuristisch rankingsprobleem, maar als een optimaal deelverzameling-selectieprobleem geworteld in de informatietheorie.
2. Drie Fundamentele Principes: De identificatie en formalisering van Taakrelevantie, Informatie-dekking en Semantische Diversiteit als de noodzakelijke voorwaarden voor effectieve pruning.
3. TOPS Module: Een plug-and-play, training-vrije en model-agnostische pruning-algoritme dat dynamisch Token Optimal Preservation Sets construeert.
4. Uitgebreide Validatie: Omvattende experimenten over 7 MLLM-backbones (inclusief LLaVA-1.5, LLaVA-NeXT, Qwen2.5-VL, InternVL3 en LLaVA-Video) en 14 diverse benchmarks.

4. Experimentele Resultaten

De auteurs rapporteren dat TOPS consistent beter presteert dan state-of-the-art methoden (bijv. FastV, VisionZip, DivPrune, SCOPE) over verschillende compressieratio's en modelarchitecturen.

• LLaVA-NeXT: Op het 7B-model verwijdert TOPS 77,8% van de visuele tokens terwijl het 100,0% van de oorspronkelijke prestaties behoudt. Bij hogere compressie (88,9% en 94,4% reductie) behoudt het respectievelijk 99,1% en 96,4% prestaties.
• LLaVA-1.5: Bij 77,8% compressie behoudt TOPS 98,3% prestaties, waarmee het de op één na beste methode (SCOPE) met 0,5% verslaat. Zelfs bij extreme compressie (94,4% reductie, 32 tokens over) behoudt het 94,6% prestaties.
• Geavanceerde Architecturen: Op Qwen2.5-VL-7B en InternVL3-8B bereikt TOPS de hoogste nauwkeurigheid over alle geteste pruning-ratio's, wat de architectuur-agnostische effectiviteit aantoont.
• Video Begrip: Op LLaVA-Video met 64 frames behoudt TOPS 98,4% prestaties bij een reductie van 62,1% aan tokens en 92,3% bij een reductie van 90,5%, wat aanzienlijk beter is dan baselines zoals FastV.
• Efficiëntie: TOPS bereikt bijna een 10x reductie in FLOPs en vermindert het GPU-geheugengebruik met 1,9 GB vergeleken met de baseline, met significante verbeteringen in prefill-latentie.
• Mitigatie van Hallucinaties: Opvallend genoeg vertoont TOPS op de HallusionBench een sterkere weerstand tegen hallucinaties, wat suggereert dat het verwijderen van redundante tokens soms de redeneergetrouwheid kan verbeteren.

5. Betekenis en Claims

Het artikel claimt dat effectieve token pruning niet uitsluitend moet vertrouwen op heuristische belangrijkheidsscores, maar gezamenlijk taak-relevante, representatieve en niet-redundante visuele informatie moet behouden. Door pruning te formuleren als een informatietheoretisch optimalisatieprobleem, biedt TOPS een principieel fundament voor efficiënte multimodale inferentie.

De auteurs suggereren dat hun werk richtlijnen biedt voor toekomstig lichtgewicht MLLM-ontwerp, waarbij zij opmerken dat agressieve pruning soms hallucinaties kan verminderen. Ze erkennen echter ook beperkingen, waaronder de computationele overhead van de gulzige constructielus ($O(KN)$), de afhankelijkheid van attention-mechanismen voor relevantiesignalen, en het gebruik van vaste hyperparameters over lagen en taken heen. Ze merken ook op dat het framework nog niet systematisch is geëvalueerd in zeer gespecialiseerde domeinen zoals medische beeldvorming of dense captioning.