IDPruner: Harmonizing Importance and Diversity in Visual Token Pruning for MLLMs

Probleemstelling

Multimodale Grootte Taalmodellen (MLLMs) hebben indrukwekkende prestaties geleverd, maar kampen met aanzienlijke computatiekosten door de enorme hoeveelheid visuele tokens die nodig zijn om afbeeldingen of video's te verwerken. Bijvoorbeeld, een enkele 1080p-afbeelding kan duizenden tokens genereren.
Bestaande oplossingen voor visuele token pruning (het verwijderen van minder belangrijke tokens om de inferentie te versnellen) vallen doorgaans in twee categorieën:

1. Importance-based (Belang): Selecteert tokens op basis van hun salientie (bijv. voorgrondobjecten), maar negeert vaak de achtergrondcontext die essentieel is voor globale redenering.
2. Diversity-based (Diversiteit): Probeert redundante tokens te verwijderen om een brede semantische dekking te behouden, maar riskeert het behoud van taak-irrelevante ruis en het verlies van fijne details.

Huidige hybride methoden combineren deze twee criteria vaak op een intuïtieve manier zonder een fundamenteel raamwerk voor hun optimale integratie, wat leidt tot suboptimale prestaties.

Methodologie: IDPruner

De auteurs introduceren IDPruner, een nieuwe pruning-strategie die een systematische afweging maakt tussen token-importance en semantische diversiteit. De kern van de methode is het toepassen van het Maximal Marginal Relevance (MMR) algoritme, oorspronkelijk ontwikkeld voor informatiewinning, op het domein van visuele token selectie.

Kerncomponenten:

1. Systematische Analyse: De auteurs analyseren de trade-off tussen het behoud van belangrijke tokens en het minimaliseren van clustering (redundantie). Ze definiëren diversiteit via de Hopkins Statistic, waarbij een lage waarde wijst op een goed verdeelde, diverse selectie.
2. MMR-mechanisme: In plaats van tokens eerst te filteren op belang en daarna op diversiteit (een tweestapsproces), optimaliseert IDPruner beide doelen simultaan. Het algoritme selecteert iteratief de token $v^*$ die het volgende doelwit maximaliseert:
   $$v^* = \arg \max_{v_i \in V \setminus S} [\lambda \cdot \text{Imp}(v_i) - (1 - \lambda) \cdot \max_{v_j \in S} \text{Sim}(v_i, v_j)]$$
   Waarbij:
   • $\text{Imp}(v_i)$ de genormaliseerde belangrijkheidsscore is.
   • $\text{Sim}(v_i, v_j)$ de cosine-achtige gelijkenis is tussen de kandidaat en reeds geselecteerde tokens.
   • $\lambda$ een hyperparameter is die de balans bepaalt tussen belang en diversiteit.
   • De term met de gelijkenis fungeert als een "straf" (penalty) voor tokens die semantisch te veel lijken op al geselecteerde tokens.
3. Efficiëntie en Compatibiliteit:
   • Geen Attention Maps: IDPruner vereist geen attention-maps van het model, wat volledige compatibiliteit garandeert met FlashAttention.
   • One-shot Pruning: De pruning vindt plaats in één keer aan het begin van de inferentie (early stage), in plaats van dynamisch tijdens de generatie. Dit maakt integratie met inferentie-engines zoals vLLM eenvoudiger en efficiënter.
   • Complexiteit: Door een efficiënte update-strategie voor de gelijkenismatrix wordt de rekencomplexiteit verlaagd van $O(K^2N)$ naar $O(KN)$.

Belangrijkste Bijdragen

1. Systematische Analyse: Een theoretisch raamwerk dat de trade-off tussen token-importance en semantische diversiteit kwantificeert en aantoont dat bestaande methoden dit niet optimaal balanceren.
2. IDPruner Framework: De toepassing van het MMR-algoritme op visuele token pruning, wat een Pareto-optimale balans bereikt tussen het behoud van cruciale informatie en het verminderen van redundantie.
3. State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat de methode superieur is aan bestaande hybride en enkelvoudige methoden, met name onder extreme compressie.
4. Praktische Toepasbaarheid: De methode is ontworpen voor snelle implementatie zonder extra trainingskosten (trainable scorer is optioneel, maar de pruning-logica is trainingsvrij) en is volledig compatibel met moderne hardware-acceleratie (FlashAttention).

Resultaten

De auteurs hebben IDPruner getest op diverse modellen (Qwen2.5-VL, LLaVA-1.5, LLaVA-OneVision) en benchmarks (MMBench, MME, OCRBench, Video-benchmarks).

• Qwen2.5-VL-7B-Instruct:
  • Bij het behouden van slechts 25% van de tokens (75% pruning): 95,18% van de baseline prestatie.
  • Bij extreme compressie (10% tokens behouden, 90% pruning): 86,40% van de baseline prestatie. Dit is aanzienlijk beter dan concurrenten zoals VisionSelector of SCOPE.
• LLaVA-1.5-7B: IDPruner behaalt consistent de beste resultaten over alle pruning-ratio's (van 128 tot 32 tokens), zelfs waar andere hybride methoden falen.
• Video-Verstaan: Op video-benchmarks (Vinoground, VideoMME) presteert IDPruner het beste (87,13% gemiddeld), omdat het in staat is om zowel tijdelijke redundantie te verminderen als belangrijke details te behouden, in tegenstelling tot puur importance-based methoden die hier sterk achteruitgaan.
• Efficiëntie: IDPruner toont de laagste prefill-tijd en end-to-end latentie onder hybride methoden dankzij FlashAttention-compatibiliteit.

Betekenis en Conclusie

IDPruner biedt een fundamentele doorbraak in het efficiënt maken van MLLMs. Door de integratie van belang en diversiteit te formaliseren via MMR, lost het paper het probleem op dat bestaande methoden vaak eenzijdig zijn (ofwel te gefocust op voorgrond, ofwel te willekeurig).

De methode is niet alleen theoretisch onderbouwd, maar ook praktisch zeer waardevol omdat het:

• De inferentie-snelheid aanzienlijk verhoogt zonder kwaliteitsverlies.
• Werkt met de nieuwste en meest geavanceerde modelarchitecturen.
• Geen extra trainingsstap vereist voor de pruning-logica zelf.
• Volledig compatibel is met de huidige standaard voor snelle attention-berekeningen (FlashAttention).

Dit werk legt de basis voor toekomstige, schaalbare en efficiënte multimodale systemen die zowel snel als nauwkeurig kunnen redeneren over visuele data.