DUET-VLM: Dual stage Unified Efficient Token reduction for VLM Training and Inference

1. Het Probleem

Visuele-taalmodellen (VLMs), zoals LLaVA, hebben indrukwekkende multimodale redeneercapaciteiten bereikt, maar lijden onder een enorme rekenkundige inefficiëntie. Dit komt door dichte visuele tokenisatie:

• Beelden genereren duizenden tokens (bijv. 576 tokens voor een standaardafbeelding in LLaVA-1.5, en meer dan 2.800 voor hogere resoluties in LLaVA-NeXT).
• Het aantal visuele tokens groeit kwadratisch met de resolutie ($H \times W$), terwijl tekst lineair groeit.
• Dit leidt tot een kwadratische toename van de aandachtskosten (attention cost) in transformer-architecturen, waardoor modellen geheugen- en latentie-beperkt worden.

Bestaande efficiëntie-methoden vallen vaak in twee valkuilen:

1. Te vroege samenvoeging: Methoden zoals VisionZip of PruMerge voegen tokens te vroeg samen, wat kan leiden tot informatieverlies.
2. Te uniforme verwijdering: Methoden zoals PyramidDrop of FitPrune verwijderen tokens te uniform of zonder semantische aanpassing, wat de nauwkeurigheid ten koste gaat van de snelheid.

2. Methodologie: DUET-VLM

Het paper introduceert DUET-VLM, een plug-and-play framework dat een tweestaps compressiestrategie combineert om redundantie te elimineren terwijl kritieke semantische informatie behouden blijft. Het werkt in twee complementaire fasen:

Fase 1: Vision-to-Vision (V2V) Merging (Visuele Encoder)

Voordat de visuele informatie de taalmodellen (LLM) bereikt, wordt er een redundante-aware compressie uitgevoerd:

• Dominante Tokens Selectie: Op basis van de zelf-aandachtskaart (self-attention map) van de visuele encoder (bijv. CLIP), worden de $k_1$ meest invloedrijke "dominante" tokens geselecteerd.
• Lokale Cluster Aggregatie: In plaats van alle resterende tokens globaal te middelen (wat belangrijke details kan verdunnen), worden de resterende tokens ($X_{res}$) opgesplitst in $k_2$ kleine clusters.
  • Centra van deze clusters worden gekozen op basis van hun rangschikking in de zelf-aandachtskaart.
  • Binnen elke cluster worden de tokens lokaal gemiddeld om één "contextuele token" te creëren.
  • Voordeel: Dit behoudt fijne details binnen lokale gebieden en verwijdert achtergrondruis eerder dan dat de tokens de taalbackbone bereiken.

Fase 2: Text-to-Vision (T2V) Pruning (Taal Backbone)

Nadat de gereduceerde visuele tokens de taalmodellen (LLM) binnenkomen, vindt er een dynamische, laag-voor-laag verwijdering plaats:

• Semantisch Geleide Verwijdering: In plaats van alleen het laatste teksttoken te gebruiken, selecteert het model saliente teksttokens (belangrijke woorden uit de prompt/vraag).
• Cross-Attention Scores: Op specifieke lagen van de LLM worden visuele tokens verwijderd op basis van hun cross-attention scores met deze saliente teksttokens.
• Progressieve Verdunning: Naarmate de redenering dieper gaat (naar hogere lagen), worden minder informatieve visuele tokens geleidelijk verwijderd. Dit zorgt ervoor dat de bovenste lagen zich alleen richten op semantisch relevante gebieden.

3. Belangrijkste Bijdragen

1. Gecombineerde Optimalisatie: DUET-VLM koppelt de visuele en taalbackbones via een differentieerbaar compressie-interface. Dit stelt het model in staat om visuele representaties en linguïstische context gezamenlijk aan te passen tijdens de tokenreductie.
2. Tweestaps Compressie: Het unificeren van V2V-merging (redundantievermindering) en T2V-pruning (semantische selectiviteit) in één framework. Dit lost het probleem op van eerdere methoden die slechts één richting optimaliseerden.
3. Uitzonderlijke Behoud van Nauwkeurigheid: Het framework behoudt >99% van de baseline-nauwkeurigheid bij een reductie van 67% in tokens, en >97% zelfs bij een extreme reductie van 89%.
4. Training en Inference: Het werkt effectief zowel voor "inference-only" scenario's als voor volledig getrainde modellen, waarbij het zelfs de trainingstijd met ~30% verkort.

4. Resultaten

De resultaten zijn getest op diverse benchmarks (POPE, GQA, TextVQA, MME, SQA) en modellen (LLaVA-1.5-7B, Qwen-2.5-VL-7B, Video-LLaVA-7B).

• LLaVA-1.5-7B (Inference):
  • Bij 192 tokens (67% reductie): 99,0% van de baseline-nauwkeurigheid.
  • Bij 64 tokens (89% reductie): 95,4% van de baseline-nauwkeurigheid.
  • Dit presteert beter dan state-of-the-art methoden zoals VisionZip, PyramidDrop en FitPrune.
• Training Efficiency:
  • Getrainde DUET-VLM modellen behalen 99,7% nauwkeurigheid bij 67% tokenreductie en 97,6% bij 89% reductie.
  • Er is een 31% reductie in trainingstijd bereikt zonder significante nauwkeurigheidsverlies.
• Video Begrip (Video-LLaVA-7B):
  • Bij 53,1% tokenreductie: >100% nauwkeurigheid (presteert beter dan de baseline).
  • Bij extreme 93,4% reductie: 97,6% nauwkeurigheid behouden.
• Generalisatie: De methode werkt ook effectief op nieuwere architecturen zoals Qwen-2.5-VL-7B.

5. Betekenis en Conclusie

DUET-VLM demonstreert dat slimme tokenbeheer een even krachtige strategie kan zijn als het simpelweg groter maken van modellen (scaling). Door redundantie zowel ruimtelijk (in de visuele encoder) als contextueel (in de taalbackbone) aan te pakken, kan men:

• De rekenkosten en latentie drastisch verlagen.
• De trainingstijd verkorten.
• De nauwkeurigheid behouden of zelfs verbeteren door ruis te verwijderen en de focus op relevante informatie te leggen.

Dit paper biedt een robuust pad naar compacte, hoogpresterende multimodale systemen die geschikt zijn voor real-world toepassingen waar rekenkracht en snelheid cruciaal zijn, zonder in te leveren op de kwaliteit van het redeneren. De code is beschikbaar gesteld voor hergebruik en verdere ontwikkeling.