MMTok: Multimodal Coverage Maximization for Efficient Inference of VLMs

Probleemstelling

Vision-Language Models (VLMs) zoals LLaVA en Qwen converteren visuele invoer naar "vision tokens" om deze te verwerken door Large Language Models (LLMs). Hoewel deze modellen indrukwekkende prestaties leveren, leidt de hoge redundantie in visuele tokens tot een aanzienlijke daling van de inferentie-efficiëntie.

• Oorzaak: In tegenstelling tot tekst, waar informatie sterk gecomprimeerd is, extraheren visuele encoders vaak duizenden tokens uit één afbeelding (bijv. 2.880 tokens voor een enkele afbeelding in LLaVA-NeXT, vergeleken met minder dan 10 teksttokens voor een prompt).
• Gevolg: Omdat LLMs gebaseerd zijn op self-attention mechanismen met een kwadratische rekenkosten ($O(N^2)$) ten opzichte van het totale aantal tokens, vertraagt de enorme hoeveelheid visuele tokens de inferentie aanzienlijk.
• Bestaande beperkingen: Bestaande methoden voor het reduceren van tokens (pruning) gebruiken vaak alleen unimodale informatie (alleen visueel of alleen tekst). Ze negeren de inherente multimodale aard van VLM-taken. Bijvoorbeeld, methoden die alleen kijken naar de tekst-instructie missen visuele details die niet expliciet in de tekst staan, en methoden die alleen op visuele diversiteit vertrouwen missen de specifieke semantische relatie met de gebruikersvraag.

Methodologie: MMTok

De auteurs stellen MMTok voor, een trainingsvrije (training-free) methode die gebruikmaakt van zowel visuele als tekstuele informatie om een informatieve subset van visuele tokens te selecteren. De kern van de methode is het formuleren van het selectieprobleem als een Maximum Coverage Problem.

1. Formulering als Maximum Coverage:
Het doel is om een subset $S$ van bron-tokens (visueel) te selecteren die de doel-tokens (tekst en/of origineel visueel) zo goed mogelijk "dekken" op basis van gelijkenis.

• De objectieve functie $f(S)$ maximaliseert de som van de maximale gelijkenis tussen elke doel-token en de geselecteerde bron-tokens.
• Deze functie is submodulair, wat betekent dat een eenvoudige gierige algoritme (greedy algorithm) een oplossing kan vinden die binnen een factor $(1 - 1/e)$ van de optimale oplossing ligt, ondanks dat het probleem NP-hard is.

2. Multimodale Dekking (Multimodal Coverage):
MMTok lost twee dekkingsproblemen simultaan op:

• Text-Vision Coverage (T-V): Selecteert visuele tokens die het meest relevant zijn voor de tekstuele instructie (query). Dit wordt berekend via een gelijkenismatrix tussen tekst-tokens en visuele tokens (na de projectielaag).
• Vision-Vision Coverage (V-V): Selecteert visuele tokens die de volledige informatie van de originele afbeelding behouden, ongeacht de tekst. Dit is cruciaal voor vragen zoals "Beschrijf de afbeelding" waar de tekst vaag is. Dit wordt berekend via een gelijkenismatrix tussen visuele tokens (voor de projectielaag).

3. Kalibratie en Fusie:
Omdat de gelijkenismatrices voor T-V en V-V verschillende schalen en verdelingen hebben, worden ze eerst genormaliseerd met een Softmax-operatie (met temperatuur parameters $\tau_t$ en $\tau_v$).
De uiteindelijke objectieve functie is een gewogen som van beide dekkingsfuncties:
$$f(S) = f(S; M_{tv}') + \alpha \cdot f(S; M_{vv}')$$
waarbij $\alpha$ het belang van visuele behoud weegt. Omdat de som van submodulaire functies ook submodulair is, kan het gierige algoritme (zie Algorithm 2 in het paper) efficiënt de optimale subset vinden.

Belangrijkste Bijdragen

1. Formulering van het probleem: Het introduceren van het Maximum Coverage-probleem voor visuele token-selectie, wat theoretische garanties biedt voor een bijna-optimale oplossing via een gierige benadering.
2. Multimodale strategie: Het expliciet combineren van tekst-vision en vision-vision dekking. Dit overbrugt de kloof tussen bestaande unimodale methoden en de complexe eisen van multimodale taken.
3. Trainingsvrij en efficiënt: De methode vereist geen fine-tuning van het model en voegt slechts een minimale rekentijd toe (berekend in milliseconden), terwijl het de inferentie van de LLM aanzienlijk versnelt.

Resultaten

MMTok is uitgebreid geëvalueerd op diverse benchmarks (GQA, MMBench, POPE, MME, ScienceQA, etc.) met verschillende VLM-architecturen (LLaVA-1.5, LLaVA-NeXT, Qwen-2.5-VL).

• Prestatiebehoud:
  • Op LLaVA-NeXT-13B op de POPE-dataset behaalde MMTok een 1.87x snelheidswinst terwijl 98.7% van de oorspronkelijke prestatie behouden bleef.
  • Met slechts 4 visuele tokens (uit een totaal van 576) behield LLaVA-1.5-7B nog steeds 87.7% van de originele prestatie.
  • MMTok overtreft consistent state-of-the-art baselines zoals VisionZip, DivPrune, FastV en SparseVLM, vaak zonder fine-tuning.
• Efficiëntie:
  • De methode reduceert het GPU-gebruik met ongeveer 30% en de runtime-memory met meer dan 58% ten opzichte van de baseline.
  • De inferentietijd op de POPE-dataset wordt met ongeveer 50% verkort.
• Robuustheid: De methode werkt effectief zelfs bij extreem lage token-budgetten (tot 2 tokens) en op dynamische resolutie-modellen zoals Qwen-2.5-VL.
• Ablatie-studies: Bevestigen dat de combinatie van T-V en V-V dekking superieur is aan het gebruik van slechts één modale dekking. Ook wordt aangetoond dat het selecteren van tokens uit een grote afbeelding effectiever is dan het simpelweg verkleinen van de afbeeldingsresolutie.

Betekenis en Impact

MMTok biedt een fundamenteel nieuw perspectief op het versnellen van Vision-Language Models. Door de redundantie in visuele tokens te benutten via een multimodale dekkingsoptimalisatie, toont het aan dat:

1. Visuele en tekstuele informatie complementair zijn voor token-selectie.
2. Het mogelijk is om de inferentie-efficiëntie drastisch te verhogen (tot 100x minder tokens) zonder significante kwaliteitsverlies.
3. Een trainingsvrije aanpak superieur kan zijn aan methoden die fine-tuning vereisen.

Dit werk opent de deur voor efficiëntere en snellere VLM-toepassingen in real-world scenario's, zoals mobiele apparaten of real-time systemen, waar rekenkracht en geheugen beperkt zijn. De code is open source beschikbaar gesteld.