VisionZip: Longer is Better but Not Necessary in Vision Language Models

Het paper introduceert VisionZip, een efficiënte methode die de redundantie in visuele tokens vermindert door alleen informatieve tokens te selecteren, waardoor de inferentiesnelheid aanzienlijk toeneemt en de prestaties van visuele-taalmodellen verbeteren zonder dat langere tokenreeksen nodig zijn.

De kern

Stel je voor dat je een zeer slimme, maar hongerige robot hebt die foto's en video's kan "lezen" en erover kan praten. Deze robot is een Vision Language Model (VLM). Om een foto te begrijpen, snijdt de robot de afbeelding in duizenden kleine stukjes, die we tokens noemen.

Het probleem is dat deze robot vaak te veel eet. Hij neemt bijvoorbeeld 2.800 stukjes van één foto, terwijl hij voor de tekst maar 50 woorden nodig heeft. Dit maakt hem traag, duur en onhandig, alsof je een hele koffer vol met onbelangrijke kleding meeneemt voor een korte wandeling.

De onderzoekers van dit paper, VisionZip, hebben een slimme oplossing bedacht. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Ruis" in de Foto

Stel je voor dat je naar een drukke markt kijkt. De robot kijkt naar elk detail: elke steen op de grond, elke wolk, elke vlek op een muur. Maar als je vraagt: "Wat zie je?", dan kijken mensen eigenlijk alleen naar de belangrijkste dingen: de mensen, de dieren, de auto's. De rest is ruis.

De onderzoekers ontdekten dat de camera's (de "vision encoders") die de robot gebruikt, ook zo werken. Ze produceren duizenden stukjes informatie, maar slechts een handvol daarvan is echt belangrijk. De rest is overbodig, net als het meenemen van een hele koffer vol met sokken die je niet draagt.

2. De Oplossing: VisionZip (De Slimme Koffer)

VisionZip is als een slimme packing-assistent die voor de robot werkt. In plaats van alles mee te nemen, doet hij twee dingen:

• De "Hoofdpersoon" selecteren: Hij kijkt waar de camera het meest naar "kijkt" (de aandacht). Hij pakt de belangrijkste stukjes (bijvoorbeeld het gezicht van een persoon of een auto) en houdt die vast.
• De rest samenvoegen: Voor de minder belangrijke stukjes (zoals de lucht of de achtergrond) zegt hij: "Jullie lijken op elkaar, dus ik ga jullie samenvoegen tot één klein pakketje."

Zo verandert hij 2.800 stukjes in misschien wel 160 stukjes, zonder dat de robot iets belangrijks mist. Het is alsof je van een volle koffer naar een handtas gaat, maar je hebt nog steeds precies dezelfde kleding aan.

3. Waarom is dit zo geweldig?

• Snelheid (De Race): Omdat de robot nu veel minder stukjes hoeft te verwerken, is hij enorm veel sneller.

  • Analogie: Het is alsof je van een vrachtwagen vol met zand (oude methode) overstapt op een sportauto (VisionZip).
  • Het resultaat: Een grote, krachtige robot (13 miljard parameters) is nu sneller dan een kleine robot (7 miljard parameters), terwijl hij tegelijkertijd slimmer is. Dat was voorheen onmogelijk!

• Meer Video's (De Marathon): Voor video's is dit nog belangrijker. Normaal gesproken kan de robot maar een paar seconden video tegelijk bekijken omdat hij anders "vol" raakt. Met VisionZip kan hij 5 tot 10 keer meer frames bekijken in dezelfde tijd.

  • Analogie: Vroeger kon de robot alleen een kort filmpje van 1 minuut zien. Nu kan hij een heel lang verhaal van 10 minuten zien en onthouden, omdat hij niet verstopt raakt in details die er niet toe doen.

• Gesprekken (De Multi-turn Chat): Als je met de robot praat en je vraagt iets anders, moet hij zich de vorige foto herinneren. Oude methoden hielden de verkeerde stukjes vast (bijvoorbeeld de achtergrond van de vorige vraag), waardoor ze verwarrend werden. VisionZip houdt alleen de belangrijkste informatie vast, ongeacht wat je vraagt. Dit maakt het perfect voor lange, natuurlijke gesprekken.

4. Hoe werkt het precies? (De Magie)

De onderzoekers hebben ontdekt dat de camera's van nature al weten wat belangrijk is. Ze hoeven de robot niet opnieuw te leren hoe hij moet kijken. Ze gebruiken gewoon een slimme truc:

1. Ze kijken welke stukjes de camera het meest "aanstaart".
2. Die houden ze.
3. De rest smelten ze samen.
4. Soms geven ze de robot nog een heel klein beetje training (30 minuten) om te wennen aan de nieuwe, kleinere koffer. Dat is alles wat nodig is.

Samenvatting

VisionZip zegt: "Meer is niet altijd beter."
In plaats van de robot te laten slikken met duizenden onnodige foto-pixels, geven we hem alleen de "hoogtepunten" van de foto. Het resultaat? Een robot die sneller, slimmer en efficiënter is, en die zelfs lange video's en complexe gesprekken aankan zonder in de war te raken. Het is de perfecte manier om slimme technologie toegankelijk te maken voor de echte wereld.

Technische samenvatting

1. Het Probleem

Recente vooruitgangen in Vision-Language Models (VLMs), zoals LLaVA-1.5 en LLaVA-NeXT, hebben de prestaties verbeterd door het aantal visuele tokens (de representatie van afbeeldingen) drastisch te verhogen. Bijvoorbeeld, een 672x672 afbeelding kan worden omgezet in meer dan 2.880 visuele tokens, terwijl teksttokens vaak slechts in de tientallen of honderden liggen.

Dit leidt tot twee hoofdproblemen:

• Hoge rekencost: De computationele complexiteit van transformatoren schaalt kwadratisch met de sequentielengte. Een overmaat aan visuele tokens consumeert enorme hoeveelheden geheugen (VRAM) en rekentijd, wat de toepassing in real-time scenario's (zoals robotica, autonoom rijden en edge computing) beperkt.
• Redundantie: De auteurs stellen de vraag of al deze tokens nodig zijn. Hun observatie is dat populaire visuele encoders (zoals CLIP en SigLIP) een aanzienlijke mate van redundantie bevatten. De meeste tokens dragen weinig informatie bij, terwijl slechts een klein aantal tokens de meeste aandacht en informatie concentreert.

2. Methodologie: VisionZip

VisionZip is een eenvoudige maar effectieve methode om visuele token-redundantie te verminderen zonder de modelprestaties significant te schaden. Het werkt in twee hoofdfasen en is tekst-agnostisch (onafhankelijk van de tekstinput), wat het uniek maakt ten opzichte van eerdere methoden.

A. Selectie van Dominante Tokens (Dominant Token Selection)

In plaats van alle tokens door te sturen naar de LLM, selecteert VisionZip eerst de "dominante tokens".

• Mechanisme: Het analyseert de attentiescores binnen de visuele encoder (meestal laag -2, net voor de uitvoer).
• Met CLS-token (bijv. CLIP): Het selecteert de tokens waar de CLS-token de meeste aandacht aan besteedt, aangezien deze de belangrijkste informatie bevatten.
• Zonder CLS-token (bijv. SigLIP): Het berekent de gemiddelde aandacht die elke token ontvangt van alle andere tokens in de sequentie. Tokens met de hoogste gemiddelde aandacht worden geselecteerd.
• Resultaat: Een klein subset van tokens die de kerninformatie van de afbeelding bevat.

B. Samenvoegen van Contextuele Tokens (Contextual Token Merging)

Om te voorkomen dat kleine maar belangrijke details verloren gaan die niet tot de dominante tokens behoren, worden de overige tokens samengevoegd.

• Mechanisme: De niet-dominante tokens worden verdeeld in "doel-tokens" en "samenvoeg-tokens". Op basis van semantische gelijkenis (berekend via dot-product van de 'keys' in de attention-mechanisme) worden tokens die vergelijkbare informatie bevatten gemiddeld samengevoegd.
• Doel: Het creëren van "contextuele tokens" die de resterende informatie compact representeren zonder de sequentielengte te laten exploderen.

C. Efficient Tuning (Optioneel)

Hoewel VisionZip werkt in een "training-free" modus, kan er een lichte fine-tuning worden toegepast om de uitlijning tussen de visuele ruimte en de LLM-ruimte te herstellen na de drastische reductie van tokens.

• Dit vereist slechts een klein deel van de dataset (1/10 van LLaVA-1.5) en kan in ongeveer 30 minuten worden voltooid op 8 GPU's.
• Alleen de projector-laag (die visuele tokens naar teksttokens vertaalt) wordt gefine-tuned; de rest van het model blijft bevroren.

3. Belangrijkste Bijdragen

• Inzicht in Redundantie: Het paper demonstreert empirisch dat visuele encoders informatie concentreren in een paar "proxy-tokens" (vaak in de achtergrond of minder prominente gebieden), terwijl de meeste tokens weinig bijdragen. Dit wordt veroorzaakt door de softmax-functie in transformatoren die lage aandachtswaarden verder onderdrukt.
• Tekst-agnostische aanpak: In tegenstelling tot bestaande SOTA-methoden (zoals FastV en SparseVLM) die visuele tokens selecteren op basis van hun relatie met de tekst (wat kan leiden tot het verliezen van belangrijke visuele details die niet direct door de tekst worden gevraagd), selecteert VisionZip tokens op basis van hun intrinsieke visuele informatiewaarde.
• Plug-and-Play: De methode is compatibel met bestaande VLM-architecturen (LLaVA, Mini-Gemini, Video-LLaVA) en werkt zowel tijdens inferentie als training.
• Multi-turn Conversaties: Omdat de geselecteerde tokens niet afhankelijk zijn van een specifieke vraag, presteert VisionZip beter in multi-turn dialogen, waar eerdere methoden faalden omdat de opgeslagen visuele tokens in de KV-cache niet relevant waren voor de huidige vraag.

4. Resultaten

De experimenten tonen aan dat VisionZip de staat-der-kunst (SOTA) methoden significant overtreft:

• Prestaties: VisionZip behaalt minimaal 5% betere prestaties dan SOTA-methoden (FastV, SparseVLM) op bijna alle benchmarks (GQA, MMBench, POPE, etc.).
  • Op LLaVA-1.5 behoudt VisionZip 95% van de prestaties terwijl het het aantal tokens met 88% reduceert (van 576 naar 64 tokens).
  • Zelfs bij extreme reductie (64 tokens) presteert VisionZip beter dan methoden die meer tokens gebruiken.
• Efficiëntie:
  • Prefilling-tijd: Een reductie van 8x in de tijd om het eerste token te genereren (prefilling).
  • Inferentie-snelheid: De LLaVA-NeXT 13B model wordt met VisionZip 2x sneller dan het vanilla 7B model, terwijl het tegelijkertijd betere resultaten levert.
  • Geheugen: Significante besparing in CUDA-geheugen, waardoor grotere modellen op beperktere hardware kunnen draaien.
• Video-Understanding: Op Video-LLaVA behaalt VisionZip 93.2% van de prestaties met slechts 136 tokens (van oorspronkelijk 2048), wat een verbetering is van 6.7% ten opzichte van de vorige SOTA. Dit stelt modellen in staat om veel meer frames te verwerken binnen hetzelfde geheugenbudget.

5. Betekenis en Impact

VisionZip verandert de paradigma in het veld van Vision-Language Models:

1. Kwaliteit boven Kwantiteit: Het bewijst dat het simpelweg verhogen van het aantal visuele tokens niet noodzakelijk leidt tot betere prestaties en vaak zelfs als ruis fungeert. Het is beter om betere, minder redundante visuele features te extraheren.
2. Praktische Toepasbaarheid: Door de enorme reductie in rekentijd en geheugen, maakt VisionZip VLMs haalbaar voor real-time toepassingen zoals robotica en mobiele apparaten.
3. Toekomstrichting: Het paper moedigt de gemeenschap aan om te focussen op het ontwikkelen van visuele encoders met minder inherente redundantie, in plaats van alleen maar de token-lengte te vergroten.

Kortom, VisionZip biedt een efficiënte, robuuste en universele oplossing om visuele taalmodellen sneller en slimmer te maken door slimme selectie en samenvoeging van visuele informatie.