Aligning What Vision-Language Models See and Perceive with Adaptive Information Flow

Titel: Het afstemmen van wat Vision-Language Models zien en waarnemen met Adaptieve Informatiestroom

Auteurs: Chengxin Liu, Wonseok Choi, Chenshuang Zhang, Tae-Hyun Oh (KAIST & POSTECH)

---

1. Het Probleem: Misalignering tussen "Zien" en "Waarnemen"

Hoewel Vision-Language Models (VLM's) uitstekende prestaties leveren in taken zoals visuele herkenning en documentparsing, vertonen ze een fundamenteel probleem: er is een misalignering tussen wat het model "ziet" en wat het "waarneemt".

• Observatie: VLM's kunnen vaak de juiste beeldregio's identificeren die relevant zijn voor een vraag (ze "zien" het object), maar produceren toch het verkeerde antwoord.
• Oorzaak: De auteurs stellen dat dit te wijten is aan een suboptimale informatiestroom tijdens het decoderingsproces. Tekst-tokens verdelen hun cross-attention over te veel irrelevante visuele tokens (bijvoorbeeld achtergrondruis), in plaats van zich te concentreren op de objecten die het bewijs leveren voor het antwoord. Deze "ruis" leidt tot afleiding en foutieve antwoorden.
• Bestaande oplossingen: Bestaande methoden zoals visuele bijsnijding (visual cropping) zijn effectief maar vertraagden de inferentie aanzienlijk. Opnieuw trainen van het model vereist enorme rekenkracht.

2. Methodologie: Adaptieve Informatiestroom (AIF)

De auteurs stellen een trainingsvrije (training-free) methode voor om de perceptie van VLM's te verbeteren door de informatiestroom tijdens de inferentie dynamisch te moduleren. Het kernidee is om de interactie tussen tekst-tokens en irrelevante visuele tokens te blokkeren.

A. Token Dynamics (Token-dynamiek)

De methode is gebaseerd op de observatie dat visuele tokens die corresponderen met belangrijke objecten, een distinctief activatiepatroon vertonen tijdens verschillende decoderingsstappen, terwijl irrelevante tokens onregelmatige patronen tonen.

• Definitie: De auteurs definiëren "token dynamics" ($D_{v_i}$) als de reeks van maximale cross-attention-waarden van een visuele token $v_i$ naar tekst-tokens over alle lagen van het Large Language Model (LLM).
• Gemiddelde: Het gemiddelde van deze dynamiek ($\mu_{v_i}$) dient als een indicator voor de algehele belangstelling van een token.

B. Entropie als Maatstaf voor Belangrijkheid

Om te bepalen welke tokens belangrijk zijn, gebruiken de auteurs entropie gebaseerd op de token-dynamiek.

• Formule: De entropie ($Ent_{v_i}$) wordt berekend over de lagen van het model. Een hoge entropie impliceert hoge willekeurigheid in de activatie, wat aangeeft dat de token onbelangrijk is (bijv. achtergrond). Een lage entropie duidt op een stabiel, belangrijk patroon.
• Selectie: Tokens met hoge entropie worden gemarkeerd als "ruis" en moeten worden gemaskeerd.

C. Adaptieve Modificatie van de Causale Mask

De kern van de implementatie is het aanpassen van het causale mask tijdens de inferentie.

1. Stap 1: Er wordt één extra decoderingsstap uitgevoerd om de attention-statistieken (token dynamics) te verzamelen.
2. Stap 2: Op basis van de berekende entropie worden visuele tokens gesorteerd.
3. Stap 3: Er wordt een optimale drempelwaarde bepaald om een masker te genereren. Het doel is om de entropie van de resterende attention-verdeling te maximaliseren (d.w.z. de verdeling zo veel mogelijk te centraliseren rond relevante objecten).
4. Stap 4: De interactie tussen de geselecteerde "onbelangrijke" visuele tokens en de tekst-tokens wordt geblokkeerd in het causale mask.
5. Stap 5: Het model voert de daadwerkelijke inferentie uit met dit gemodificeerde mask.

Belangrijk: De informatieflow tussen visuele tokens onderling blijft intact, zodat de beeldinhoud niet verloren gaat; alleen de verbinding naar de tekst wordt gefilterd.

3. Belangrijkste Bijdragen

1. Inzicht: Het aantonen dat het moduleren van de informatiestroom tijdens de inferentie de perceptiecapaciteit van VLM's significant kan verbeteren zonder opnieuw te trainen.
2. Methode: Het voorstellen van AIF (Adaptive Information Flow), een trainingsvrije methode die gebruikmaakt van token-dynamiek en entropie om irrelevante visuele informatie te filteren via causale masking.
3. Resultaten: Uitgebreide experimenten tonen aan dat de methode de prestaties van bestaande state-of-the-art VLM's (zoals LLaVA-1.5 en Qwen2.5-VL) aanzienlijk verbetert op diverse taken.

4. Resultaten en Evaluatie

De methode is geëvalueerd op een breed scala aan datasets en taken:

• Visuele Vraagbeantwoording (VQA): Op datasets zoals RealWorldQA, TextVQA en MMStar toonde AIF significante verbeteringen. Bijvoorbeeld, voor LLaVA-1.5 op RealWorldQA steeg de score van 55.6 naar 60.5.
• OCR en Fine-grained Taken: De methode verbeterde de prestaties bij het lezen van tekst in afbeeldingen (TextVQA), wat aantoont dat het model beter kan focussen op kleine details.
• Visuele Grounding en Tellen: Op RefCOCO (objectlocatie) en CountBench (tellen) verbeterde de methode de nauwkeurigheid, zelfs in vergelijking met gespecialiseerde grounding-modellen zoals Grounding-DINO.
• Hallucinaties: Op de POPE-dataset (Object Hallucination) nam de nauwkeurigheid toe, wat suggereert dat het blokkeren van irrelevante tokens het model helpt om minder dingen uit te vinden die er niet zijn.
• Vergelijking: De methode presteerde beter dan andere trainingsvrije methoden (zoals ViCrop) en zelfs beter dan sommige methoden die opnieuw trainen vereisen (zoals CCA), zonder extra rekentijd voor training.

5. Betekenis en Conclusie

Dit paper biedt een nieuw perspectief op hoe multimodale modellen werken. Het toont aan dat het probleem vaak niet ligt in het ontbreken van data of modelcomplexiteit, maar in hoe informatie binnen het model stroomt.

• Efficiëntie: De methode voegt slechts de tijd van één token-generatie toe aan de inferentie, wat het zeer efficiënt maakt.
• Generaliteit: Het is model-agnostisch en werkt op verschillende architecturen zonder aanpassingen aan de gewichten of positie-encoding.
• Impact: Het biedt een krachtige, "plug-and-play" oplossing om de feitelijke juistheid en perceptie van VLM's te verbeteren door de aandacht van het model te sturen naar de meest informatieve delen van een afbeelding, terwijl ruis wordt onderdrukt.

Kortom, door de "oogkleppen" van het model te gebruiken om irrelevante visuele informatie te blokkeren tijdens het denken, kunnen VLM's beter "zien" wat er echt belangrijk is voor het antwoord.