Through the Magnifying Glass: Adaptive Perception Magnification for Hallucination-Free VLM Decoding

Probleemstelling: Visuele Hallucinaties in VLM's

Bestaande Vision-Language Models (VLM's) lijden vaak aan visuele hallucinaties. Dit betekent dat de gegenereerde tekstuele antwoorden onnauwkeurigheden bevatten die niet gebaseerd zijn op de visuele input (bijvoorbeeld het beschrijven van objecten die niet in beeld zijn). Hoewel er veel onderzoek is gedaan naar het verminderen van deze hallucinaties, zijn bestaande oplossingen beperkt:

• Training-gebaseerde methoden: Vereisen vaak kostbare finetuning of het verzamelen van grote, gedebiasde datasets.
• Inferentie-gebaseerde methoden (zonder finetuning): Bestaande technieken zoals Contrastive Decoding (CD) of het verhogen van de weging van visuele embeddings proberen taalbias te verminderen of visuele signalen te versterken. Echter, deze methoden slagen er vaak niet in om fijnkorrelige visuele details te vangen, vooral wanneer de resolutie van de invoer onvoldoende is om kleine objecten duidelijk te onderscheiden. Ze kunnen ook de redeneercapaciteiten van het model verstoren.

Methodologie: Perception Magnifier (PM)

De auteurs stellen Perception Magnifier (PM) voor, een nieuwe decoding-methode die hallucinaties aanpakt door de visuele input adaptief te verrijken tijdens het generatieproces, zonder het model te finetunen.

De kern van PM is het idee om kritieke gebieden in de afbeelding te "vergroten" (magnificeren) op basis van de aandachtspatronen van het model, terwijl de structurele context behouden blijft. Het proces verloopt als volgt:

1. Constructie van de Perceptiekaart (Perception Map):

   • Het model analyseert de aandachtswaarden (attention weights) van de self-attention lagen tijdens de inferentie.
   • In plaats van alleen de laatste laag te gebruiken, worden attention-matrices van middelste tot late lagen geaggregeerd. Dit is gebaseerd op de observatie dat diepere lagen visuele informatie vaak samenvoegen, terwijl middelste lagen nog gedetailleerde objectlocaties bevatten.
   • Een token-level heatmap wordt gegenereerd door de maximale attention-waarden over alle heads te nemen.

2. Iteratieve Verfijning (Iterative Refinement):

   • Om ervoor te zorgen dat het model niet alleen naar één dominant object kijkt (en andere belangrijke objecten mist), wordt een iteratief proces toegepast.
   • De tokens met de hoogste aandacht worden tijdelijk "geblokkeerd" (gemaskerd) in de invoer.
   • Het model wordt opnieuw doorgevoerd (re-forward) om te zien welke andere gebieden nu aandacht krijgen.
   • Dit proces wordt herhaald totdat de totale aandacht onder een drempelwaarde daalt. De resultaten van alle iteraties worden samengevoegd tot een verfijnde heatmap die een completer beeld geeft van relevante objecten.

3. Post-processing en Resampling:

   • De heatmap wordt gepost-processed (genormaliseerd, variance-versterking via sigmoid, en gladgestreken) om een pixel-level perceptiekaart te krijgen.
   • Deze kaart fungeert als een "massafunctie" voor attention-based sampling. Gebieden met hoge perceptiewaarden worden opgeschaald (vergroot), terwijl minder relevante gebieden worden gecomprimeerd.
   • Dit gebeurt via inverse transform sampling met bilineaire interpolatie, wat zorgt voor een structureel behoud van de afbeelding zonder de ruimtelijke coherentie te verstoren.

4. Decoding:

   • De verrijkte (vergrote) afbeelding wordt gebruikt als input voor de volgende stap in de autoregressive decoding. Hierdoor kan het model fijnere details zien die eerder onzichtbaar waren door de beperkte resolutie.

Kernbijdragen

1. Adaptieve Vergroting: Een decoding-strategie die visuele gebieden van belang dynamisch vergroot tijdens het genereren van tokens, gebaseerd op de interne aandacht van het model.
2. Iteratieve Aandachtsgrounding: Een nieuwe methode om attention over meerdere lagen te aggregeren en iteratief te verfijnen, waardoor een robuuste perceptiekaart ontstaat die alle relevante objecten dekt, niet alleen de meest dominante.
3. Behoud van Redenering: In tegenstelling tot veel andere methoden die de redeneercapaciteit van VLM's kunnen schaden, behoudt PM de structurele integriteit van de afbeelding en de interne logica van het model.

Resultaten

De methode is uitgebreid getest op verschillende benchmarks (MME, POPE, MMHal-Bench, LLaVA-Bench) met het LLaVA-1.5 7B model.

• Vermindering van Hallucinaties: PM presteert consistent beter dan state-of-the-art baselines (zoals OPERA, VCD, IBD, ViCrop) op het verminderen van hallucinaties. Op de POPE-benchmark (object-existentie) en MME-perceptie-taken behaalde PM de hoogste scores.
• Open-eind Generatie: Op LLaVA-Bench en MMHal-Bench (waar GPT-4o als evaluator fungeerde) toonde PM de laagste hallucinatie-ratio's bij het genereren van open antwoorden, terwijl het de algehele kwaliteit van de tekst behield.
• Behoud van Cognitieve Vaardigheden: Een belangrijk onderscheidend kenmerk is dat PM geen negatief effect heeft op de cognitieve redeneercapaciteiten (zoals wiskundig redeneren of commonsense), terwijl veel andere methoden (vooral die welke logits manipuleren) hieronder lijden.
• Kwalitatieve Analyse: Visuele voorbeelden tonen aan dat PM kleine objecten (zoals een stoel of een fles) die in de originele afbeelding te klein waren om te worden herkend, succesvol vergroot en correct identificeert.

Betekenis en Impact

Dit paper introduceert een paradigmaverschuiving in het aanpakken van hallucinaties bij VLM's. In plaats van te vertrouwen op het onderdrukken van taalbias of het toevoegen van extra training, focust PM op het verbeteren van de visuele waarneming op het moment van inferentie.

• Efficiëntie: Het is een "training-free" methode, wat betekent dat het direct toepasbaar is op bestaande modellen zonder dure retraining.
• Balans: Het lost het dilemma op tussen het vergroten van details en het behouden van context. Door niet-essentiële gebieden te comprimeren in plaats van te verwijderen (zoals bij cropping-methoden), blijft de ruimtelijke relatie tussen objecten behouden.
• Toekomstperspectief: Hoewel de methode rekenkundige overhead introduceert (vooral door het blokkeren van tokens en het opnieuw doorvoeren), biedt het een nieuwe richting voor het ontwikkelen van meer betrouwbare en nauwkeurige multimodale AI-systemen. De auteurs erkennen dat de methode nog uitdagingen kent bij het behoud van exacte geometrische vormen bij het vergroten, maar dit biedt een duidelijke weg voor toekomstig onderzoek.

Kortom, Perception Magnifier biedt een elegante oplossing voor visuele hallucinaties door het model te dwingen om "door een vergrootglas" te kijken naar de delen van de afbeelding die het meest relevant zijn voor de huidige vraag, zonder de algehele visuele context te verliezen.