SECOND: Mitigating Perceptual Hallucination in Vision-Language Models via Selective and Contrastive Decoding

Probleemstelling: Object Hallucinaties in VLM's

Hoewel Vision-Language Models (VLM's) zoals LLaVA aanzienlijke vooruitgang hebben geboekt, lijden ze nog steeds onder het fenomeen van object-hallucinaties. Dit is een situatie waarin het model plausibele maar onjuiste antwoorden genereert die niet gebaseerd zijn op de daadwerkelijke visuele inhoud van de afbeelding.

Bestaande methoden om dit te verhelpen, zoals het trainen op robuuste datasets of het onderdrukken van taalkundige priors, zijn vaak beperkt. Een veelbelovende richting is het gebruik van multi-scale visuele informatie (het analyseren van afbeeldingen op verschillende resoluties). Echter, huidige VLM's integreren deze informatie vaak indiscriminately (zonder selectie) over verschillende schalen. Dit leidt tot een overvloed aan irrelevante achtergrondinformatie, wat de precisie van de objectherkenning vermindert en hallucinaties in de hand werkt. De kernuitdaging is hoe men de juiste balans vindt tussen grove (coarse) en fijne (fine-grained) visuele details zonder de modelcapaciteit te overbelasten met ruis.

Methodologie: SECOND Framework

De auteurs stellen SECOND (Selective and Contrastive Decoding) voor, een nieuw, trainingsvrij framework dat hallucinaties aanpakt door visuele informatie selectief te integreren en te contrasteren. Het framework bestaat uit twee hoofdcomponenten:

1. Selectieve Multi-Scale Feature Integratie

In plaats van alle visuele patches op elke schaal te gebruiken, selecteert SECOND dynamisch de meest relevante patches op basis van de visuele aandacht (attention) van het model.

• Multi-stage Architectuur: Het proces verloopt in meerdere stadia (bijv. 4 stadia). Het begint met een zeer lage resolutie (grobe schets) en bouwt geleidelijk op naar hogere resoluties.
• Patch Selectie: Op elk stadium worden patches geselecteerd op basis van de visuele aandacht van het vorige stadium. Een dynamisch mechanisme, gestuurd door de entropie van de visuele aandacht ($H(V)$) en een hyperparameter ($\lambda$), bepaalt welk percentage patches ($p_{select}$) wordt behouden voor het volgende stadium.
  • Lage entropie: Het model focust duidelijk; er zijn minder extra patches nodig.
  • Hoge entropie: Het model is onzeker; er worden meer fijne details toegevoegd.
• Doel: Dit zorgt ervoor dat objectgerelateerde informatie behouden blijft terwijl irrelevante achtergrondpatches worden gefilterd, wat de "Attention Dice Coefficient" (een maatstaf voor hoe goed het model op het object focust) maximaliseert.

2. Multi-Stage Contrastive Decoding

SECOND past het concept van Contrastive Decoding toe, maar dan in een multi-stadia structuur.

• Amateur vs. Expert: De output van eerdere stadia (met minder informatie) fungeert als een "amateur", terwijl de latere stadia (met meer fijne details) fungeren als een "expert".
• Contrast Mechanisme: In plaats van alleen het beste en slechtste model te vergelijken, contrasteert SECOND de outputlogits van het expert-stadium met die van meerdere tussenliggende amateur-stadia.
• Formule: De uiteindelijke logit wordt berekend door de expert-logit te combineren met de verschillen tussen opeenvolgende stadia:
  $$logit_{SECOND} = logit_{expert} + \alpha(logit_{expert} - logit_{amateur3}) + \beta(logit_{amateur3} - logit_{amateur2}) + \gamma(logit_{amateur2} - logit_{amateur1})$$
  Dit versterkt de signalen die consistent zijn over de schaalvergroting en onderdrukt hallucinaties die specifiek zijn voor bepaalde schalen.

Belangrijkste Bijdragen

1. Nieuw Trainingsvrij Framework: SECOND introduceert een methode die hallucinaties vermindert zonder extra training of het toevoegen van zware auxiliary modellen.
2. Theoretisch Inzicht: De auteurs tonen theoretisch aan (via Theorema 3.2 en 3.3) dat het selectief integreren van patches in plaats van uniform schalen, de Attention Dice Coefficient verhoogt en zo de hallucinatiekans ($P_{Hal}$) verlaagt.
3. Multi-Stage Contrastive Decoding: Een innovatieve toepassing van contrastive decoding die gebruikmaakt van de evolutionaire trajecten van visuele informatie over meerdere stadia, in plaats van slechts één vergelijking tussen twee modellen.
4. Schaalbaarheid: Het werkt effectief op bestaande VLM's (zoals LLaVA-NeXT, LLaVA-OneVision, Yi-VL) en is compatibel met verschillende visuele encoders (CLIP, SigLIP).

Resultaten

SECOND werd getest op diverse benchmarks, waaronder POPE (specifiek voor hallucinaties), VQAv2, MMStar en MMBench.

• POPE Benchmark: SECOND presteerde in 11 van de 12 geteste configuraties beter dan de baselines (LLaVA-NeXT) en de bestaande Contrastive Decoding methode (VCD). Bijvoorbeeld, op de MSCOCO subset met LLaVA-NeXT steeg de F1-score van 86.5 (baseline) naar 89.2 (SECOND met CD).
• Algemene Taken: De methode verbeterde ook de prestaties op open-ended vragen (VQAv2) en complexe redeneertaken (MMStar, MMBench), wat aantoont dat het verbeteren van perceptie ook de redeneercapaciteiten ten goede komt.
• Ablatie Studies:
  • Het gebruik van dynamische patch-selectie bleek superieur aan het gebruik van vaste percentages of het gebruiken van alle patches.
  • Multi-stage CD presteerde robuuster dan single-stage CD, vooral op bredere benchmarks zoals MMStar.
• Efficiëntie: Hoewel het meerdere stadia doorloopt, blijft de decodeertijd redelijk (ongeveer 1.4x de baseline voor de 4-stadia configuratie), wat een goede balans biedt tussen prestatie en kosten.

Betekenis en Impact

Dit paper is significant omdat het een fundamenteel probleem in VLM's (hallucinaties) aanpakt door in te spelen op de aard van visuele data: dat meer pixels niet altijd beter zijn, maar selectievere pixels wel.

• Visuele Perceptie: Het benadrukt dat menselijke visuele perceptie (selectief kijken van grof naar fijn) beter nagebootst kan worden in AI-modellen dan de huidige "alles-in-één" benadering.
• Toepasbaarheid: Omdat het trainingsvrij is, kan SECOND direct worden toegepast op bestaande, geavanceerde VLM's om hun betrouwbaarheid te verhogen, wat cruciaal is voor toepassingen in hoge-risico omgevingen (zoals medische beeldanalyse of autonoom rijden).
• Toekomst: Het opent de weg voor verdere onderzoek naar multi-scale integratie en dynamische aandachtmechanismen zonder de noodzaak van kostbare retraining.

Kortom, SECOND biedt een elegante, theoretisch onderbouwde oplossing om VLM's "realistischer" te maken door ze te dwingen zich te focussen op wat er echt in de afbeelding staat, in plaats van te gissen op basis van taalkundige aannames.