Technische Samenvatting: CAST – Het Mitigeren van Objecthallucinatie in Grote Visueel-Taalmodellen via Caption-Gestuurde Visual Attention Steering

1. Probleemstelling

Grote Visueel-Taalmodellen (LVLM's) hebben opmerkelijke prestaties geleverd op downstream-taken, maar lijden vaak aan objecthallucinatie, waarbij het model inhoud genereert die afwijkt van of in strijd is met de visuele input. Bestaande mitigeringsstrategieën vallen over het algemeen in twee categorieën, die beide aanzienlijke beperkingen hebben:

• Op training gebaseerde methoden: Deze vertrouwen op zorgvuldig samengestelde datasets en dure handmatige annotaties of versterkend leren (bijv. RLHF), wat hoge reken- en datakosten met zich meebrengt.
• Trainingsvrije decoderingsstrategieën: Methoden zoals contrastieve decodering (bijv. VCD, OPERA) verhogen vaak de inferentielatentie aanzienlijk, waardoor ze minder praktisch zijn voor real-time toepassingen.

Bovendien suggereren interpretabiliteitsstudies dat onvoldoende aandacht voor visuele informatie een fundamentele oorzaak is van hallucinatie. Echter, weinig methoden pakken dit expliciet aan door de visuele perceptie te verbeteren zonder modelparameters te wijzigen of zware inferentie-overhead in te voeren.

2. Methodologie: Caption-Gestuurde Visual Attention Steering (CAST)

De auteurs stellen CAST voor, een trainingsvrije, plug-and-play-methode die objecthallucinatie mitigeert door de aandachtmechanismen van het model tijdens inferentie te sturen. Het kerninzicht dat CAST drijft, is de observatie dat caption queries (bijv. "Beschrijf deze afbeelding in detail") aanzienlijk versterkte visuele aandacht triggeren in specifieke attention heads in vergelijking met non-caption queries (bijv. "Zit er een helm in de afbeelding?").

CAST werkt in drie distincte fasen:

A. Caption-Gestuurde Attention Heads Probe

De methode identificeert eerst "caption-gestuurde attention heads"—specifieke heads binnen de Transformer-lagen die een sterke gevoeligheid vertonen voor caption queries.

• Mechanisme: Met behulp van een dataset van afbeelding-query-paren maskeren de auteurs de aandacht voor tekstuele tokens om visuele aandachtspatronen te isoleren.
• Classificatie: Een binaire classifier (bijv. SVM) wordt getraind op de aandachtoutput van de laatste invoertoken om onderscheid te maken tussen caption en non-caption queries.
• Selectie: De top-$K$ attention heads met de hoogste classificatieaccuraatheid worden geselecteerd als doelen voor sturing. Deze heads blijken voornamelijk geconcentreerd te zijn in de middenlagen van het model.

B. Schatting van Perceptie-Ge verfijnde Vectoren

Zodra de doelen heads zijn geïdentificeerd, berekent de methode shift-vectoren die het verschil in aandachtoutput tussen caption en non-caption queries vertegenwoordigen.

• Berekening: Voor elke geselecteerde head wordt de shift-vector $S^{(l,h)}$ berekend als het gemiddelde verschil tussen de aandachtoutput bij invoer van een caption query ($O^{(l,h)}$) en een non-caption query ($O'^{(l,h)}$):
  $$S^{(l,h)} = \frac{1}{B} \sum_{b=1}^{B} (O^{(l,h)}_b - O'^{(l,h)}_b)$$
• Doel: Deze vectoren kwantificeren de "fijnkorrelige perceptierichting", en vangen effectief de toestand van voldoende visuele aandacht in die door caption queries wordt opgewekt.

C. Sturing tijdens Inferentie

Tijdens de inferentie van een non-caption query (het typische scenario waar hallucinaties optreden), worden de vooraf berekende shift-vectoren toegepast op de geselecteerde attention heads.

• Update-regel: De verborgen toestand wordt bijgewerkt door een geschaalde versie van de shift-vector toe te voegen aan de aandachtoutput van de caption-gestuurde heads:
  $$H_{l+1} = H_l + \sum_{h=1}^{H} (O^{(l,h)} + I^{(l,h)} \alpha S^{(l,h)}) \cdot W^l_o$$
  Waar $I^{(l,h)}$ een gating-functie is (1 voor geselecteerde heads, 0 anders) en $\alpha$ de stuurintensiteit regelt.
• Effect: Dit stuurt de aandacht van het model van een "onvoldoende" toestand (gevoelig voor hallucinatie) naar een "voldoende" toestand (versterkte visuele perceptie), waardoor objecthallucinatie effectief wordt mitigeerd zonder het model opnieuw te trainen.

3. Belangrijkste Bijdragen

1. Nieuw Inzicht: Het werk is het eerste dat expliciet het effect van caption queries versus non-caption queries op de attentie-activatiepatronen van LVLM's onthult en kwantificeert, en specifieke attention heads identificeert die verantwoordelijk zijn voor fijnkorrelige visuele perceptie.
2. CAST-methode: Een trainingsvrije, plug-and-play-benadering die de output van caption-gestuurde attention heads tijdens inferentie verfijnt. Het vereist geen updates van modelparameters en voegt minimale inferentiekosten toe.
3. Uitgebreide Evaluatie: Uitgebreide experimenten tonen aan dat CAST hallucinatie effectief mitigeert terwijl de fundamentele capaciteiten van het model (bijv. redeneren, OCR) worden behouden en het generaliseert over verschillende modelarchitecturen (LLaVA, Qwen-VL, LLaVA-NeXT).

4. Experimentele Resultaten

De auteurs hebben CAST geëvalueerd over vijf wijdverbreide benchmarks (POPE, CHAIR, MMHal-Bench, MME, MHumanEval) en vijf verschillende LVLM's.

• Mitigatie van Hallucinatie:
  • POPE: CAST verbeterde de nauwkeurigheid met gemiddeld 5,64% en de F1-score met 5,50% over de modellen heen.
  • CHAIR: Verminderde gemiddelde hallucinatiemetrics (CS en CI) met 6,43 punten.
  • MMHal-Bench: Verminderde het hallucinatiepercentage (VH.%) met 2,95% en verbeterde de informativiteitsscore.
  • Algemene Prestaties: Gemiddeld verminderde CAST objecthallucinatie met 6,03% over vijf LVLM's en vijf benchmarks.
• Efficiëntie: In tegenstelling tot contrastieve decoderingsmethoden die de inferentietijd aanzienlijk verhogen (bijv. verhoogt VCD de TPOT met 2,7x), voegt CAST verwaarloosbare latentie toe (vergelijkbaar met de baseline, ~1,0x).
• Behoud van Capaciteiten: CAST verbeterde de prestaties op de MME-benchmark over alle perceptie- en cognitietaken, wat aantoont dat het de andere fundamentele vaardigheden van het model niet verslechtert.
• Generalisatie: De methode bleek effectief op geavanceerde modellen (Qwen2-VL, InternVL2) en domeinspecifieke taken (Medical VQA-RAD, OCR), wat de robuustheid bevestigt.

5. Betekenis en Claims

Het artikel beweert dat CAST een state-of-the-art (SOTA) oplossing biedt voor het mitigeren van objecthallucinatie in LVLM's door gebruik te maken van de inherente attentiepatronen die door caption queries worden opgewekt. De betekenis hiervan ligt in:

• Kosteneffectiviteit: Het elimineert de noodzaak voor dure handmatige annotatie of hertraining.
• Efficiëntie: Het vermijdt de hoge inferentielatentie die geassocieerd is met contrastieve decoderingsstrategieën.
• Mechanistisch Inzicht: Het biedt een duidelijk, interpreteerbaar mechanisme voor hallucinatiemitigatie door direct de attention heads aan te pakken die verantwoordelijk zijn voor visuele perceptie.

De auteurs concluderen dat CAST de fijnkorrelige visuele perceptiecapaciteit van LVLM's effectief verbetert, en een praktische en efficiënte weg biedt om hallucinaties te verminderen zonder de bruikbaarheid van het model te compromitteren.