AFTER: Mitigating the Object Hallucination of LVLM via Adaptive Factual-Guided Activation Editing

Probleemstelling

Grote Visueel-Taalmodellen (LVLMs) hebben aanzienlijke vooruitgang geboekt in cross-modale taken, maar lijden nog steeds onder object-hallucinatie. Dit fenomeen treedt op wanneer het model feitelijke visuele objecten verkeerd interpreteert of verzonnen objecten beschrijft. De paper identificeert taalkundige bias als een primaire oorzaak: het model geeft prioriteit aan zijn interne taalkennis boven de externe visuele input.

Deze bias leidt tot drie specifieke soorten hallucinaties:

1. Categorie-hallucinatie: Een object wordt verkeerd geclassificeerd op basis van taalkundige priors (bijv. een rugzak wordt een snowboard gezien omdat skiën geassocieerd wordt met snowboards).
2. Attribuut-hallucinatie: Foutieve eigenschappen, zoals het aantal objecten (bijv. handschoenen worden altijd als paar geteld, zelfs als er maar één is).
3. Relatie-hallucinatie: Foutieve relaties tussen objecten (bijv. een man die een helm "draagt" in plaats van "houdt").

Bestaande methoden voor het verminderen van hallucinaties (zoals training-benaderingen of inferentie-tijd decoding) zijn vaak te duur in rekentijd of missen de mogelijkheid om expliciet te sturen op basis van feitelijke tekstuele semantiek. Eerdere activatie-editing methoden degraderen visuele input om "onbetrouwbare" semantiek te creëren, maar negeren de positieve sturing die door feitelijke tekst kan worden geboden.

Methodologie: AFTER

De auteurs stellen AFTER (Adaptive Factual-guided Visual-Textual Editing foR hallucination mitigation) voor. Dit is een inferentie-tijd methode die de interne activaties van het LVLM aanpast om de bias te corrigeren zonder het model opnieuw te hoeven trainen. De methode bestaat uit twee kerncomponenten:

1. Factual-Augmented Activation Steering (FAS)

FAS heeft tot doel een algemene, positieve stuurvector te creëren die het model naar feitelijke semantiek leidt.

• Feitelijke Tekstgeneratie: In plaats van visuele input te degraderen, worden de ground-truth annotaties van een afbeelding (objectcategorieën, attributen en relaties) getransformeerd naar een gedetailleerde, feitelijke tekstuele beschrijving ($t^+$).
  • Categorie: Objectlabels.
  • Attribuut: Kleur (op basis van pixelstatistieken), vorm (geometrische analyse) en aantal.
  • Relatie: Ruimtelijke relaties tussen bounding boxes.
• Stuurvector Constructie: Het model verwerkt zowel de originele afbeelding ($x$) als de feitelijke tekst ($t^+$) in combinatie met een vraag. De activaties die voortkomen uit de feitelijke tekst ($z^+$) worden beschouwd als "vertrouwd", terwijl de activaties van de originele afbeelding ($z$) als "onvertrouwd" (beïnvloed door bias) worden gezien.
• Vector Berekening: De algemene stuurvector ($\bar{d}$) wordt berekend door het gemiddelde verschil tussen deze vertrouwde en onvertrouwde activaties te nemen:
  $$\bar{d} = \frac{1}{n \cdot |X|} \sum_{X} \sum_{i=1}^{n} (z^+_i - z_i)$$
  Deze vector wordt gebruikt om de hallucinatoire activaties tijdens de inferentie te corrigeren.

2. Query-Adaptive Offset Optimization (QAO)

Een algemene vector is niet voldoende voor elke specifieke vraag, omdat verschillende vragen verschillende visuele details benadrukken. QAO lost dit op door een query-specifieke aanpassing toe te voegen.

• Query-Gevoelige Offset: Een lichte "offset estimator" (een enkelvoudige MLP) wordt getraind om de afwijking te voorspellen die nodig is voor een specifieke vraag.
• Trainingsdata: Voor een specifieke vraag worden gedetailleerde feitelijke beschrijvingen gegenereerd die specifiek gericht zijn op de objecten in die vraag. De estimator leert de offset ($o_i$) tussen de ideale query-specifieke vector en de algemene vector $\bar{d}$.
• Toepassing: Tijdens inferentie wordt de uiteindelijke correctie berekend als de som van de algemene vector en de voorspelde query-specifieke offset:
  $$h^{l+1} = h^l + \text{Concat}(z^{l,k} + \alpha \cdot [G(z^{l,k}) + \bar{d}]) \cdot W^l_o$$
  Hierbij is $G$ de estimator en $\alpha$ de intensiteit van de bewerking.

Belangrijkste Bijdragen

1. AFTER Framework: Een effectieve activatie-editing methode die adaptief visuele activaties stuurt naar feitelijke, tekstuele semantiek.
2. FAS (Factual-Augmented Activation Steering): Introduceert het gebruik van feitelijke tekstuele semantiek (afgeleid van ground-truth) als positieve sturing, in plaats van alleen visuele degradatie. Dit modelleert expliciet de visueel-taalkundige associaties.
3. QAO (Query-Adaptive Offset Optimization): Een mechanisme om query-specifieke afwijkingen te modelleren, wat zorgt voor een grotere diversiteit en precisie in de correctie van hallucinaties.
4. Efficiëntie en Generalisatie: De methode vereist geen hertraining van het LVLM en voegt slechts minimale rekentijd toe tijdens de inferentie.

Resultaten

De auteurs hebben AFTER getest op drie populaire LVLMs: LLaVA-v1.5, InstructBLIP en Shikra, tegenover state-of-the-art (SOTA) methoden zoals VTI, ICT, VCD en OPERA.

• Prestatie op Hallucinatie-benchmarks:
  • Op de AMBER benchmark (generatieve taak) boekte AFTER een reductie van hallucinaties van 16,3% ten opzichte van de baseline voor Shikra, wat een aanzienlijke verbetering is ten opzichte van andere methoden.
  • Op POPE (discriminatieve taak) werd een gemiddelde verbetering van 4,1% in nauwkeurigheid en 2,6% in F1-score behaald ten opzichte van baselines.
  • Op MME (algemene capaciteiten + hallucinaties) behaalde AFTER de beste scores, met name in de hallucinatie-subset.
• Generalisatie: De methode toont sterke generalisatie bij toepassing op out-of-distribution datasets (bijv. van COCO naar GQA) en tussen verschillende taaktypen (discriminatie naar generatie).
• Efficiëntie: AFTER behoudt de inferentiesnelheid (ongeveer 29,7 tokens per seconde) en heeft een lage geheugenvoetafdruk, wat het geschikt maakt voor praktische implementatie.
• Visuele Analyse: PCA-projecties tonen aan dat de bewerking de visuele activaties succesvol verschuift richting de cluster van feitelijke tekstuele activaties, waardoor de visueel-taalkundige discrepantie wordt verminderd.

Betekenis en Toekomst

De paper demonstreert dat het actief sturen van interne activaties naar feitelijke tekstuele semantiek een krachtige en efficiënte manier is om hallucinaties in LVLMs te bestrijden. In tegenstelling tot methoden die het model opnieuw trainen of complexe decoding-strategieën vereisen, biedt AFTER een "plug-and-play" oplossing met minimale kosten.

Beperkingen en Toekomstig Werk:

• De methode is afhankelijk van de toegang tot interne activaties, wat betekent dat deze momenteel alleen werkt op open-source modellen en niet op gesloten modellen.
• Voor domeinspecifieke taken (zoals medische beeldanalyse) is aanvullende domeinspecifieke data nodig om de feitelijke beschrijvingen adequaat te genereren.
• Toekomstig werk richt zich op het uitbreiden van AFTER naar gespecialiseerde domeinen.

Samenvattend biedt AFTER een fundamentele verbetering in de betrouwbaarheid van LVLMs door de inherente taalkundige bias te overwinnen via adaptieve, feitelijke sturing.