Mitigating Multimodal Hallucination via Phase-wise Self-reward

Probleemstelling

Grote Vision-Language Modellen (LVLMs) presteren indrukwekkend op diverse multimodale taken, maar kampen nog steeds met het probleem van visuele hallucinatie. Dit is het fenomeen waarbij de gegenereerde antwoorden feitelijk inconsistent zijn met de visuele invoer (bijvoorbeeld het beschrijven van objecten die niet in de afbeelding staan).

Bestaande oplossingsstrategieën hebben twee belangrijke beperkingen:

1. Finetuning met externe annotatie: Methoden die gebruikmaken van Direct Preference Optimization (DPO) vereisen grote hoeveelheden handmatig geannoteerde data, wat leidt tot enorme rekenkosten en afhankelijkheid van externe supervisie.
2. Statische post-hoc strategieën: Bestaande methoden die tijdens het inferentieproces ingrijpen (zoals contrastieve decoding of genereren-herzien), negeren vaak de dynamische aard van hallucinatie. Ze behandelen hallucinatie als een statisch probleem en missen de specifieke momenten waarop hallucinaties het meest waarschijnlijk ontstaan.

Methodologie: PSRD (Phase-wise Self-Reward Decoding)

De auteurs stellen een nieuw zelfbeloningskader voor, genaamd PSRD, dat dynamische hallucinatievermindering mogelijk maakt tijdens de inferentie zonder externe supervisie. De methode bestaat uit drie kerncomponenten:

1. Empirische Analyse: Fase-afhankelijke Patronen

Uit diepgaande analyse van het decodeerproces bleek dat visuele hallucinaties een duidelijk fase-afhankelijk dynamisch patroon vertonen:

• Hallucinaties komen niet uniform voor, maar pieken aanzienlijk aan het begin van elke semantische fase (bijvoorbeeld bij het starten van een nieuwe zin of het introduceren van een nieuw object).
• Zodra een semantische eenheid is gestart en de context is vastgelegd, neemt de hallucinatiekans binnen die fase af.
• Dit suggereert dat de overgangen tussen semantische segmenten kwetsbare "kritieke knooppunten" zijn waar ingrijpen het meest effectief is.

2. Bouw van een Lichtgewicht Beloningsmodel (Reward Model)

Om de kosten van herhaalde zelfevaluatie tijdens het decoderen te vermijden, distilleren de auteurs het intrinsieke discriminatievermogen van de LVLM in een lichtgewicht beloningsmodel.

• Zelf-evaluatie en Onzekerheidssignalen: De LVLM wordt gebruikt om gegenereerde zinnen te evalueren op feitelijke consistentie met de afbeelding. Hierbij worden interne confidence-scores gebruikt als "onzekerheidssignalen".
• Onzekerheidsgeleide Kalibratie: Een CLIP-gebaseerd model wordt getraind met een multi-objectief framework dat wordt gemoduleerd door deze onzekerheidssignalen. De trainingsdoelen omvatten:
  • Discriminative Alignment Loss: Het onderscheiden van gefundeerde versus hallucinerende zinnen.
  • Margin Enforcement Loss: Het vergroten van de afstand tussen positieve en negatieve voorbeelden in de feature-ruimte.
  • Hallucination Consistency Loss: Het zorgen dat verschillende hallucinerende zinnen voor dezelfde afbeelding dicht bij elkaar clusteren.
• Het resultaat is een model dat snel en nauwkeurig kan voorspellen of een gegenereerde frase hallucineert.

3. Gerichte Interventie via "Scout-and-Project"

Tijdens het decoderen gebruikt PSRD het beloningsmodel voor online, gerichte interventie:

• Fase-detectie: Het systeem segmenteert de gegenereerde tekst in semantische fasen.
• Scout-and-Project Strategie: Zodra een nieuwe fase begint (het kwetsbare punt), voert het systeem een zoektocht uit om de beste token te vinden die de hallucinatie voorkomt.
  • Stage 1 (Scouting): Er wordt een lage-kosten scan uitgevoerd over de top-$K$ meest waarschijnlijke tokens met een initiële interventiestrength van 0.
  • Stage 2 (Projectie): Als de drempelwaarde voor acceptatie niet wordt gehaald, wordt de interventiestrength ($\alpha$) lokaal geoptimaliseerd via een secant-methode (gebaseerd op lokale trends in de beloningsscore) om een geschikte contrastieve penalty te vinden.
• Dit proces zorgt voor dynamische onderdrukking van hallucinaties op het exacte moment dat ze dreigen te ontstaan, zonder de hele generatie opnieuw te hoeven genereren.

Belangrijkste Bijdragen

1. Empirisch Inzicht: Het aantonen dat visuele hallucinaties fase-afhankelijke dynamische patronen vertonen, met een piek aan het begin van elke semantische fase.
2. PSRD Framework: Een nieuw zelfbeloningskader dat online hallucinatiecorrectie mogelijk maakt via fase-geleide zelfbeloningssignalen, zonder finetuning van het basismodel.
3. Efficiëntie en Generalisatie: Het distilleren van een lichtgewicht beloningsmodel dat de kosten van online evaluatie drastisch verlaagt en werkt over verschillende LVLM-architecturen.
4. Uitgebreide Validatie: Experimenten op vijf benchmarks met vier verschillende LVLMs, waarbij PSRD consistent beter presteert dan bestaande post-hoc methoden.

Resultaten

De experimentele resultaten tonen aan dat PSRD een aanzienlijke verbetering biedt:

• Hallucinatievermindering: PSRD verlaagt het hallucinatiepercentage van LLaVA-1.5-7B met 50,0% (gemeten via de CHAIR-metriek op de AMBER-benchmark).
• Vergelijking met SOTA: Het presteert consistent beter dan bestaande post-hoc methoden (zoals M3ID, VCD, Octopus) en zelfs beter dan methoden die gebaseerd zijn op finetuning met externe data.
• Propagatiepreventie: Door in te grijpen aan het begin van fasen, wordt de propagatie van hallucinaties naar volgende tokens sterk verminderd. De accumulatiesnelheid van hallucinaties is slechts 0,07%, ongeveer zeven keer lager dan het basismodel.
• Efficiëntie-Effectiviteit Trade-off: Het systeem biedt een hoge mate van controle over de trade-off tussen prestatie en inferentie-efficiëntie. Door de drempelwaarde ($\tau$) aan te passen, kunnen gebruikers kiezen tussen strengere hallucinatieonderdrukking (meer tijd) of snellere generatie.
• Kwaliteit: De gegenereerde inhoud behoudt een hoge vloeiendheid en grammaticale consistentie, wat bevestigd werd door menselijke evaluatie via LLM-judges.

Significantie

Deze paper introduceert een paradigmaverschuiving in de aanpak van multimodale hallucinaties:

• Van Generatie naar Discriminatie: Het paper benadrukt dat het discrimineren van onbetrouwbare outputs structureel eenvoudiger is dan het genereren van perfecte outputs. Door een robuust discriminator (beloningsmodel) te trainen om de generatie te sturen, kan men betere resultaten bereiken dan door alleen de generator te schalen.
• Zelfverbetering zonder Kosten: Het biedt een schaalbare route voor zelfverbetering van LVLMs zonder de prohibitieve kosten van continue finetuning of grote datasets met menselijke annotaties.
• Procesgericht Perspectief: Het benadrukt het belang van het begrijpen van het proces van hallucinatie (fase-dynamiek) in plaats van alleen het resultaat te corrigeren, wat leidt tot meer gerichte en efficiënte interventies.

Samenvattend biedt PSRD een krachtige, kosteneffectieve en generaliseerbare oplossing om de betrouwbaarheid van Vision-Language Modellen in real-world toepassingen aanzienlijk te verbeteren.