Technische Samenvatting: Het Mitigeren van Hallucinaties in Grote Visueel-Taalmodellen via Causale Route-Gating

1. Probleemstelling

Grote Visueel-Taalmodellen (LVLMs) lijden vaak aan hallucinaties, waarbij ze vloeiende en plausible inhoud genereren die niet wordt ondersteund door de invoerafbeelding. Dit probleem ondermijnt de betrouwbaarheid van LVLMs in real-world implementaties, met name in veiligheidskritieke of besluitvormingsondersteunende contexten.

Het artikel identificeert een specifiek faalmechanisme: routeconcurrentie. Zelfs wanneer visuele tokens aandacht ontvangen, kan de uiteindelijke tokenbeslissing worden gedomineerd door de tekstuele route. Bijgevolg volgt de decoder linguïstische priors (wat plausibel is) in plaats van visueel bewijs (wat zichtbaar is). Bestaande trainingsvrije mitigatiestrategieën vertrouwen vaak op aandacht-gebaseerde proxies (bijv. Visual Attention Ratio, VAR) of grove herschaling van heads. De auteurs betogen dat deze onvoldoende zijn omdat:

• Een hoge aandachtmassa niet noodzakelijk vertaalt naar een causale bijdrage aan de output.
• Softmax-normalisatie visuele aandachtsaandelen kan opzettelijk inflateren door tekstuele concurrentie te verzwakken, zonder de beslissing daadwerkelijk te verankeren.
• Grove herschaling zowel visuele als tekstuele routes onderdrukt, wat potentieel echt verankerd redeneren kan schaden.

2. Methodologie: Causale Route-Gating (CRG)

De voorgestelde methode, Causale Route-Gating (CRG), is een trainingsvrije interventie tijdens de inferentie die werkt op token-niveau door aandachtheads te decomponeren in distincte visuele en tekstuele routes.

2.1. Route-Decompositie binnen Heads

De auteurs maken gebruik van de lineariteit van Transformer-operaties om de output van elke aandachtheads $h$ in laag $l$ te decomponeren in twee additieve componenten:

• Visuele Route ($O^{vis}_{l,h}$): De bijdrage afgeleid van visuele tokens.
• Tekstroute ($O^{txt}_{l,h}$): De bijdrage afgeleid van tekstuele tokens.
  De totale head-output is $O_{l,h} = O^{vis}_{l,h} + O^{txt}_{l,h}$.

2.2. Beslissings-gealigneerde Causale Route-effecten (CRE)

In plaats van te vertrouwen op aandachtwichten, meet CRG het causale effect van elke route op de beslissingsscore $\ell$ van de huidige token (bijv. log-kans van de gegenereerde token of log-odds-marge voor binair QA). Met behulp van do-interventies worden de effecten gedefinieerd als:

• $\Delta^{vis}_{l,h} = \ell(1, 1) - \ell(0, 1)$: De verandering in score wanneer de visuele route wordt verwijderd.
• $\Delta^{txt}_{l,h} = \ell(1, 1) - \ell(1, 0)$: De verandering in score wanneer de tekstroute wordt verwijderd.

Een positieve $\Delta$ geeft aan dat de route de beslissing ondersteunt; een negatieve $\Delta$ geeft aan dat deze de beslissing tegenwerkt.

2.3. Conflictidentificatie en Visuele Aandachtsindex (VRI)

De methode identificeert routeconflicten waarbij de visuele en tekstuele routes de beslissing in tegenovergestelde richtingen duwen (tekens van $\Delta^{vis}$ en $\Delta^{txt}$ verschillen).

• Conflict-A (+, -): Visueel ondersteunt, tekst werkt tegen.
• Conflict-B (-, +): Visueel werkt tegen, tekst ondersteunt (het kenmerk van hallucinatie waarbij taalkundige priors visueel bewijs overrulen).

Om interventie te prioriteren, definiëren de auteurs de Visuele Aandachtsindex (VRI):
$$VRI_{l,h} = \frac{|\Delta^{vis}_{l,h}|}{|\Delta^{vis}_{l,h}| + |\Delta^{txt}_{l,h}| + \epsilon}$$
Een lage VRI geeft aan dat een head door tekst wordt gedreven (prior-dominant).

2.4. Efficiënte Schatting en Interventie

• Eén-doorwaarde/Eén-gradiënt Benadering: Het berekenen van exacte do-effecten vereist meerdere doorloop-passes. CRG gebruikt een eerste-orde benadering die slechts één doorloop-pass en één gradiëntquery per token vereist. De schattingen worden afgeleid uit het inproduct van de route-outputs en de gradiënt van de beslissingsscore ($\nabla \ell$).
• Conflictbewuste Gating:
  1. Selecteer de top-$k$ heads met de laagste VRI binnen conflictwegen.
  2. Pas een tekst-route-gate ($g^{txt}_{l,h}$) toe om de tekstbijdrage te onderdrukken terwijl de visuele route intact blijft ($g^{vis}_{l,h} = 1$).
  3. Gedifferentieerde Onderdrukking:
     • Conflict-A: Matige onderdrukking (gate-bereik [0.5, 1.0]) om ruis te stabiliseren.
     • Conflict-B: Sterke onderdrukking (gate-bereik [0, 0.5]) om taalkundige priors die visueel bewijs tegenspreken, af te snijden.

3. Belangrijkste Bijdragen

1. Causale Effecten op Routeniveau: Introductie van beslissings-gealigneerde causale effecten voor visuele en tekstuele routes binnen aandachtheads, verdergaand dan correlatieve aandachtsproxies.
2. Visuele Aandachtsindex (VRI): Een genormaliseerde metriek om prior-dominante heads te identificeren die hallucinaties aandrijven.
3. Efficiënte Schatter: Een eerste-orde schatter die per-stap head-selectie mogelijk maakt met minimale rekenkundige overhead (één doorloop, één gradiënt).
4. Conflictbewuste Interventie: Een selectief gatingmechanisme dat alleen de tekstroute onderdrukt in conflicterende heads, waardoor visuele verankering behouden blijft.
5. Theoretische Analyse: Aantonen dat aandachtmassa (VAR) geen voldoende proxy is voor beslissingsrelevante visuele verankering vanwege waarde-inhoud en softmax-concurrentie-effecten.

4. Experimentele Resultaten

De methode werd geëvalueerd op vijf benchmarks die discriminatieve (POPE, AMBER) en generatieve (CHAIR, MMHal-Bench, MME) instellingen omvatten, over drie modellen (LLaVA-1.5-7B, Qwen-VL-Chat, Qwen2.5-VL-7B-Instruct).

• Reductie van Hallucinaties: CRG reduceerde consistent hallucinatie-gerelateerde fouten. Op de POPE-benchmark verbeterde het de nauwkeurigheid met 6,3% tot 7,0% ten opzichte van reguliere decoding en presteerde het beter dan sterke baselines zoals VCD, OPERA en VTI.
• Generatieve Prestaties: Op CHAIR behaalde CRG de laagste hallucinatiepercentages (CS/CI) terwijl het een hoge recall behield en slechts een bescheiden toename in gegenereerde lengte veroorzaakte.
• Multimodale Capabiliteit: Op MME verbeterde de methode de prestaties over verankering-gevoelige categorieën (Bestaan, Aantal, Positie, Kleur) en hogere redeneertaken, wat aangeeft dat reductie van hallucinaties niet ten koste ging van de algemene multimodale prestaties.
• Efficiëntie: CRG veroorzaakte een 2,27x latentie-overhead (ongeveer 139ms/stap) ten opzichte van reguliere decoding, wat vergelijkbaar is met Visual Contrastive Decoding (VCD) en aanzienlijk sneller is dan OPERA (7,12x). Cruciaal introduceerde het geen extra piek GPU-geheugenoverhead (1,00x).

5. Betekenis en Claims

Het artikel stelt dat hallucinatie in LVLMs vaak het gevolg is van mismatched routeconcurrentie waarbij linguïstische priors visueel bewijs overrulen. Door deze interne routes bloot te leggen en te interveniëren, biedt CRG een gerichte oplossing die:

• Visuele Verankering Herstelt: Het stelt het model in staat om te vertrouwen op visueel bewijs, zelfs wanneer taalkundige priors een ander antwoord suggereren.
• Indiscriminatie Onderdrukking Vermijdt: In tegenstelling tot methoden die hele heads herschalen, onderdrukt CRG selectief alleen de tekstroute in conflicterende heads, waardoor het visuele pad behouden blijft.
• Interpreteerbaarheid Biedt: Het gebruik van causale effecten en VRI biedt een duidelijkere diagnose van waarom een model hallucineert (d.w.z. specifieke heads waar tekst-priors visueel bewijs domineren) in vergelijking met aandachtmassa-proxies.

6. Beperkingen

De auteurs merken expliciet enkele beperkingen op:

• Scope: CRG richt zich op conflict-gemedieerde hallucinaties. Het kan geen fouten corrigeren waarbij zowel visuele als tekstuele routes dezelfde bias delen (bijv. een "roze banaan" waarbij de visuele encoder zelf bevooroordeeld is) of fouten die worden gedomineerd door waarnemings- of OCR-falen.
• Zwak Bewijs: In gevallen van dubbelzinnig visueel bewijs kan de methode te conservatief worden, waardoor nuttige taalkundige priors worden onderdrukt die zouden kunnen helpen bij het raden.
• Wit-Box Vereiste: De methode vereist toegang tot interne activaties en gradiënten, waardoor deze ongeschikt is voor gesloten API's zonder aanpassing.
• Overhead: Hoewel bescheiden, voegt de gradiëntberekening per token latentie toe, wat significant kan zijn voor zeer lange generaties.