Residual Decoding: Mitigating Hallucinations in Large Vision-Language Models via History-Aware Residual Guidance

Titel: Residual Decoding: Het Mitigeren van Hallucinaties in Grote Visueel-Taalmodellen via Geschiedenis-bewuste Residuale Leiding

1. Het Probleem: Hallucinaties in LVLM's

Grote Visueel-Taalmodellen (LVLM's) hebben indrukwekkende prestaties geleverd in multimodale taken, maar lijden nog steeds onder het fenomeen van hallucinaties. Dit verwijst naar gegenereerde inhoud die grammaticaal en syntactisch correct is, maar geen overeenkomst heeft met of direct relevant is voor de visuele invoer.

De paper identificeert drie hoofdoorzaken van hallucinaties:

1. Statistische vooroorzaken (Pre-training bias): Het model leert patronen uit de trainingsdata die niet altijd overeenkomen met de werkelijkheid.
2. Zwakke visueel-taaluitlijning: De verbinding tussen het visuele en taalkundige deel van het model is niet optimaal.
3. Taal-prioriteiten (Language Priors): Tijdens het generatieproces verdwijnt de visuele context geleidelijk en neemt de invloed van taalkundige patronen toe. Het model begint voorspellingen te doen op basis van wat "grammaticaal waarschijnlijk" is in plaats van wat visueel aanwezig is. Dit wordt Language-Prior Hallucination genoemd.

Bestaande oplossingen vereisen vaak extra training (wat duur en tijdrovend is) of ingrijpen in de modelarchitectuur (wat de inferentie-efficiëntie verlaagt). Er is behoefte aan een methode die training-vrij, efficiënt en plug-and-play is.

2. Methodologie: Residual Decoding (ResDec)

De auteurs introduceren Residual Decoding (ResDec), een nieuwe, training-vrije decodeerstrategie die gebruikmaakt van historische informatie om hallucinaties te onderdrukken zonder de inferentiekost te verhogen.

A. Kernobservatie: Impliciete Redenering

De auteurs ontdekten dat LVLM's een impliciete meer-token voorspellingscapaciteit hebben. Voordat het model een antwoord expliciet decodeert, zijn de signalen voor het juiste antwoord al aanwezig in de logit-verdelingen van de voorgaande tokens.

• In de vroege fasen van generatie zijn de logit-verdelingen vaak "chaotisch".
• Naarmate de context zich ontwikkelt, stabiliseert de verdeling rond het juiste antwoord.
• Echter, vlak voor de definitieve output kan de kans op een hallucinatie-token (bijv. "C" in plaats van het juiste "D") plotseling stijgen door taal-prioriteiten, waardoor het model de verkeerde keuze maakt.

B. De U-vormige Patroon en JSD

Om de stabiele fasen te identificeren, analyseren de auteurs de Jensen-Shannon Divergentie (JSD) tussen de kansverdelingen van kandidaat-tokens over tijd. Ze observeren een U-vormig patroon:

1. Pre-Semantic Clarity Phase (PSAP): De verdeling is onstabiel en chaotisch (hoge JSD).
2. Semantic Anchoring Phase (SAP): De JSD daalt tot een minimum (nabij 0). Hier is de semantiek stabiel en geankerd in de visuele context.
3. Expressive Divergence Phase (EDP): De JSD stijgt weer naarmate het model diverse expressievormen zoekt, wat weer vatbaar is voor taal-prioriteiten.

C. Het ResDec Algoritme

ResDec gebruikt de logit-waarden uit de SAP en EDP fasen (de "post-convergentie" regio) om een residuale stroom te vormen.

1. Verzameling van Historische Informatie: De auteurs selecteren de top-k kandidaat-tokens binnen een historisch venster dat de SAP en EDP fasen omvat.
2. Vertrouwens-gewogen Aggregatie: Ze berekenen een "vertrouwens"-score ($C_i$) voor elke tijdstap in het venster, gebaseerd op de entropie van de token-verdeling. Logits worden vervolgens gewogen op basis van deze zekerheid.
3. Residuale Leiding: De geaggregeerde historische logits worden gecombineerd met de huidige logits van het model via een gewogen som:
   $$\text{logit}_{\text{ResDec}} = (1-\alpha) \cdot \text{logit}_{\text{orig}} + \alpha \cdot \text{logit}_{\text{res}}$$
   Waarbij $\alpha$ een hyperparameter is die de invloed van de historische correctie bepaalt.
4. Filtering: Een truncatie-mechanisme ($\beta$) filtert onwaarschijnlijke tokens uit de verdeling om de focus op de meest plausible opties te houden.

3. Belangrijkste Bijdragen

• Mechanistische Inzicht: De paper onthult dat hallucinaties ontstaan doordat hallucinerende tokens in de logit-verdeling de juiste tokens overtreffen tijdens het decodeerproces, vaak veroorzaakt door taal-prioriteiten.
• ResDec Methode: Een efficiënte, training-vrije strategie die historische logit-verdelingen gebruikt om een "residuale stroom" te creëren die de decodeerprocessen corrigeert.
• Efficiëntie: In tegenstelling tot methoden die contrastieve decoding vereisen (wat 2x of meer inferentietijd kost), vereist ResDec slechts één forward pass en voegt het nauwelijks extra rekentijd of geheugengebruik toe.
• Algemene Toepasbaarheid: De methode werkt plug-and-play op verschillende LVLM-architecturen zonder aanpassing van de modelgewichten.

4. Resultaten

De auteurs hebben ResDec getest op elf verschillende benchmarks, waaronder POPE, CHAIR, HallusionBench, MME, en MMBench, met modellen zoals LLaVA-1.5, InstructBLIP en Qwen2.5-VL.

• Hallucinatiemetingen:
  • Op de POPE-dataset (object-hallucinaties) verbeterde ResDec de gemiddelde nauwkeurigheid met 7,84% en de F1-score met 8,01% ten opzichte van standaard decoding.
  • Het presteerde consistent beter dan state-of-the-art methoden zoals VCD, ICD, DoLa en OPERA.
  • Op CHAIR (captioning hallucinaties) werden significante verbeteringen geboekt (bijv. 16,57% verbetering op CHAIRS).
• Algemene Prestaties: ResDec verbeterde niet alleen de nauwkeurigheid bij het vermijden van fouten, maar ook de prestaties op algemene multimodale benchmarks (zoals MME en ScienceQA), wat aantoont dat het de visuele grounding verbetert zonder de taalvaardigheid te schaden.
• Efficiëntie: De inferentie-latentie is slechts 0,02x langzamer dan standaard Greedy decoding, wat het aanzienlijk efficiënter maakt dan concurrerende training-vrije methoden.

5. Betekenis en Conclusie

Residual Decoding biedt een elegante oplossing voor het hardnekkige probleem van hallucinaties in LVLM's. Door in te spelen op de interne dynamiek van het model (de evolutie van logit-verdelingen over tijd) en gebruik te maken van historische stabiliteit, kan het model "terugkijken" om de visuele context te versterken voordat een fout wordt gemaakt.

De belangrijkste implicaties zijn:

1. Geen extra training nodig: Het is direct toepasbaar op bestaande modellen.
2. Kosteneffectief: Het vereist geen extra GPU-kracht of lange inferentietijden.
3. Betrouwbaarheid: Het maakt LVLM's veiliger en betrouwbaarder voor toepassingen waar visuele nauwkeurigheid cruciaal is (bijv. medische beeldanalyse, autonoom rijden).

De studie markeert een belangrijke stap in het begrijpen en corrigeren van de decodeer-dynamiek van multimodale modellen, waarbij de balans tussen taal en visie wordt hersteld zonder de complexiteit van het model te vergroten.