Instruction-Evidence Contrastive Dual-Stream Decoding for Grounded Vision-Language Reasoning

1. Probleemstelling

Vision-Language Models (VLM's) hebben sterke capaciteiten aangetoond in het volgen van instructies en open-ended redeneren. Ze lijden echter aanzienlijk aan hallucinatie, waarbij modellen vloeiende, plausibele, maar visueel niet-ondersteunde inhoud genereren (bijvoorbeeld niet-bestaande objecten, onjuiste attributen of gefabriceerde relaties).

• Oorzaak: Het artikel identificeert dat standaard instructie-prompting taalkundige priors versterkt. Wanneer visuele signalen dubbelzinnig of zwak zijn, prioriteert het model statistische waarschijnlijkheden uit zijn trainingsdata boven daadwerkelijk beeldbewijs.
• De Trade-off: Bestaande pogingen om dit op te lossen creëren vaak een dichotomie:
  • Instructie-gedreven prompts leveren rijke, beschrijvende tekst op, maar met hoge hallucinatiepercentages.
  • Bewijs-beperkte prompts verminderen hallucinaties, maar resulteren in te conservatieve, letterlijke en oninformatieve output.
• Kloof: Huidige Contrastive Decoding (CD) methoden vertrouwen vaak op statische weging of specifieke soorten perturbaties (bijvoorbeeld beeldcorruptie) die de behoefte aan taalkundige rijkdom en visuele trouw tijdens de generatie niet dynamisch in evenwicht brengen.

2. Methodologie: IECD2

De auteurs stellen Instruction-Evidence Contrastive Dual-Stream Decoding (IECD2) voor, een trainingsvrij, model-agnostisch decoderingskader. Het werkt door op elke decoderingsstap twee parallelle kansverdelingen te onderhouden en deze adaptief te fuseren.

A. Dual-Stream Formulering

Op elke decoderingsstap $t$, gegeven een geschiedenis $y_{<t}$, genereert het model twee token-kansverdelingen over het vocabulaire:

1. Instruction Stream ($p^{(I)}_t$): Gecconditioneerd op een standaard natuurlijke taal-instructieprompt ($S$). Deze stroom vangt taalkundige priors, wat vloeiendheid, coherentie en beschrijvende rijkdom bevordert. Hij is vatbaar voor hallucinatie wanneer visueel bewijs zwak is.
2. Evidence Stream ($p^{(E)}_t$): Gecconditioneerd op een promptvariant ($x_{evidence}$) die het model expliciet instrueert om zich strikt te baseren op waarneembare beeldinhoud. Deze stroom onderdrukt speculatieve inferenties en fungeert als een conservatieve, visueel verankerde basislijn.

Opmerking: Beide stromen gebruiken dezelfde onderliggende VLM-parameters; het verschil ontstaat uitsluitend door de conditionerende prompts.

B. Divergentie-bewuste Contrastive Gating

De kerninnovatie is een adaptief fusiemechanisme dat deze twee stromen balanceert op basis van hun onenigheid.

• Geometrische Fusie: De uiteindelijke kansverdeling $p^{(IECD2)}_t$ is een geometrisch gemiddelde van de twee stromen:
  $$p^{(IECD2)}_t(v) \propto (p^{(I)}_t(v))^{g_t} \cdot (p^{(E)}_t(v))^{1-g_t}$$
  waarbij $g_t \in [0, 1]$ een gating-coëfficiënt is.
• Symmetrische KL-divergentie: De gate $g_t$ wordt bepaald door de symmetrische Kullback-Leibler (KL) divergentie ($D_t$) tussen de twee stromen:
  $$D_t = KL(p^{(I)}_t || p^{(E)}_t) + KL(p^{(E)}_t || p^{(I)}_t)$$
• Adaptieve Logica:
  • Lage Divergentie ($D_t \approx 0$): De stromen zijn het eens. De gate staat toe dat de Instruction Stream meer invloed heeft, waardoor taalkundige vloeiendheid en beschrijvende kracht behouden blijven.
  • Hoge Divergentie ($D_t \gg 0$): De stromen zijn het oneens (wat aangeeft dat de instructiestroom waarschijnlijk hallucineert). De gate ($g_t$) daalt scherp naar 0, onderdrukt de instructiestroom en dwingt het model om te vertrouwen op de Evidence Stream om hallucinatie te voorkomen.

3. Belangrijkste Bijdragen

1. Dual-Stream Kader: Introductie van IECD2, dat expliciet parallelle instructie-gedreven en bewijs-gegronde token-verdelingen onderhoudt tijdens de generatie zonder hertraining.
2. Divergentie-gebaseerde Gating: Een nieuw mechanisme dat symmetrische KL-divergentie gebruikt om dynamisch conflicten op te lossen tussen taalkundige priors en visueel bewijs, selectief hallucinatie-gevoelige tokens onderdrukt terwijl informatieve inhoud behouden blijft.
3. Uitgebreide Evaluatie: Uitgebreide experimenten over diverse taken (VQA, Captioning, Object Detection) en datasets (POPE, MME, VQAv2, AMBER, MS-COCO, LLaVA-Bench) die consistente verbeteringen aantonen.

4. Experimentele Resultaten

De auteurs hebben IECD2 geëvalueerd op LLaVA-1.5-7B en InstructBLIP over meerdere benchmarks.

• Reductie van Hallucinaties:
  • MSCOCO Captioning: IECD2 verminderde CHAIRs (zinsniveau hallucinatie) met 85,2% voor LLaVA-1.5 en 98,8% voor InstructBLIP ten opzichte van standaard decodering. Het presteerde beter dan sterke baselines zoals IFCD, CATCH en Octopus.
  • AMBER Generatieve Taak: Bereikte enorme reducties in het hallucinatiepercentage (Hal) en Cognitieve Hallucinatie (Cog), bijvoorbeeld het verminderen van Cog van 31,0 naar 0,4 voor LLaVA-1.5.
• Taaknauwkeurigheid & Verankering:
  • POPE (Objectbestaan): Verbeterde de nauwkeurigheid met maximaal 5,1% en F1 met 4,8% ten opzichte van standaard decodering, wat robuustheid aantoont tegenover adversariale en populaire steekproefbias.
  • VQAv2: Verbeterde de nauwkeurigheid met +7,76% (LLaVA-1.5) en +14,24% (InstructBLIP) terwijl concurrerende prestaties behouden bleven.
  • MME: Toonde stabiele prestaties over perceptie-taken (bestaan, tellen, kleur) en cognitie-taken (gezonde verstand, code), bewijzend dat de methode diverse hallucinatietypen aankan.
• Efficiëntie:
  • De methode is trainingsvrij.
  • De toename in inferentietyd is beheersbaar (ongeveer 2,3s per query voor generatieve taken zonder KV-cache; gereduceerd tot 1,1s met KV-cache).

5. Betekenis en Impact

• Oplossen van de Vloeiendheid-Trouw Trade-off: IECD2 breekt succesvol de trade-off waarbij het verminderen van hallucinaties meestal de outputkwaliteit verslechtert. Het produceert bijschriften die zowel beschrijvend (rijk aan taal) als feitelijk accuraat (gegronde in visie) zijn.
• Generaliseerbaarheid: Als een decoderingstijdstip-strategie is het toepasbaar op elke instructie-getuned VLM zonder parameterupdates of hertraining te vereisen, wat het zeer schaalbaar maakt.
• Mechanisme-inzicht: Het artikel levert empirisch bewijs dat hallucinatie niet slechts een modeldefect is, maar het resultaat van conflicterende kansverdelingen tussen instructievolging en bewijsverankering. De symmetrische KL-gate fungeert effectief als een "conflictdetector" om dit te mitigeren.
• State-of-the-Art Prestaties: De resultaten vestigen IECD2 als een nieuwe state-of-the-art aanpak voor geankerd vision-language redeneren, die gespecialiseerde methoden zoals VCD, ICD en RBD overtreft op zowel discriminatieve als generatieve taken.