First Logit Boosting: Visual Grounding Method to Mitigate Object Hallucination in Large Vision-Language Models

Probleemstelling: Object Hallucinatie en Langdurige Verval

Grote Vision-Language Modellen (LVLMs) presteren uitstekend in multimodale taken zoals beeldbeschrijving en visuele vraag-antwoordtaken. Een kritieke beperking blijft echter object hallucinatie: het genereren van objecten in de tekst die niet in het invoerbeeld aanwezig zijn.

Bestaande oplossingen hebben aanzienlijke nadelen:

1. Opnieuw trainen (Retraining): Vereist grote datasets en hoge rekencapaciteit (bijv. RLHF).
2. Externe grounding: Vereist extra modellen om objecten te verifiëren, wat de efficiëntie verlaagt.
3. Trainingsvrije methoden (zoals Contrastive Decoding - CD): Deze zijn efficiënter maar lijden onder langdurig verval (long-term decay). Naarmate de tekstgeneratie vordert, neemt de aandacht voor visuele bewijzen af en domineren taalkundige priors (statistische kansen op woorden). Hierdoor ontstaan hallucinaties vooral in de latere delen van een zin. Bovendien vereist CD twee forward passes per decodestap, wat de inferentietijd verdubbelt.

Methodologie: First Logit Boosting (FLB)

De auteurs stellen First Logit Boosting (FLB) voor, een eenvoudige maar effectieve, trainingsvrije techniek die hallucinaties aanpakt zonder extra modellen of opnieuw trainen.

Kernprincipe:
De eerste gegenereerde token in een LVLM bevat de sterkste visuele grounding, omdat deze direct na de visuele tokens wordt gegenereerd voordat de cross-modale aandacht begint te vervallen (door positiescheiding in RoPE-embeddings). FLB slaat de logit (de score) van deze eerste token op en voegt deze toe aan de voorspellingen van alle daaropvolgende tokens.

Formulering:
Voor elke decodestap $t$ wordt de nieuwe logit berekend als:
$$\text{logit}_{\text{FLB}} = \text{logit}_{\theta}(y_t | v, x, y_{<t}) + w_t \cdot l_0$$
Waarbij:

• $l_0$ de opgeslagen logit van de eerste token is.
• $w_t$ een tijdsafhankelijke weegfunctie is die toeneemt naarmate de generatie vordert ($w_t = \gamma(1 - e^{-\lambda t})$), om het verval van visuele informatie te compenseren.
• Een adaptieve plausibiliteitsbeperking wordt toegepast om te voorkomen dat onwaarschijnlijke tokens worden geselecteerd door de toegevoegde logit.

De twee werkingsmechanismen:

1. Directe visuele grounding: De opgeslagen logit fungeert als een "visuele anker" die visuele bewijzen (bijv. het woord "man") consistent hoog houdt in de kansverdeling, zelfs naarmate de zin langer wordt.
2. Het "The"-effect (Implicit Visual Referencing): De eerste token is vaak een lidwoord zoals "The". Door de kans op "The" te verhogen, wordt de kans vergroot dat de volgende zelfstandige naamwoorden verwijzen naar reeds gevestigde entiteiten in de context, in plaats van nieuwe, mogelijk hallucinante objecten te introduceren. Dit stabiliseert de referentiële coherentie.

Belangrijkste Bijdragen

1. Ontwikkeling van FLB: Een lichtgewicht, trainingsvrije methode die objecthallucinatie effectief onderdrukt door het eerste token-logit opnieuw te gebruiken.
2. Analyse van Mechanismen: Identificatie en kwantificering van twee complementaire effecten: directe visuele grounding en het stabiliserende "The"-effect.
3. Efficiëntie: In tegenstelling tot Contrastive Decoding (die twee forward passes vereist), vereist FLB slechts één forward pass met verwaarloosbare overhead.
4. State-of-the-art Resultaten: FLB presteert beter dan bestaande methoden op diverse benchmarks zonder de inferentie-efficiëntie te verstoren.

Resultaten en Evaluatie

De auteurs hebben FLB getest op twee populaire LVLM-architecturen (LLaVA-1.5 en InstructBLIP) en meerdere benchmarks (CHAIR, AMBER, MMHalBench, ConvBench).

• Prestatieverbetering: FLB reduceerde hallucinaties significant (bijv. een daling van CHAIRi van 17.3 naar 12.0 op LLaVA-1.5) terwijl de dekking van correcte objecten (Cover) behouden bleef.
• Vergelijking met CD: FLB overtrof methoden zoals VCD, ICD en M3ID consistent.
• Inferentiesnelheid: Waar CD-methoden ongeveer twee keer zo traag zijn als de baseline (vanwege dubbele forward passes), behoudt FLB de snelheid van de baseline.
• Kwaliteit en Diversiteit: Evaluaties met GPT-4V toonden aan dat FLB de grammaticale correctheid, gedetailleerdheid en expressieve diversiteit van de zinnen niet schaadt, ondanks de toename van zinnen die met "The" beginnen.
• Ablatiestudies: De studie bevestigde dat zowel de directe visuele grounding als het "The"-effect bijdragen aan de verbetering, waarbij het "The"-effect een aanzienlijk deel van de winst levert door de entropie (onzekerheid) van de voorspellingen te verlagen.

Betekenis en Toekomstperspectief

FLB biedt een praktische oplossing voor een van de grootste obstakels in de inzetbaarheid van LVLMs: hallucinaties. Door geen extra training of externe modellen te vereisen, is de methode direct toepasbaar in real-time systemen (zoals autonome voertuigen of medische beeldanalyse) waar betrouwbaarheid en snelheid cruciaal zijn.

Beperkingen:
De methologie lost de onderliggende structurele oorzaak van het verval (RoPE) niet fundamenteel op, maar mitigeert het effect via versterking van vroege tokens. Toekomstig werk zou kunnen focussen op adaptieve token-level grounding of positiemechanismen die rekening houden met verval.

Samenvattend introduceert FLB een elegante, kosteneffectieve strategie om de visuele grounding in LVLMs te behouden gedurende de hele generatiecyclus, waardoor de betrouwbaarheid van multimodale AI-systemen aanzienlijk wordt verhoogd.