Text-Guided Layer Fusion Mitigates Hallucination in Multimodal LLMs

Deze paper introduceert TGIF, een lichtgewicht module die tekstgestuurde, query-afhankelijke fusie van visuele lagen toepast om hallucinaties in multimodale grote taalmodellen te verminderen door de hiërarchische rijkdom van visuele kenmerken beter te benutten.

De kern

Stel je voor dat je een zeer slimme, maar soms wat overmoedige assistent hebt. Deze assistent is een Multimodaal Groot Taalmodel (MLLM). Hij kan lezen, schrijven en kijken naar afbeeldingen. Maar hij heeft een groot probleem: hij hallucineert.

Dat betekent dat hij met 100% zekerheid dingen ziet die er niet zijn, of dingen beschrijft die niet kloppen, puur omdat hij denkt dat het logisch klinkt. Bijvoorbeeld: als je hem een foto van een lege tafel laat zien en vraagt "Is er een kopje op de tafel?", zegt hij misschien "Ja", omdat hij in zijn training vaak kopjes op tafels heeft gezien. Hij vertrouwt meer op zijn "taal-gevoel" dan op wat hij echt ziet.

De auteurs van dit paper, Chenchen Lin en zijn collega's, hebben een oplossing bedacht die ze TGIF noemen (niet de vrijdag, maar Text-Guided Inter-layer Fusion). Hier is hoe het werkt, vertaald naar simpele taal en metaforen:

1. Het Probleem: De "Eén-Kleur" Brillen

Stel je voor dat de assistent een bril draagt om naar de foto te kijken. Tot nu toe gebruikten alle slimme modellen een bril die alleen de diepste laag van de afbeelding bekijkt.

• Diepe lagen zijn goed voor het begrijpen van het grote plaatje (bijv. "Dit is een feestje").
• Maar ze zijn slecht in details (bijv. "Is dat een kopje of een vaas?").

Als je alleen naar het grote plaatje kijkt, kun je makkelijk in de war raken. De assistent denkt: "Ah, feestje, dus er moet wel een kopje zijn!" en verzonnt het kopje.

2. De Oplossing: Een Chameleons-bril

De onderzoekers zeggen: "Wacht even, niet elke vraag heeft dezelfde soort kijken nodig!"

• Als je vraagt: "Wat gebeurt er op deze foto?", wil je het grote plaatje zien (diepe lagen).
• Als je vraagt: "Is er een kopje?", moet je heel goed kijken naar de randen en details (ondiepe lagen).
• Als je vraagt: "Wat staat er op het bordje?", moet je kijken naar de tekststroken (middelste lagen).

Hun nieuwe systeem, TGIF, is als een slimme chameleons-bril. In plaats van één vaste bril, heeft de assistent nu een hele set lenzen (alle lagen van de visuele encoder).

3. Hoe werkt TGIF? De "Regisseur"

Het geheim zit in een klein, slim onderdeel dat we een Regisseur kunnen noemen.

• De assistent kijkt eerst naar je vraag (de tekst).
• De Regisseur denkt na: "Oh, deze vraag gaat over details. Ik moet de assistent nu de 'detail-bril' geven."
• Vervolgens mixt de Regisseur de beelden uit de verschillende lagen van de camera. Hij geeft meer gewicht aan de lagen die belangrijk zijn voor die specifieke vraag.

Het is alsof je een kok bent die een gerecht maakt. Soms heb je alleen de basis ingrediënten nodig (diepe lagen), soms de kruiden (middelste lagen) en soms de fijne snippers (on diepe lagen). TGIF is de kok die precies weet welke ingrediënten hij moet gebruiken voor het specifieke gerecht dat je bestelt, in plaats van altijd hetzelfde recept te volgen.

4. Waarom is dit zo goed?

• Geen extra zware training: Ze hoeven de "camera" (de visuele encoder) niet opnieuw te leren. Ze gebruiken gewoon de bestaande camera, maar veranderen alleen hoe ze de beelden samenvoegen.
• Minder hallucinaties: Omdat de assistent nu kan kiezen om naar de details te kijken als dat nodig is, ziet hij dat er geen kopje is, in plaats van er eentje te verzonnen.
• Sneller en lichter: Het systeem is heel lichtgewicht. Het kost bijna geen extra tijd of geheugen om te werken.

Samenvattend

Voorheen keken slimme AI-modellen naar foto's alsof ze door een wazige, verre lens keken. Ze zagen het grote idee, maar misten de details, waardoor ze dingen verzonnen.

Met TGIF krijgen deze modellen een slimme, aanpasbare lens. Ze kijken precies naar het deel van de foto dat nodig is voor de vraag die ze krijgen. Hierdoor worden ze veel betrouwbaarder, zien ze minder dingen die er niet zijn, en blijven ze toch slim in het begrijpen van de wereld.

Het is een beetje als het verschil tussen iemand die roept: "Ik denk dat er een kat is!" (zonder goed te kijken) en iemand die eerst goed kijkt, de oren en staart checkt, en dan pas zegt: "Ja, daar is een kat." TGIF zorgt ervoor dat de AI eerst goed kijkt.

Technische samenvatting

Probleemstelling: Hallucinaties in Multimodale LLM's

Multimodale Large Language Models (MLLM's) combineren de redeneercapaciteiten van taalmodellen met visuele encoders (zoals CLIP). Een veelvoorkomend en hardnekkig probleem is echter hallucinatie: het genereren van zelfverzekerde antwoorden die visueel niet onderbouwd zijn, maar wel plausibel lijken op basis van taalkundige priors.

De auteurs identificeren een fundamentele beperking in de huidige architectuur van MLLM's:

• Vaste Laag-Selectie: De meeste modellen projecteren visuele features van slechts één vaste laag (meestal een late, semantische laag) van de Vision Transformer (ViT) naar de taalmodel.
• Gebrek aan Hiërarchie: Vision Transformers bevatten een hiërarchie van abstracties:
  • Vroege lagen: Bevatten lage-niveau details (randen, texturen, ruimtelijke cues).
  • Middenlagen: Bevatten object-gerichte features.
  • Late lagen: Bevatten hoge-niveau semantische concepten.
• Het Dilemma: Het gebruik van alleen late lagen leidt tot hallucinaties bij detailgerichte taken (omdat details ontbreken), terwijl het gebruik van alleen vroege lagen leidt tot gebrek aan semantisch begrip. Figuur 1 in het paper illustreert dat het injecteren van features uit verschillende lagen tot kwalitatief verschillende resultaten leidt: van onderherkenning tot hallucinatie, afhankelijk van de diepte van de laag.

Methodologie: TGIF (Text-Guided Inter-layer Fusion)

Om dit probleem op te lossen, stellen de auteurs TGIF voor, een lichtgewicht architecturale module die dynamisch visuele features uit meerdere lagen van de visuele encoder weegt en fuseert, gebaseerd op de inputtekst.

Kerncomponenten:

1. Dynamische Laag-Routering: In plaats van een vaste laag te kiezen, behandelt TGIF elke laag van de bevroren visuele encoder als een "expert". Een router (een eenvoudige MLP) voorspelt een gewichtsverdeling over alle lagen.
2. Text-Guided Mechanisme: De router gebruikt de tekst-embedding van de vraag (en optioneel een globale afbeeldingsrepresentatie) om te bepalen welke lagen het meest relevant zijn voor de specifieke query.
   • Voorbeeld: Bij een vraag over tekst ("Wat staat er op het bord?") zullen de router gewichten geven aan lagen die tekststroken en details bevatten. Bij een vraag over object-existentie ("Is er een kopje?") kunnen vroege lagen (voor ruimtelijke verificatie) zwaarder wegen.
3. Fusie: De geselecteerde features worden gewogen en opgeteld tot één gefuseerde visuele representatie ($F_{fused}$), die vervolgens via een connector naar de LLM wordt gestuurd.
4. Load Balancing Loss: Om te voorkomen dat de router altijd dezelfde "veilige" lagen kiest (expert starvation), wordt een entropie-gebaseerde loss-functie toegevoegd tijdens het trainen. Dit moedigt de router aan om een diverse set lagen te verkennen, met name tijdens de pre-training fase.

Belangrijkste Kenmerken:

• Geen wijziging aan de Visuele Encoder: De ViT blijft bevroren (frozen).
• Geen Token-Overhead: Het voegt geen extra tokens toe aan de context van de LLM.
• Lichtgewicht: De router is een kleine MLP die slechts een fractie van de parameters toevoegt.

Belangrijkste Bijdragen

1. Identificatie van een Architecturale Beperking: Het paper toont aan dat het gebruik van een enkele late visuele laag de oorzaak is van hallucinaties bij detailgerichte taken en dat geen enkele vaste laag optimaal is voor alle vragen.
2. TGIF Framework: De introductie van een tekst-gestuurde inter-layer fusie-module die dynamisch de diepte van visuele abstractie aanpast aan de inputvraag, zonder extra trainingskosten of token-budget.
3. Empirisch Bewijs: Uitgebreide experimenten tonen aan dat TGIF hallucinaties significant reduceert en de prestaties op OCR-taken verbetert, terwijl het algemene redeneervermogen behouden blijft.

Resultaten

De auteurs hebben TGIF geëvalueerd op basis van LLaVA-1.5 en getest op diverse benchmarks:

• Hallucinatiemeting (POPE & HallusionBench):

  • TGIF verbeterde de nauwkeurigheid op POPE (Object Hallucination) met +1.1% ten opzichte van de baseline.
  • Op HallusionBench werd een verbetering van +3.7% behaald, waarbij het model zelfs presteerde boven grotere modellen (13B parameters) en concurrenten die decoding-interventies gebruiken.
  • Het model slaagde erin om "Yes-bias" (de neiging om objecten te hallucineren die er niet zijn) te verminderen door dynamisch vroege lagen in te schakelen voor verificatie.

• OCR en Detailherkenning:

  • Op OCRBench en TextVQA werden significante verbeteringen gezien (+0.7% tot +0.9%), wat aantoont dat het model beter in staat is om fijne details en tekst in afbeeldingen te lezen en te interpreteren.

• Algemene Redenering:

  • Op algemene benchmarks zoals ScienceQA, GQA en MMBench behaalde TGIF concurrerende resultaten, wat aantoont dat de dynamische fusie het algemene redeneervermogen niet ten koste gaat.

• Efficiëntie:

  • De methode voegt slechts 0.03% aan parameters toe en heeft een verwaarloosbare impact op de inferentie-latentie (<1% toename) en GPU-geheugengebruik.

Betekenis en Conclusie

Dit paper biedt een paradigmaverschuiving in de aanpak van hallucinaties bij multimodale modellen. In plaats van te focussen op post-hoc decoding-interventies of zware hertraining, adresseert TGIF de oorzaak op het niveau van de visuele representatie.

De belangrijkste inzichten zijn:

1. Contextuele Diepte: De "beste" visuele laag is niet statisch; deze hangt af van de vraag. Soms zijn lage-niveau details nodig voor verificatie, soms hoge-niveau semantiek voor beschrijving.
2. Dynamische Controle: Door de visuele abstractiediepte dynamisch te laten sturen door de tekst, kunnen modellen beter "gronden" (visual grounding) en minder afhankelijk worden van taalkundige priors.
3. Efficiëntie: Het is mogelijk om de betrouwbaarheid van MLLM's aanzienlijk te verhogen met minimale rekenkosten, wat TGIF een praktische oplossing maakt voor de schaalbare implementatie van betrouwbare multimodale systemen.

Kortom, TGIF demonstreert dat het slimme combineren van de hiërarchische structuur van vision transformers, gestuurd door de taalinput, een krachtige en efficiënte weg is om hallucinaties te mitigëren.