💻 computer science

MLLMs Hallucinate when Information Distribution Drifts in Synergy Heads

Het artikel stelt HEAL voor, een nieuw framework dat hallucinaties in Multimodale Grote Taalmodellen identificeert en mitigeert door de distributie-drifts van informatie in synergy heads te analyseren en dynamische kalibratie toe te passen om outputs naar feitelijk bewijs te sturen.

Oorspronkelijke auteurs: Meng'en Qin, Junye Chen, Jucheng Liu, Youlu Xing, Song Wang, Ruize Han

Gepubliceerd 2026-09-10

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Meng'en Qin, Junye Chen, Jucheng Liu, Youlu Xing, Song Wang, Ruize Han

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Multimodale grote taalmodellen zijn een krachtige nieuwe klasse van kunstmatige intelligentie die ontworpen is om tegelijkertijd te kunnen zien en spreken. In tegenstelling tot traditionele systemen die tekst of afbeeldingen geïsoleerd verwerken, kunnen deze modellen naar een foto kijken en deze beschrijven, vragen erover beantwoorden of een verhaal vertellen op basis van wat ze zien. Ze werken door twee verschillende stromen informatie samen te weven: de visuele gegevens van de afbeelding en de taalkundige patronen die zijn geleerd uit enorme hoeveelheden tekst. Om deze systemen echt nuttig te maken in kritieke vakgebieden zoals medische beeldvorming of autonoom rijden, moeten ze betrouwbaar zijn. Echter, ze lijden vaak aan een probleem dat bekend staat als hallucinatie. Dit gebeurt wanneer het model een reactie genereert die zelfverzekerd en aannemelijk klinkt, maar feitelijk onjuist is over de visuele wereld, zoals beweren dat een foto van een kat een hond bevat, of details verzinnen die simpelweg niet in de afbeelding aanwezig zijn.

Lange tijd geloofden onderzoekers dat deze fouten ontstonden omdat het model te veel aandacht besteedde aan zijn interne kennis van taal en te weinig aan de werkelijke afbeelding. Het heersende idee was dat het model, terwijl het zijn antwoord schreef, weg zou drijven van de afbeelding en te zwaar zou vertrouwen op wat het verwachtte te zien op basis van woorden alleen. Om dit op te lossen, richtten eerdere pogingen zich op het dwingen van het model om harder naar de afbeelding te kijken of op het volledig opnieuw trainen van het systeem. Deze methoden behandelden het model vaak als een 'black box', waarbij het gedrag van buitenaf werd aangepast zonder de interne mechanica te begrijpen waar de fout in eerste instantie vandaan kwam.

Een team van onderzoekers aan de Shenzhen University of Advanced Technology heeft nu in de motor van deze modellen gekeken om een andere verklaring te vinden. Zij stellen dat hallucinaties niet worden veroorzaakt door een simpel gebrek aan aandacht voor de afbeelding, noch door het model de afbeelding volledig te laten negeren. In plaats daarvan ontdekten zij dat de fout ontstaat wanneer de interne balans tussen visuele en taalkundige informatie instabiel wordt binnen specifieke delen van het verwerkingsnetwerk van het model. De onderzoekers ontwikkelden een methode genaamd HEAL, wat staat voor Head-lEvel information disentAnglement and caLibration (op hoofd niveau informatie ontwarren en kalibreren), om deze disbalans in realtime te identificeren en te corrigeren.

De kern van hun ontdekking ligt in de manier waarop het model informatie verwerkt. Binnen deze grote modellen zijn er veel kleine verwerkingseenheden die 'attention heads' (aandachtskoppen) worden genoemd. Denk aan deze koppen als een team van specialisten die samenwerken om een zin te begrijpen. Sommige specialisten richten zich puur op de woorden, anderen puits op de afbeelding, en een derde groep werkt de twee samen. De onderzoekers ontdekten dat de groep die verantwoordelijk is voor het samenvoegen van de twee stromen — wat zij 'synergy heads' (synergiekoppen) noemen — de plek is waar de problemen beginnen. Wanneer het model correct werkt, behouden deze synergiekoppen een gezonde balans, waarbij ze visuele en taalkundige informatie in een stabiel evenwicht houden. Echter, wanneer het model begint te hallucineren, verschuift deze balans. De informatieverdeling binnen deze samenvoegingskoppen drijft weg van dat gezonde evenwicht, waardoor het model zijn verankering in het visuele bewijs verliest.

Cruciaal is dat de onderzoekers de gedachte hebben uitgesloten dat hallucinaties optreden omdat er simpelweg te weinig specialisten zijn die naar de afbeelding kijken of omdat de beeldspecialisten te zwak zijn. Hun analyse toonde aan dat het aantal visueel gerichte koppen constant blijft, of het model nu de waarheid spreekt of liegt. Het probleem is niet een tekort aan visuele aandacht, maar een drift in hoe de samenvoegingsspecialisten de mix van informatie afhandelen. Wanneer het model een correcte beschrijving genereert, houden de synergiekoppen de visuele en taalkundige inputs in een stabiele ratio. Wanneer het hallucineert, raakt die ratio scheef, waarbij het vaak te zwaar leunt op taalkundige patronen terwijl de visuele verbinding verzwakt, ook al is de afbeelding nog steeds aanwezig.

Om dit op te lossen, creëerde het team een dynamische kalibratiestrategie die fungeert als een regulator in realtime. In plaats van het model opnieuw te trainen of de architectuur te veranderen, grijpt HEAL in tijdens het generatieproces. Het monitort de informatie die door de synergiekoppen stroomt en detecteert wanneer de balans begint te driften. Wanneer een drift wordt gedetecteerd, injecteert het systeem een kalibratiefactor die de visuele en taalkundige informatie voorzichtig terugstuurt naar het juiste evenwicht. Dit proces is continu en adaptief; het dwingt het model niet om de taal te negeren of overmatig op de afbeelding te focussen, maar stuurt de interne representatie terug naar een staat waarin het visuele bewijs juist gewogen wordt tegen de taalkundige context.

De onderzoekers testten deze aanpak op verschillende state-of-the-art modellen, waaronder versies van LLaVA en Qwen. De resultaten waren consistent over verschillende systemen en taken heen. Door deze dynamische kalibratie toe te passen, produceerden de modellen aanzienlijk minder hallucinaties, terwijl ze hun vermogen om vloeiend en creatief te spreken behielden. In tests die bedoeld waren om te meten hoe vaak modellen objecten verzinnen die niet in de afbeelding aanwezig zijn, verminderde deze nieuwe methode fouten effectiever dan eerdere technieken die probeerden simpelweg de visuele aandacht te vergroten. De studie suggereert dat de sleutel tot betrouwbaarheid in deze systemen niet alleen is om ze harder naar de afbeelding te laten kijken, maar om ervoor te zorgen dat de interne versmelting van zien en spreken stabiel blijft.

Dit werk biedt een nieuw perspectief op hoe kunstmatige intelligentie de wereld begrijpt. Het laat zien dat betrouwbaarheid niet alleen gaat over het hebben van genoeg data of krachtige hardware, maar over het handhaven van een delicate interne balans tussen verschillende soorten informatie. Door te identificeren waar dit evenwicht precies breekt en een eenvoudige manier te bieden om het te herstellen, hebben de onderzoekers een pad geopend naar meer betrouwbare multimodale systemen. De methode is lichtgewicht en vereist niet de enorme computationele middelen die nodig zijn voor hertraining, wat het een praktisch hulpmiddel maakt voor het verbeteren van de nauwkeurigheid van AI die ziet en spreekt. De bevindingen suggereren dat toekomstige verbeteringen in de betrouwbaarheid van AI voort kunnen komen uit het verfijnen van deze interne relaties, in plaats van het bouwen van grotere, complexere modellen vanaf de grond af aan.

Technische Samenvatting: HEAL – Head-lEvel information disentAnglement and caLibration voor MLLM Hallucinaties

1. Probleemstelling

Multimodale Large Language Models (MLLM's) lijden frequent aan hallucinaties, waarbij ze reacties genereren die weliswaar vloeiend zijn, maar feitelijk inconsistent met de visuele context. Dit probleem belemmert hun inzetbaarheid in hoogprecisie-domeinen zoals medische beeldvorming. Bestaande mitigatiestrategieën kampen met twee primaire beperkingen:

Macro-niveau benaderingen (bijv. hertraining, fine-tuning, reinforcement learning) behandelen modellen als black boxes en missen interpreteerbaarheid met betrekking tot interne mechanismen.
Micro-niveau benaderingen (bijv. decoding-optimalisatie, attention-gebaseerde verbetering) vertrouwen vaak op indirecte signalen zoals attention weights of FFN-activaties. Deze falen om de werkelijke causale informatieverdeling en verwarrende synergie-effecten te vatten. Bovendien creëert uni-modale attention-verbetering vaak een "see-saw" dilemma, waarbij het versterken van visuele attention creatieve reacties afkapt, terwijl een overmatige afhankelijkheid van taal visuele hallucinaties verergert.

Het artikel stelt dat huidige methoden er niet in slagen de werkelijke informatieverschuiving accuraat te reflecteren die ten grondslag ligt aan hallucinatiegeneratie, specifiek binnen de interactie tussen visuele en talige modaliteiten.

2. Methodologie: HEAL

De auteurs stellen HEAL (Head-lEvel information disentAnglement and caLibration) voor, een training-vrij framework voor tijdens de inferentie, ontworpen om hallucinaties te identificeren en te mitigeren door de informatieverdeling binnen attention heads te analyseren en te reguleren. De methodologie bestaat uit drie kernstadia:

A. Causale Ruis-interventie (Filteren van Redundante Heads)

Om onbeduidende heads te identificeren, gebruikt HEAL causale ruis-interventie. In plaats van te vertrouwen op projectiewichten, vervangt de methode de output van een specifieke attention head $i$ door een met distributie-overeenkomstige Gaussische ruis en meet de resulterende verandering in de laag-representatie met behulp van vector-gelijkenis.

Heads met een verwaarloosbare causale bijdrage (waar de informatiebijdrage-score $I(t,l,i)$ onder een statistische drempel van $\mu - 3\sigma$ valt) worden geclassificeerd als causaal redundant en uitgesloten van verdere analyse.

B. Counterfactual Difference-in-Differences (Head Categorisatie)

Voor de resterende niet-redundante heads maakt HEAL gebruik van de Partial Information Decomposition (PID) theorie om de informatieverdeling te ontrafelen. Door vier counterfactual inputs te construeren (het maskeren van visuele tokens, talige tokens, beide, of geen van beide) met behulp van Gaussische ruis, berekent de methode:

Totale Informatie ( $I_{total}$ ): Het verschil tussen de volledige en de volledig gemaskeerde inputs.
Talige Informatie ( $I_{lang}$ ): Afgeleid van het tweede-orde verschil wanneer visuele tokens worden gemaskeerd.
Visuele Informatie ( $I_{vis}$ ): Afgeleid van het tweede-orde verschil wanneer talige tokens worden gemaskeerd.
Synergie-effect ( $I_{syn}$ ): De residuele interactieterm ( $I_{total} - I_{vis} - I_{lang}$ ).

Op basis van deze metrieken worden heads gecategoriseerd in vier typen:

Redundante Heads: Verwaarloosbare totale informatie.
Visuele Heads: Hoge visuele informatie, lage/negatieve talige informatie.
Talige Heads: Hoge talige informatie, lage/negatieve visuele informatie.
Synergie Heads: Positieve bijdragen van beide modaliteiten. Deze worden verder geanalyseerd op hun visuele-talige ratio.

C. Dynamische Informatie-calibratie

De kerninzicht van HEAL is dat hallucinaties optreden wanneer de informatieverdeling in synergie-heads afwijkt van een gezonde evenwichtstoestand, in plaats van veroorzaakt te worden door een simpel tekort aan visuele of talige heads.

Evenwichtsfactor ( $\alpha$ ): Een hyperparameter (analoog aan temperatuur) wordt geïntroduceerd om de doelstelling van de visuele-talige balans te definiëren.
Calibratiemechanisme: Tijdens de inferentie berekent HEAL dynamisch calibratiefactoren $\beta$ en $\gamma$ voor de value vectors van visuele en talige tokens binnen de synergie-heads. Deze factoren heroriënteren de informatieverdeling naar de doelstelling $\alpha$ :
$\frac{\beta I_{vis}}{\beta I_{vis} + \gamma I_{lang}} = \alpha$
Implementatie: Deze calibratie wordt toegepast op de value vectors ( $V_{vis}, V_{lang}$ ) na de KV-cache update maar vóór de attention kernel, wat compatibiliteit met FlashAttention en PagedAttention garandeert zonder de interne implementaties te verstoren.

3. Belangrijkste Bevindingen en Observaties

Door uitgebreide analyse op modellen zoals LLaVA-NeXT en Qwen3-VL observeerden de auteurs:

Synergie Head Drift: Hallucinaties zijn causaal verbonden met een drift in de informatieverdeling binnen synergie-heads, en niet met de kwantiteit of sterkte van de modaliteit-specifieke (visuele/talige) heads.
Dynamische Faseovergangen: De rollen van attention heads zijn zeer dynamisch. Tijdens generatie ondergaan heads taakgestuurde faseovergangen (bijv. synergie-heads die terugkeren naar talige heads voor taal-gecentreerde tokens).
Causale Relatie: Bidirectionele causale analyse bevestigde dat het kunstmatig verlagen van visuele informatie in correcte reacties hallucinaties induceert, terwijl het verhogen van visuele informatie in gehallucineerde reacties deze verlicht.

4. Experimentele Resultaten

HEAL werd geëvalueerd over meerdere MLLM's (LLaVA-serie, Qwen-serie, InternVL-serie) en benchmarks (POPE, CHAIR, MME, LLaVA-Bench, MMHal-Bench, BLINK-Twice).

Reductie van Hallucinaties: HEAL presteerde consistent beter dan state-of-the-art training-vrije methoden (bijv. EAH, VCD, OPERA, TAME). Op de POPE benchmark behaalde HEAL een F1-score van 87,7 (vs. 85,4 voor de baseline) en verminderde significant de CHAIR-scores (hallucinatiepercentage).
Algemene Capaciteiten: In tegen tegenstelling tot sommige methoden die de algemene redeneerkracht verslechteren, verbeterde HEAL de prestaties op uitgebreide benchmarks zoals MME en LLaVA-Bench, wat aantoont dat het reduceren van hallucinaties niet vereist dat men de linguïstische coherentie of redeneerkracht opoffert.
Efficiëntie: Hoewel HEAL computationele overhead introduceert door de counterfactual analyse, blijft het efficiënter dan andere attention-head calibratiemethoden (bijv. 1,58× sneller dan EAH) door gebruik te maken van periodieke updates (elke 10 stappen) en geparallelliseerde tensor-operaties.

5. Betekenis en Claims

Het artikel claimt de volgende bijdragen en betekenis:

Nieuwe Interpreteerbaarheid: HEAL biedt een fijnmazige, op head-niveau interpreteerbare lens naar de internals van MLLM's, waarbij verder wordt gekeken dan indirecte attention weights naar de werkelijke informatieverdeling.
Causaal Inzicht: Het identificeert de visuele-talige informatie-disequilibrium binnen synergie-heads als een causaal beïnvloedbare factor, wat de opvatting uitdaagt dat hallucinaties uitsluitend te wijten zijn aan een gebrek aan visuele attention.
Theoretische Onderbouwing: De methode wordt ondersteund door stellingen die bewijzen dat het kalibreren van de value spaces equivalent is aan het kalibreren van de informatieverdeling en dat de evenwichtsfactor een monotone directionele invloed induceert op de output-alignment.
Praktisch Nut: HEAL biedt een eenvoudige, plug-and-play route om de betrouwbaarheid van modellen te vergroten zonder hertraining, waardoor outputs effectief worden gestuurd naar feitelijk bewijs terwijl de linguïstische vloeiendheid behouden blijft.

De auteurs erkennen beperkingen en merken op dat HEAL niet in staat is om hallucinaties op te lossen die voortkomen uit vroege visuele encoding-fouten of een fundamenteel gebrek aan visueel bewijs in de input, aangezien het opereert op bestaande interne representaties. Toekomstig werk wordt gesuggereerd om adaptieve calibratiebeleid en een nauwere integratie met modeltraining te verkennen.