💬 NLP

System-Mediated Attention Imbalances Make Vision-Language Models Say Yes

Dit onderzoek toont aan dat hallucinaties in vision-language modellen, zoals de neiging om blindelings 'ja' te antwoorden, worden veroorzaakt door een disbalans in de aandacht waarbij het systeem te veel gewicht toekent aan eigen parameters ten koste van de tekst- en beeldinput, en stelt voor om dit te verminderen door de aandacht naar de inputmodaliteiten te herverdelen.

Oorspronkelijke auteurs: Tsan Tsai Chan, Varsha Suresh, Anisha Saha, Michael Hahn, Vera Demberg

Gepubliceerd 2026-04-27

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Tsan Tsai Chan, Varsha Suresh, Anisha Saha, Michael Hahn, Vera Demberg

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een assistent hebt die een foto moet bekijken en een vraag moet beantwoorden. Bijvoorbeeld: "Staat er een rode appel op de tafel?"

In plaats van echt goed naar de foto te kijken, heeft deze assistent een heel vervelende gewoonte: hij roept bijna altijd heel enthousiast "JA!", zelfs als er helemaal geen appel op de foto staat. In de wereld van AI noemen we dit de 'yes-bias' (de ja-drang).

Dit wetenschappelijke artikel onderzoekt waarom die AI-assistent zo'n "ja-knikker" is en hoe we dat kunnen oplossen.

Het probleem: De "Systeem-Afleiding" (De Analogie)

De onderzoekers ontdekten dat de AI eigenlijk drie verschillende bronnen van informatie heeft:

De Foto (het beeld).
De Vraag (de tekst).
Het Systeem (de interne instructies en de 'ruis' in het brein van de AI).

Stel je voor dat de assistent een enorme stapel instructieboekjes voor zich heeft liggen (het Systeem). Elke keer als hij een vraag krijgt, raakt hij zo afgeleid door het doorbladeren van die dikke boekjes, dat hij nauwelijks tijd heeft om naar de foto te kijken of de vraag echt te lezen. Hij denkt: "Ik heb die boekjes net gezien, dus ik weet het wel... JA!"

De meeste wetenschappers dachten tot nu toe dat de assistent te weinig aandacht gaf aan de foto. Ze probeerden de assistent te dwingen harder naar de foto te staren. Maar de onderzoekers in dit artikel zeggen: "Nee, het probleem is niet dat hij de foto negeert, het probleem is dat hij te veel tijd verspilt aan die nutteloze instructieboekjes!"

De Ontdekking: De "Valse Focus"

De onderzoekers ontdekten dat in de laatste fases van het 'denkproces' van de AI, een gigantisch deel van de aandacht (soms wel 70%!) naar die interne systeem-informatie gaat. Dit is wat ze "redundante systeem-aandacht" noemen. Het is als een student die tijdens een examen constant naar de rand van zijn bureau staart in plaats van naar de vragen op het papier.

Omdat de AI zo gefocust is op die interne ruis, vormt hij een "vaag beeld" van de werkelijkheid. Hij ziet alleen nog maar grote vlekken en details niet meer. En als je de details niet ziet, is "JA" zeggen de makkelijkste weg om de taak af te ronden.

De Oplossing: De "Aandacht-Verdeling"

Wat hebben de onderzoekers gedaan? Ze hebben een soort "mentale chirurgische ingreep" uitgevoerd. Ze hebben de aandacht die de AI aan die nutteloze instructieboekjes gaf, simpelweg afgenomen en die aandacht herverdeeld over de foto en de tekst.

Het is alsof je de assistent de stapel boekjes afpakt en zegt: "Stop met bladeren! Gebruik die energie om nu eens écht goed naar de kleur van die appel te kijken en de tekst van de vraag te lezen."

Het resultaat?
De AI stopte met het blindelings roepen van "JA" en begon veel vaker het juiste antwoord te geven. De assistent werd minder een "ja-knikker" en meer een kritische waarnemer.

Samenvatting in drie zinnen:

AI-modellen hallucineren (verzinnen dingen) vaak omdat ze te veel aandacht besteden aan hun eigen interne systeem-ruis en te weinig aan de foto of de vraag. Door die interne ruis te verminderen en de aandacht terug te geven aan de echte input, worden ze veel nauwkeuriger. Het probleem is dus niet dat ze "niet goed kijken", maar dat ze "te veel afgeleid zijn door hun eigen interne gepraat".

Technische Samenvatting: System-Mediated Attention Imbalances Make Vision-Language Models Say Yes

1. Het Probleem: De "Yes-Bias" en de Beperkingen van de Huidige Visie

Vision-Language Models (VLM's) lijden vaak aan hallucinaties, een specifiek fenomeen hiervan is de "yes-bias". Dit is een vorm van hallucinatie waarbij het model in binaire ja/nee-vragen indiscriminant "ja" antwoordt, ongeacht de werkelijke inhoud van de afbeelding of de tekst.

De huidige wetenschappelijke consensus (de image-centric hypothesis) stelt dat hallucinaties voortkomen uit een gebrek aan aandacht voor de visuele input. Daarom richten de meeste mitigatiestrategieën zich uitsluitend op het verhogen van de aandacht voor de afbeelding. De auteurs van dit paper stellen echter dat deze visie te beperkt is en de rol van de andere modaliteiten (systeem en tekst) negeert.

2. Methodologie: De System-Mediated Hypothese

De auteurs introduceren de system-mediated hypothesis. Zij stellen dat hallucinaties niet alleen komen door een gebrek aan visuele aandacht, maar vooral door een overschot aan redundante systeem-aandacht. De "systeem-modaliteit" (zoals de <BOS> token en systeeminstructies) fungeert vaak als een attention sink: tokens die disproportioneel veel aandacht krijgen zonder semantische informatie bij te dragen. Dit onttrekt aandacht aan de afbeelding en de tekst.

Onderzoeksopzet:

Model: Ze focussen op de tekst-decoder van LLaVA-1.5 (7B, 13B en NeXT-varianten) en testen ook op Qwen2-VL.
Interventie (Causale Manipulatie): In plaats van alleen de afbeelding te versterken, passen ze proportionele herverdeling van aandachtsgewichten toe in de laatste kwartiel van de decoderlagen (Q4).
- Ze nemen de aandacht die naar de systeem-tokens gaat en verdelen deze proportioneel over de afbeelding en de tekst.
Benchmarks: Ze gebruiken zes gespecialiseerde benchmarks (zoals HallusionBench, SugarCrepe en Winoground) die specifiek ontworpen zijn om compositie en fijne details te testen, waar de yes-bias het sterkst is.
Metrieken: Simple accuracy, paired accuracy (voor compositie) en de "yes-rate" (de mate waarin het model standaard "ja" zegt).

3. Belangrijkste Bijdragen

Identificatie van de oorzaak: Het aantonen dat redundante systeem-aandacht in de late lagen van de decoder een cruciale drijfveer is voor de yes-bias.
Nieuw theoretisch kader: De verschuiving van een "image-centric" naar een "system-mediated" verklaring voor hallucinaties.
Effectieve mitigatie: Het presenteren van een interventiemethode die beter presteert dan bestaande methoden door aandacht holistisch te herverdelen in plaats van slechts één modaliteit te prioriteren.

4. Resultaten

Superieure prestaties: De herverdeling van systeem-aandacht naar zowel tekst als beeld (Q4 system redistribution) verminderde de yes-bias aanzienlijk sterker dan methoden die alleen de afbeelding versterkten (zoals PAI of Image $\times$ 2.0).
Validatie van de hypothese: De resultaten laten zien dat het verhogen van de tekst-aandacht (via systeem-naar-tekst transfer) vaak de grootste winst oplevert. Dit weerlegt de claim dat alleen visuele aandacht tekortschiet.
Mechanistisch inzicht: De auteurs tonen aan dat de overmatige systeem-aandacht het model dwingt om te vertrouwen op coarse (grove) representaties van de input. Dit werkt voor algemene taken (zoals in de MME-benchmark), maar faalt bij taken die fijne details of compositie vereisen. Door de systeem-aandacht te verminderen, wordt het model gedwongen om naar de fijnmazige details in de tekst en afbeelding te kijken.
Representatieve bewijslast: De interventie verlaagde de cosine-gelijkenis tussen beeld- en tekstrepresentaties, wat bewijst dat de systeem-aandacht voorheen een kunstmatige, grove aggregatie van beide modaliteiten afdwong.

5. Significante Conclusies en Betekenis

Dit onderzoek is significant omdat het aantoont dat hallucinaties in VLM's niet alleen een "visueel probleem" zijn, maar een fundamenteel aandachts-imbalans probleem waarbij de systeem-instructies de verwerking van de eigenlijke input (beeld en tekst) verdringen.

De implicatie voor de toekomst van AI is dat het verbeteren van de visuele encoder alleen niet voldoende is; we moeten ook kijken naar hoe de decoder de aandacht verdeelt over de verschillende input-stromen om te voorkomen dat het model terugvalt op een "lui" standaardantwoord zoals "ja".