💻 computer science

Where Does Vision Meet Language? Understanding and Refining Visual Fusion in MLLMs via Contrastive Attention

Dit artikel onderzoekt de interne mechanismen van visuele-tekstfusie in Multimodale Grote Taalmodellen door middel van een systematische laag-voor-laag analyse, waarbij wordt onthuld dat integratie plaatsvindt in specifieke lagen met onderscheidende "review"-fenomenen, en maakt gebruik van deze inzichten om een training-vrij contrastief aandachtskader voor te stellen dat de multimodale redeneerprestaties verbetert.

Oorspronkelijke auteurs: Shezheng Song, Shasha Li, Shan Zhao, Xiaopeng Li, Qian Wan, Chengyu Wang, Tianwei Yan, Jun Ma, Jie Yu

Gepubliceerd 2026-08-17

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shezheng Song, Shasha Li, Shan Zhao, Xiaopeng Li, Qian Wan, Chengyu Wang, Tianwei Yan, Jun Ma, Jie Yu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers tegelijkertijd kunnen zien en lezen. Dit zijn Multimodale Large Language Models (MLLM's). Denk aan hen als superintelligente studenten die elk boek in de bibliotheek hebben gelezen en ook ogen hebben om naar plaatjes te kijken. Maar hier is het mysterie: wanneer deze studenten naar een foto kijken en een vraag over die foto lezen, hoe mengen ze de afbeelding dan met de woorden in hun brein? Kijken ze in één keer naar de hele afbeelding? Lezen ze eerst de tekst en werpen ze dan een blik op de foto? Of doen ze iets heel anders?

Een lange tijd wisten we dat deze modellen geweldige antwoorden konden geven, maar wisten we niet hoe ze het in hun "brein" (dat bestaat uit lagen computercode) deden. Het was alsof je een goochelaar zag een konijn uit een hoed toveren zonder ooit de truc te zien. Het begrijpen van dit proces is cruciaal, want als we niet weten hoe ze werken, kunnen we ze niet repareren wanneer ze worden afgeleid of feiten verzinnen. Dit artikel is als een detectives verhaal waarbij de auteurs in de hoed van de goochelaar gluren om precies te zien hoe het konijn, laag voor laag, verschijnt.

Het Detectiewerk: Een Blik in het Brein van het Model

De auteurs van dit artikel besloten een spelletje "verstoppertje spelen" met het brein van de computer om uit te zoeken waar de magie plaatsvindt. Ze namen verschillende MLLM's en begonnen delen van hun brein uit te schakelen, één laag per keer, om te zien wat er gebeurde. Stel je een fabriekslijn voor waar een robot een speeltje bouwt. Als je de robot bij stap 3 stopt, valt het speeltje uit elkaar. Als je hem bij stap 20 stopt, is hij misschien al klaar. Door de visuele informatie op verschillende lagen te "maskeren" (of uit te schakelen), konden de onderzoekers precies zien waar de computer stopt met kijken naar de afbeelding en begint te vertrouwen op alleen de tekst.

De Grote Ontdekking: Het is Geen Soepele Verschuiving
Het meest verrassende wat ze ontdekten, is dat de computer de afbeelding en de woorden niet gelijkmatig mengen van begin tot eind. Het is niet zoals melk in koffie gieten waarbij het langzaam mengt. In plaats daarvan vindt het mengen plaats op specifieke, kritieke "stations" op de assemblagelijn.

De Kritieke Zone: Ze ontdekten dat voor de meeste modellen de echte vermenging plaatsvindt in de vroege tot middelste lagen (ongeveer lagen 18 tot 20). Als je de afbeelding vlak vóór deze zone wegknipt, vergeet de computer alles over de afbeelding en faalt hij voor de test.
Het "Review"-Fenomeen: Hier wordt het grappig. In sommige modellen (zoals LLaVA-1.5 en LLaVA-Next) keek de computer, nadat hij dacht klaar te zijn met mengen, plotseling nog één keer terug naar de afbeelding! De auteurs noemen dit een "review"-fase. Het is als een student die een toets aflegt, de pen neerlegt, en dan plotseling herinnert: "Wacht even, ik moet het diagram nog even controleren!" voordat hij hem inlevert.

Het Probleem: De Computer Raakt Afgeleid
Tijdens het onderzoek merkten de auteurs een vreemde fout op. Zelfs wanneer de computer naar het juiste deel van de afbeelding keek (zoals een logo op een vliegtuig), staarde hij ook intens naar volkomen nutteloze delen van de foto, zoals de lucht of de staart van het vliegtuig. Ze noemen dit "high-attention noise" (hoge aandacht-ruis).
Stel je voor dat je een bord probeert te lezen dat "LAPE" zegt op een vliegtuig. Je ogen zouden zich op de letters moeten concentreren. Maar deze computer blijft afgeleid worden door de wolken achter het vliegtuig, waardoor de wolken net zoveel aandacht krijgen als de letters. Dit gebeurt vanaf het allereerste begin en blijft aanwezig, wat het model in verwarring brengt.

De Oplossing: Een Training-Vrije "Marker"
Om deze afleiding op te lossen, bedachten de auteurs een slimme truc die geen heropvoeding van de computer vereist (wat duur en traag is). Ze noemen het Contrastive Attention.
Zo werkt het, gebruikmakend van een eenvoudige metafoor:

De "Voor"-Snapshot: Ze maken een foto van waar de computer naar kijkt in een vroeg stadium (wanneer hij net begint naar de afbeelding te kijken). Op dit stadium kijkt de computer naar alles, inclusief de afleidende wolken.
De "Na"-Snapshot: Ze maken een foto van waar de computer naar kijkt aan het einde (wanneer hij klaar is om te antwoorden). Op dit stadium zou hij naar de letters moeten kijken.
Het Verschil: Ze trekken de "Voor"-foto af van de "Na"-foto.
- Als de computer in beide foto's naar de wolken keek, vallen de wolken weg (omdat de aandacht niet veranderde).
- Als de computer in de "Na"-foto naar de letters begon te kijken maar deze in de "Voor"-foto negeerde, springen de letters er helder uit!

Dit verschil creëert een "marker" (highlighter) die precies laat zien welke delen van de afbeelding de computer heeft geleerd te focussen vanwege de vraag. De auteurs gebruiken deze marker vervolgens om de afleidende delen van de afbeelding weg te snijden en alleen de belangrijke, gemarkeerde delen terug in de computer te voeren voor een tweede poging.

De Resultaten
Wanneer ze deze nieuwe methode testten, werden de computers veel beter in het beantwoorden van vragen. Ze hadden geen hertraining nodig; ze hadden alleen een klein duwtje nodig om de ruis te negeren.

Op een dataset genaamd GQA verbeterde hun methode de score van 66.03 naar 69.40.
Op VQAv2 ging het van 74.06 naar 77.59.
Op TextVQA sprong het van 57.21 naar 59.86.

Deze cijfers laten zien dat door de computer simpelweg te helpen zich op de juiste zaken te concentreren en de "ruis" (de afleidende wolken) te negeren, hij de wereld een beetje beter begrijpt. De auteurs suggereren dat deze methode werkt omdat het het moment vastlegt waarop de computer zijn aandacht verlegt van "naar alles kijken" naar "kijken naar wat belangrijk is".

Wat Ze Hebben Uitgesloten
De auteurs maakten ook duidelijk dat dit niet zomaar gaat over het kiezen van een willekeurige laag om naar te kijken. Ze testten het kiezen van lagen aan het uiterste einde van het proces of aan het begin zonder regels, en die werkten niet zo goed. Het "sweet spot" (het ideale punt) is specif specifiek de lagen waar de visuele en tekstuele informatie net beginnen te mengen maar nog niet volledig zijn gevestigd. Ze toonden ook aan dat dit geen eenmalige oplossing is; het werkt over veel verschillende soorten modellen en veel verschillende soorten vragen heen.

Kortom, dit artikel leert ons dat deze superintelligente computers een specifieke "mengzone" hebben waar ze zicht en geluid combineren, en dat ze soms worden afgeleid door de achtergrondruis. Door een simpele wiskundige truc te gebruiken om de veranderingen in hun focus te markeren, kunnen we hen helpen de ruis te negeren en betere antwoorden te geven, zonder dat we jarenlang nieuwe lessen hoeven te geven.

Technische Samenvatting: Waar ontmoet Visie Taal? Het begrijpen en verfijnen van Visuele Fusie in MLLM's via Contrastieve Aandacht

Probleemstelling
Multimodale Large Language Models (MLLM's) hebben aanzienlijke vooruitgang geboekt in visuele en talige begrip, maar de interne mechanismen die bepalen hoe visuele en tekstuele informatie wordt geïntegreerd, blijven slecht begrepen. Bestaand onderzoek heeft specifieke componenten zoals feed-forward netwerken (FFN) en geheugen, of de lokalisatie van visuele kenmerken, verkend, maar een uitgebreid begrip van de progressieve integratie van visuele informatie over verschillende lagen heen ontbreekt. Specifiek is het onduidelijk op welke lagen visuele informatie wordt gefuseerd, hoe deze integratie evolueert, en waarom modellen vaak een hardnekkige aandacht vertonen voor irrelevante visuele regio's (ruis) ondanks tekstuele sturing. Dit gebrek aan interpreteerbaarheid belemmert de verbetering van de betrouwbaarheid en prestaties van modellen.

Methodologie
De auteurs stellen een systematische, laag-voor-laag onderzoek voor, gevolgd door een training-vrije verfijningsmethode.

Laag-voor-laag Maskering en Analyse:
- Visuele Maskering: De auteurs voerden experimenten uit over zeven representatieve MLLM's (waaronder LLaVA-1.5, LLaVA-Next, InstructBLIP, Qwen2-VL, etc.) en zes benchmarks (VQAv2, GQA, TextVQA, etc.). Ze maskeerden systematisch visuele tokens op specifieke lagen om prestatieverlies te observeren. Een significante daling duidt op een kritieke laag voor visuele integratie.
- Aandachtsevolutie: Ze analyseerden aandachtskaarten laag voor laag en observeerden dat hoewel de aandacht voor relevante regio's toeneemt met de diepte, "hoog-aandacht-ruis" op irrelevante regio's door het hele netwerk persisteert, vaak afkomstig uit vroege lagen en voortplantend naar voren.
- Hellinger-afstand: Om de divergentie tussen tussenliggende lagen en de uiteindelijke output te kwantificeren, berekenden ze de Hellinger-afstand tussen aandachtskaarten. Dit onthulde dat fusie grotendeels plaatsvindt in de vroege- tot middenlagen, waarbij sommige modellen een laat-stadium "review"-fenomeen vertonen waarbij visuele signalen opnieuw worden geactiveerd.
Contrastief Aandachtsframework:
- Kernconcept: Om persistente aandachtsruis te mitigeren, introduceerden de auteurs een training-vrije methode die de transformatie modelleert tussen een "pre-geïntegreerde" laag en de "post-geïntegreerde" (uiteindelijke) laag.
- Laagselectie: De "pre-geïntegreerde" laag wordt dynamisch geselecteerd als de laag met de maximale Hellinger-afstand van de aandachtskaart van de finale laag, die zich doorgaans in de vroege- tot midden stadia van fusie bevindt.
- Mechanisme: De methode berekent het verschil tussen de aandachtskaarten van de geselecteerde pre-geïntegreerde laag ( $A(i^*)$ ) en de finale laag ( $A(k)$ ): $I_A = A(k) - A(i^*)$ .
- Verfijning: Deze contrastieve aandachtskaart benadrukt de regio's waar de focus van het model aanzienlijk verschoof door tekstuele sturing. De originele afbeelding wordt gesegmenteerd om deze hoog-veranderende regio's te behouden, die vervolgens opnieuw in de MLLM worden ingevoerd voor een tweede inferentiepassage. Dit versterkt taakrelevante visuele kenmerken terwijl de persistente ruis die in statische aandachtskaarten wordt gevonden, wordt onderdrukt.

Belangrijkste Bijdragen

Systematische Fusie-mapping: Het artikel biedt een uitgebreid laag-voor-laag onderzoek dat onthult dat multimodale fusie niet uniform is maar verschijnt bij specifieke vroege- tot middenlagen. Het identificeert ook een "review"-fenomeen in bepaalde architecturen (bijv. LLaVA-1.5) waarbij visuele informatie in diepe lagen opnieuw wordt geactiveerd.
Identificatie van Aandachtsbias: De studie toont aan dat hoog-aandacht-ruis op irrelevante regio's een systematische bias is die door lagen plant in plaats van bij elke stap opnieuw gevormd te worden.
Training-vrije Verfijning: De auteurs stellen een dynamisch, training-vrij contrastief aandachtsmechanisme voor. In tegen tegenstelling tot statische benaderingen (bijv. ViCrop) die handmatige laag-tuning per model vereisen, identificeert deze methode automatisch de optimale pre-geïntegreerde laag op basis van aandachtsdivergentie, wat het model-agnostisch en aanpasbaar maakt.

Resultaten

Validatie van Analyse: Experimenten bevestigden dat het maskeren van visuele tokens in specifieke fusielagen een dramatische daling in prestaties veroorzaakt, terwijl diepere lagen tekst-dominant worden. Vroege output-experimenten toonden aan dat geldige, op de afbeelding gebaseerde antwoorden pas verschijnen na de fusiefase (doorgaans na laag 18).
Prestatieverbetering: Uitgebreide experimenten over meerdere MLLM's en benchmarks (GQA, VQAv2, OKVQA, VizWiz, TextVQA, DocVQA, MMBench) toonden aan dat de voorgestelde contrastieve aandachts-methode consequent beter presteert dan bestaande training-vrije baselines (inclusief CD, DoLA, OPERA, en ViCrop).
- Bijvoorbeeld, op LLaVA-1.5 verbeterde de gemiddelde nauwkeurigheid van 56,34% (Base) naar 59,16% (Ours).
- Op LLaVA-Next verbeterde het gemiddelde van 66,22% naar 68,65%.
- Op Qwen2.5VL verbeterde het gemiddelde van 75,15% naar 77,66%.
Efficiëntie: Analyse van de inferentietijd toonde aan dat de extra kosten voor het berekenen van contrastieve aandacht en het opnieuw invoeren van de afbeelding minimaal zijn, waardoor een gunstige balans tussen efficiëntie en prestaties wordt behouden.

Betekenis
Het artikel stelt dat de primaire betekenis ligt in het bieden van een interpreteerbaar beeld van de temporele organisatie van visuele-taal fusie binnen MLLM's. Door te onthullen dat fusie geconcentreerd is in specifieke lagen en dat aandachtsruis een persistente, voortplantende bias is, bieden de auteurs een mechanistische verklaring voor het gedrag van het model. Het voorgestelde contrastieve aandachtsframework maakt gebruik van deze inzichten om visuele inputs te verfijnen zonder aanvullende training te vereisen, wat een generaliseerbare oplossing biedt om multimodale redenering te verbeteren en hallucinaties door irrelevante visuele focus te verminderen. Het werk overbrugt de kloof tussen het begrijpen van interne mechanismen en het verbeteren van praktische modelprestaties.

Het Detectiewerk: Een Blik in het Brein van het Model

Meer zoals dit