💻 computer science

Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models

Dit artikel onthult dat Multimodale Grote Taalmodellen er succesvol in slagen om grofmazige visuele bewijslast te coderen, maar moeite hebben met het betrouwbaar beheersen van hun afhankelijkheid daarvan versus linguïstische priors, een beperking die kan worden verzacht door middel van supervised fine-tuning en activation steering.

Oorspronkelijke auteurs: Jiaang Li, Chengzu Li, Zhaochong An, Yifei Yuan, Xi Liu, Serge Belongie, Vésteinn Snæbjarnarson

Gepubliceerd 2026-07-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jiaang Li, Chengzu Li, Zhaochong An, Yifei Yuan, Xi Liu, Serge Belongie, Vésteinn Snæbjarnarson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je praat met een superintelligente robot die bijna elk boek ooit geschreven heeft gelezen en miljoenen uren aan films heeft bekeken. Deze robot is een "Multimodal Large Language Model" (MLLM). Het is als een geniale bibliothecaris die alles weet over de wereld dankzij zijn trainingsdata — zijn "prior knowledge" (voorkennis). Maar deze robot heeft ook ogen. Hij kan naar een afbeelding kijken en wat hij ziet combineren met wat hij weet. De grote vraag die wetenschappers zich hebben gesteld, is: wanneer de robot naar een plaatje kijkt dat in strijd is met wat hij weet (zoals een foto van een paard met vijf benen), faalt hij dan omdat hij het extra been niet kan zien, of faalt hij omdat hij het been wel ziet maar besluit het te negeren? Dit paper duikt in dat mysterie en behandelt het brein van de robot als een detectiveverhaal om uit te zoeken waar de breuklijn ligt: in de "zintuigen" (het zien) of in de "besluitvorming" (het gebruiken van wat men ziet).

De onderzoekers, onder leiding van Jiaang Li en collega's, gingen dit puzzel oplossen met een slim twee-delig onderzoek. Eerst wilden ze weten of de robot de vreemde zaken in de afbeeldingen daadwerkelijk "zag". Om dit te testen, stelden ze de robot niet alleen vragen; ze probeerden de afbeeldingen te reconstrueren vanuit de interne hersensignalen van de robot. Ze ontdekten dat zelfs wanneer de robot het foute antwoord gaf, de "blauwdruk" van de vreemde afbeelding (zoals een paard met vijf benen) nog steeds duidelijk zichtbaar was in zijn laatste gedachten. Het was alsof de ogen van de robot perfect werkten, maar het brein besloot de ogen te sluiten. Dit sloot de mogelijkheid uit dat de robot simpelweg blind was voor de details.

Vervolgens creëerde het team een nieuw spel genaamd "WhatIfVis" om te testen hoe goed de robot kon schakelen tussen het vertrouwen op zijn ogen en het vertrouwen op zijn geheugen. Ze lieten de robot afbeeldingen zien die de natuurwetten braken (zoals een rode watermeloen) en vroegen hem vragen op twee manieren te beantwoorden: "Kijk alleen naar de afbeelding" of "Negeer de afbeelding en gebruik wat je weet". Ze ontdekten dat de robot zonder extra training een beetje een stemmingswisseling had. Soms negeerde hij de afbeelding en gaf hij het tekstboekantwoord (zoals zeggen dat een watermeloen groen is, zelfs als deze rood is). Andere keren zat hij zo erg vast op de afbeelding dat hij de instructie om de afbeelding te negeren niet kon opvolgen. De robot was niet kapot; hij had alleen geen betrouwbare "schakelaar" om te beslissen wanneer hij moest kijken en wanneer hij moest nadenken.

Echter, het goede nieuws is dat de onderzoekers de schakelaar hebben gevonden. Door de robot een klein beetje oefening te geven (genaamd Supervised Fine-Tuning) op slechts één type lastige afbeelding, leerden ze hem zijn aandacht te beheersen. Nog beter nog, ze ontdekten een specifieke "knop" binnenin het brein van de robot — een enkele wiskundige richting — die de focus van de robot aan of uit kon zetten zonder dat daar verbale instructies voor nodig waren. Wanneer ze deze knop omdraaiden, werd de robot veel beter in het opvolgen van de regels, of het nu ging om het kijken naar de afbeelding of het negeren ervan.

De studie vergeleek ook hoe de robot omging met afbeeldingen versus geschreven zinnen. Ze vonden dat het voor de robot veel makkelijker was om een geschreven zin op te volgen die de regels brak dan een afbeelding. Het is alsof de robot een veel betere luisteraar is dan een kijker. Deze kloof werd zelfs groter naarmate de robots slimmer en groter werden, wat suggereert dat deze modellen naarmate ze groeien, misschien nog koppiger worden in het negeren van wat ze zien.

Uiteindelijk suggereert het paper dat voor de grote, voor de hand liggende zaken die we bestuderen (zoals kleur, grootte en het aantal benen van een dier), deze AI-modellen niet falen omdat ze niet kunnen zien. Ze falen omdat ze niet hebben geleerd op een consistente manier te beslissen wanneer ze hun ogen moeten vertrouwen en wanneer ze hun geheugen moeten vertrouwen. Maar aangezien de onderzoekers een specifieke "knop" hebben gevonden die dit gedrag controleert, betekent dit dat we dit in de toekomst misschien kunnen oplossen, door deze digitale breinen te leren om flexibeler en betrouwbaarder te zijn wanneer de wereld er niet precies uitziet zoals hun tekstboeken.

Technische Samenvatting: Zien of Weten? Visuele Contextgevoeligheid in Multimodale Large Language Models

1. Probleemstelling

Multimodale Large Language Models (MLLM's) integreren visuele inputs met de rijke parametrische priors van vooraf getrainde taalmodellen (LLM's). Hoewel effectief voor veel taken, falen ze vaak bij visueel gecentreerde taken wanneer visueel bewijs conflicteert met hun interne wereldkennis. Het vakgebied heeft deze fouten traditioneel toegeschreven aan perceptiegebreken (Hypothese H1), waarbij wordt gesteld dat visuele encoders fijne details weggooien, waardoor het model terugvalt op priors.

De auteurs observeren echter een dubbele foutmodus:

Prior-dominante fouten: Het model negeert afwijkende visuele input (bijv. een paard met 5 benen) en antwoordt op basis van zijn prior (4 benen).
Context-dominante fouten: Het model negeert expliciete instructies om de afbeelding te negeren en antwoordt op basis van visueel bewijs, zelfs wanneer dit in strijd is met canonieke kennis (bijv. "Rood" antwoorden voor de schil van een watermeloen wanneer gevraagd wordt naar de gebruikelijke kleur).

Het artikel stelt dat de kern van het probleem niet noodzakelijkerwijs is dat het model het bewijs niet kan zien, maar dat het een beheersbaar beleid (controllable policy) mist voor wanneer het visuele context moet gebruiken versus parametrische priors (Hypothese H2). Dit wordt Visuele Contextgevoeligheid genoemd. De auteurs beogen perceptie (zien) te scheiden van utilitatie (gebruiken) om te bepalen waar de bottleneck ligt en of dit gecontroleerd kan worden.

2. Methodologie

De studie hanteert een drieledige aanpak om de utilitatie-fout te isoleren en aan te pakken:

A. Perceptie Proberen via Beeldreconstructie (Testen van H1)

Om te bepalen of visueel bewijs wordt gedegradeerd voordat het de LLM-backbone bereikt, voeren de auteurs een generatieve probe uit.

Setup: Ze bevriezen MLLM's en proberen contrafeitelijke afbeeldingen te reconstrueren uitsluitend vanuit de laatste-laag beeld-tokens.
Ontwerp: Met behulp van een framework aangepast van Metaquery, koppelen ze een bevroren MLLM aan een trainbare connector en een beelddecoder (SANA). Cruciaal is dat de connector en decoder alleen getraind zijn op echte afbeeldingen en de contrafeitelijke beelden nooit hebben gezien.
Doel: Als de decoder erin slaagt om de contrafeitelijke attributen (bijv. afwijkende leden-aantallen) te reconstrueren uit de bevroren MLLM-tokens, dan was het visuele bewijs behouden in de representatie, wat H1 weerlegt.

B. De WhatIfVis Benchmark (Testen van H2)

Om het vermogen van het model te meten om te schakelen tussen visuele context en prior-kennis, introduceren de auteurs WhatIfVis, een benchmark van 3.049 contrafeitelijke samples.

Structuur: Het beslaat vijf grofmazige dimensies: Ruimtelijk-Temporeel, Kleur, Aantal, Grootte en Gewicht.
Mechanisme: Elk voorbeeld koppelt een contrafeitelijke afbeelding (of tekstuele bewering) aan een vraag. Het model wordt getest onder twee strikte intentie-instructies:
1. Context-dominant: "Beschouw alleen de afbeelding/bewering."
2. Prior-dominant: "Negeer de afbeelding/bewering."
Metriek: Ze gebruiken PairAcc (Pair Accuracy), een conjunctieve metriek die vereist dat het model correct antwoordt voor beide intenties op hetzelfde voorbeeld. Dit isoleert het vermogen om contextgevoeligheid te controleren, in plaats van alleen nauwkeurigheid op een enkele taak.

C. Activatie Patching en Subspace Steering

Om de locatie en controle van het mechanisme te vinden dat de visie-versus-prior afweging regelt:

Activatie Patching: Gebruikmakend van Supervised Fine-Tuned (SFT) modellen die beide intenties betrouwbaar volgen, passen de auteurs causale tracing (activatie patching) toe om de specifieke lagen te identificeren waar de afweging wordt berekend.
Subspace Steering: Ze hypothetiseren dat de afweging wordt gecodeerd in een één-dimensionale subspace (een vector) binnen de residual stream. Ze leren een eenheidsvector $u$ die deze subspace beslaat.
Controle: In plaats van tekstuele instructies, passen ze tijdens de inferentie een scalaire constante $c(w)$ toe langs deze geleerde vector om het model te sturen naar ofwel de visuele context of de prior.

3. Belangrijkste Bevindingen en Resultaten

1. Visueel Bewijs is Behouden (Weerlegging van H1)

Reconstructie Succes: Over drie verschillende modelfamilies heen (Qwen2.5-VL, Qwen3.5, Gemma-4), werden grofmazige contrafeitelijke attributen (identiteit, pose, aantal, dominante kleur) succesvol gereconstrueerd uit de laatste-laag beeld-tokens.
Metrische Bewijsvoering: Reconstructies van contrafeitelijke tokens waren metrisch dichter bij de contrafeitelijke referentie dan bij de echte afbeelding (bijv. mIoU > 0.86 voor contrafeitelijken vs. < 0.83 voor echte afbeeldingen).
Conclusie: Het visuele bewijs wordt niet gedegradeerd tijdens de perceptie. De fout is een utilitatieprobleem, geen perceptieprobleem.

2. Vanilla Modellen Missen Stabiele Controle (Bevestiging van H2)

Broosheid: Vanilla (niet-SFT) modellen vertonen instabiele contextgevoeligheid. Ze volgen de afbeelding vaak voor sommige attributen (bijv. Kleur) maar negeren het voor andere (bijv. Gewicht), of andersom.
PairAcc Instorting: Vanilla modellen behalen bijna nul PairAcc op redeneerintensieve taken (Aantal, Gewicht) en lage scores op andere, wat aangeeft dat ze niet betrouwbaar kunnen schakelen tussen intenties op aanvraag.
SFT Verbetert Controleerbaarheid: Supervised Fine-Tuning op een enkele subset (Ruimtelijk-Temporeel) verhoogt de PairAcc aanzienlijk over alle taken en modellen, wat aantoont dat controleerbaarheid een leerbare, generaliseerbare capaciteit is.

3. De Afweging is Gelokaliseerd en Controleerbaar

Laag Lokalisatie: Activatie patching laat zien dat de visie-versus-prior afweging wordt opgelost in een smalle, terugkerende band van lagen (midden- tot bovenste gedeelte) die specifiek is voor elke architectuur.
Steering Vector: Een enkele geleerde vector in deze subspace fungeert als een "knop". Het toepassen van deze vector zonder enige intentie-instructie verbetert de controleerbaarheid ten opzichte van het vanilla model (verhoging van de macro PairAcc van 14,7% naar 37,7%).
Specificiteit: Willekeurige vectoren in dezelfde subspace verslechteren de prestaties, wat bevestigt dat het effect voortkomt uit de specifieke geleerde richting, en niet slechts uit de rank-1 interventie.

4. Asymmetrie Tussen Modaliteiten

Tekst vs. Visie: Het modaliteitsverschil is aanzienlijk. Tekst-gebaseerde contextgevoeligheid is veel beter controleerbaar dan visuele contextgevoeligheid.
Schaalbaarheid: Naarmate de modelgrootte toeneemt, wordt de kloof in controleerbaarheid tussen tekst en visie groter (bijv. van 9,1 pp naar 20,6 pp in Qwen2.5-VL).
Oorzaak: Het tekort is primair een falen om visueel bewijs op aanvraag te volgen, niet een falen om het te overrulen. Het vermogen om bewijs te negeren (prior intent) is nagenoeg identiek over de modaliteiten heen.

4. Betekenis en Claims

Het artikel claimt de bottleneck in MLLM-fouten te verplaatsen van perceptie naar utilitatie.

Herdefiniëring van het Probleem: Voor grove attributen coderen MLLM's visueel bewijs getrouw, maar missen ze een consistent, controleerbaar beleid voor wanneer ze het moeten gebruiken. Het probleem is niet "blindheid" maar "onbetrouwbare afhankelijkheid".
Mechanisme Identificatie: De visie-versus-prior afweging is een lokaliseerbare, compacte eigenschap van de netwerkarchitectuur, die zich in specifieke lagen bevindt en controleerbaar is via een geleerde vector.
Controle zonder Instructies: De auteurs demonstreren dat visuele contextgevoeligheid effectief gestuurd kan worden zonder expliciete prompt-instructies, simpelweg door het manipuleren van een geleerde subspace-vector.
Modaliteitskloof: Het werk benadrukt een fundamentele asymmetrie waarbij MLLM's aanzienlijk beter zijn in het volgen van tekstuele contrafeitelijken dan visuele, een kloof die blijft bestaan en groeit met de schaal van het model.

De auteurs concluderen dat het scheiden van "zien" van "gebruiken" een steviger fundament biedt voor het bouwen van multimodale modellen die expliciet kunnen worden aangestuurd om visueel bewijs te volgen wanneer dit in strijd is met hun priors.