💬 NLP

Source-Modality Monitoring in Vision-Language Models

Dit onderzoek onderzoekt het vermogen van vision-language modellen om de oorsprong van informatie (zoals tekst versus beeld) te identificeren en te volgen, waarbij wordt vastgesteld dat semantische signalen vaak zwaarder wegen dan syntactische signalen bij het koppelen van informatie aan de juiste bron.

Oorspronkelijke auteurs: Etha Tianze Hua, Tian Yun, Ellie Pavlick

Gepubliceerd 2026-04-27

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Etha Tianze Hua, Tian Yun, Ellie Pavlick

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een assistent hebt die zowel kan kijken als luisteren. Je laat hem een foto zien van een hond die een bal vangt, en je zegt erbij: "Kijk naar de tekst: wat doet het dier?" Als de assistent slim is, zegt hij: "Er staat geen tekst over een dier, er staat alleen een tekst over een kat." Maar als de assistent in de war raakt, zegt hij misschien: "De hond vangt de bal," terwijl hij eigenlijk de informatie uit de foto gebruikte in plaats van de tekst waar je om vroeg.

Dit onderzoek, getiteld "Source-Modality Monitoring in Vision-Language Models", onderzoekt precies dit: weet een AI-model eigenlijk wel uit welk 'kanaal' de informatie komt?

Hier is de uitleg in begrijpelijke taal:

Het probleem: De "Verkeerde Bron" Verwarring

Stel je voor dat je een ober in een restaurant bent. Een klant vraagt: "Wat staat er op de menukaart over de vis?" Maar de klant wijst tegelijkertijd naar een foto van een biefstuk op de tafel. Een goede ober kijkt naar de menukaart (de tekst) om het antwoord te geven. Een slechte ober kijkt naar de foto (het beeld) en zegt: "De biefstuk is heerlijk!"

De onderzoekers wilden weten of moderne AI-modellen (Vision-Language Models) dit verschil tussen 'kijken' en 'lezen' goed kunnen onderscheiden, of dat ze gewoon een grote soep van alle informatie maken.

Hoe hebben ze dit getest? (De "Verwarrings-test")

De onderzoekers gaven de AI's een soort "puzzel met een addertje onder het gras". Ze gaven de AI een foto van een motorfiets, maar schreven er een tekst bij over een paard. Daarna stelden ze vragen als:

"Wat zie je op de foto?" (Het juiste antwoord is: een motor).
"Wat staat er in de tekst?" (Het juiste antwoord is: een paard).

Als de AI zegt "een paard" bij de eerste vraag, dan is hij de weg kwijt. Hij kan de bron (de foto) niet meer scheiden van de tekst.

De ontdekking: Twee manieren van weten

De onderzoekers ontdekten dat AI-modellen eigenlijk twee verschillende "kompassen" gebruiken om de weg te vinden:

Het "Labeltje" (Syntactisch): Sommige AI's krijgen speciale digitale stickers (zoals <image> of </image>) die precies aangeven waar de foto begint en eindigt. Dit is als een wegwijzer op de snelweg. Het helpt enorm, maar het is een beetje een mechanische oplossing.
Het "Gevoel" (Semantisch): Zelfs als je de stickers weghaalt, weten de slimste AI's nog steeds welk deel de foto is. Hoe? Omdat de "vibe" van een foto heel anders is dan de "vibe" van tekst. Een foto van een hond heeft een heel andere digitale structuur dan de letters H-O-N-D. Het is alsof je een symfonie van violen hoort en een gesprek van mensen; zelfs zonder labels weet je dat de violen muziek maken en de mensen praten.

De conclusie: Een hybride brein

De belangrijkste les van dit onderzoek is dat de beste AI-modellen een combinatie gebruiken. Ze gebruiken de labels (de wegwijzers) om de boel netjes te ordenen, maar ze gebruiken hun "gevoel" voor de inhoud (de textuur van de data) om te controleren of ze nog op het juiste spoor zitten.

Waarom is dit belangrijk?
In de toekomst zullen AI-agenten steeds meer doen: ze zullen video's bekijken, gesprekken meeluisteren en documenten lezen. Als een AI niet precies weet of een instructie uit een gesproken stem kwam of uit een geschreven e-mail, kan hij grote fouten maken. Dit onderzoek helpt wetenschappers om AI te bouwen die niet alleen "ziet" en "leest", maar ook echt begrijpt waar de informatie vandaan komt.

Technische Samenvatting: Source-Modality Monitoring in Vision-Language Models

1. Het Probleem: Het "Binding Problem" in Multimodale Modellen

Naarmate AI-systemen evolueren naar multimodale agenten, moeten ze informatie uit verschillende bronnen (tekst, afbeeldingen, audio, etc.) kunnen combineren en bijhouden waar specifieke informatie vandaan komt. Dit wordt in de cognitieve psychologie source-modality monitoring genoemd.

In de context van Vision-Language Models (VLM's) is dit een vorm van het binding problem: het vermogen van een model om abstracte rollen (zoals "de afbeelding" of "de tekst") te koppelen aan de specifieke inhoud die bij die rol hoort. Het onderzoek stelt de vraag: vertrouwen VLM's op expliciete symbolische markers (zoals <image> tokens) om deze koppeling te maken, of gebruiken ze de inherente semantische en distributieve eigenschappen van de data (bijv. het feit dat een afbeelding er anders uitziet dan tekst)?

2. Methodologie

De auteurs onderzoeken dit probleem via een reeks experimenten met 11 verschillende open-source VLM's (waaronder Qwen-2.5-VL, Gemma-3 en LLaVA).

Target-Modality Retrieval Task: De onderzoekers creëerden datasets (gebaseerd op MSCOCO en Flickr30k) met inconsistente paren: een afbeelding en een bijschrift die elkaar tegenspreken. Het model krijgt een vraag zoals: "Wat staat er op de afbeelding?" (terwijl de tekst iets anders zegt). Succes wordt gemeten aan de hand van selectiviteit: de mate waarin het model de gevraagde modaliteit kiest boven de niet-gevraagde.
Structurele Perturbaties: Om het mechanisme te ontleden, manipuleerden de auteurs de input:
- Arbitrary labels: Vervangen van "image/caption" door willekeurige labels (bijv. "Dax/Wug") om puur symbolisch binding te testen.
- Remove/Swap: Het verwijderen of verwisselen van de speciale marker-tokens (zoals <image>).
Representatie-analyse: Er werd gekeken naar de linear separability van tokens in de embedding-ruimte en het gebruik van een "freeze-remove" interventie om te zien of informatie van markers wordt doorgegeven aan de inhoudelijke tokens (contextualization).
Learned Interventions: De onderzoekers gebruikten getrainde vectoren ( $\delta$ ) om te proberen de modaliteits-toeschrijving van het model doelbewust te misleiden (misattribution).

3. Belangrijkste Bijdragen

Definitie van Source-Modality Monitoring: Het formaliseren van het vermogen van modellen om de herkomst van informatie te traceren als een specifiek type binding-probleem.
Hybride Mechanisme: Het aantonen dat VLM's niet puur symbolisch of puur semantisch werken, maar een hybride systeem gebruiken waarbij beide signalen elkaar versterken.
Mechanistische Inzicht: Het bewijs dat marker-tokens niet alleen op hun eigen positie werken, maar hun informatie "propageren" naar de representaties van de inhoudelijke tokens via de lagen van het model.

4. Belangrijkste Resultaten

Symbolisch vs. Semantisch: Hoewel modellen in staat zijn tot puur symbolische binding (met willekeurige labels), blijkt dat ze bij conflicten tussen markers en inhoud zwaar leunen op distributieve semantische signalen. Als de markers worden verwisseld, negeert het model de foutieve markers vaak en volgt het de aard van de data.
Asymmetrie in Retrieval: Er is een opvallend verschil in hoe modellen informatie ophalen. Modellen zijn zeer robuust in het identificeren van "wat er in de afbeelding staat", zelfs zonder markers. Echter, het ophalen van informatie uit de "caption" (tekst) is veel afhankelijker van expliciete symbolische markers.
Effectiviteit van Markers: Modellen met specifieke wrapper-tokens (zoals <image>) presteren consistent beter dan modellen zonder deze markers.
Interventie-gevoeligheid: Het toevoegen van geleerde vectoren aan de marker-tokens is extreem effectief in het misleiden van het model, wat aantoont dat markers een krachtige "causale hendel" zijn voor de modaliteits-identiteit in de vroege en middelste lagen van het netwerk.

5. Significante Implicaties

Robuustheid van AI-agenten: Voor toekomstige AI-agenten die complexe interacties aangaan, is het cruciaal dat ze niet alleen informatie verwerken, maar ook de bron ervan begrijpen. Het onderzoek laat zien dat het vertrouwen op louter semantische signalen een risico kan vormen als de context ambigu is.
Ontwerp van Modellen: Het resultaat dat tekstuele bronnen (zoals "document") moeilijker te onderscheiden zijn dan "tekst" suggereert dat modellen moeite hebben met het onderscheiden van "micro-modaliteiten". Dit benadrukt de noodzaak voor betere training op het gebied van bronvermelding en contextuele grounding.
Fundamentele AI-theorie: Het werk biedt een genuanceerder beeld van het "binding problem" in neurale netwerken, waarbij het laat zien hoe abstracte symbolische logica en associatieve semantiek samensmelten in multimodale systemen.