💬 NLP

Common Objects Out of Context (COOCo): Investigating Multimodal Context and Semantic Scene Violations in Referential Communication

Dit onderzoek introduceert de COOCo-dataset om te onderzoeken hoe visuele taalmodellen (VLM's) de balans tussen lokale objectinformatie en scènecontext gebruiken bij het genereren van verwijzingen, waarbij ze aantonen dat de aandacht van het model dynamisch wordt aangepast op basis van de semantische samenhang tussen object en omgeving.

Oorspronkelijke auteurs: Filippo Merlo, Ece Takmaz, Wenkai Chen, Albert Gatt

Gepubliceerd 2026-02-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Filippo Merlo, Ece Takmaz, Wenkai Chen, Albert Gatt

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je in een chique restaurant zit. Je verwacht een ober, een glas wijn en een bord met eten. Maar plotseling zie je midden op de tafel een grote, natte ham liggen. Je zou even met je ogen knipperen, toch? Je brein zegt: "Ho even, dit hoort hier niet!"

Dit is precies waar onderzoekers van de Universiteit Utrecht naar hebben gekeken, maar dan niet bij mensen, maar bij AI (Vision-Language Models).

Hier is de uitleg van hun onderzoek in begrijpelijke taal:

Het probleem: De "Context-Check" van de AI

AI-modellen (zoals de techniek achter slimme camera's of chatbots die plaatjes kunnen 'zien') proberen objecten te benoemen. Als ze een plaatje van een kantoor zien, 'verwachten' ze een laptop. Maar wat gebeurt er als die laptop wordt vervangen door een stuk ham? Gebruikt de AI dan alleen zijn ogen om naar het object te kijken, of laat hij zich ook leiden door de omgeving?

De experimenten: De "Verwarrings-test"

De onderzoekers hebben een speciale dataset gemaakt, genaamd COOCo. Ze hebben duizenden foto's genomen en daar met digitale 'magie' (inpainting) vreemde objecten in geplaatst. Ze deden drie dingen:

De Match-test: Ze plaatsten objecten die perfect in de scène pasten (een laptop in een kantoor) en objecten die totaal niet pasten (een ham in een kantoor).
De Mist-test: Ze maakten de foto's wazig of ruisig, alsof je door een beslagen ruit kijkt.
De Focus-test: Ze keken waar de "aandacht" van de AI naartoe ging. Waar 'kijkt' de AI eigenlijk naar in zijn digitale brein?

Wat hebben ze ontdekt? (De conclusies)

1. De AI is een beetje een 'meeloper' (Context is een tweesnijdend zwaard)
Als de AI een object ziet dat perfect in de omgeving past, helpt de omgeving hem enorm. Het is als een puzzel waarbij de omliggende stukjes je al vertellen wat het plaatje moet zijn.
Maar... als het object niet in de scène past (de ham in het kantoor), werkt de omgeving juist tegen! De AI raakt in de war door de omgeving en probeert het object toch in het plaatje te 'passen', waardoor hij het verkeerd benoemt. De context werkt dan als een afleidende collega die je uit je concentratie haalt.

2. De AI heeft een 'plan B' (Compensatie)
Wanneer de foto heel wazig is en je het object bijna niet meer ziet, doet de AI iets interessants. Hij stopt met staren naar het vage object en begint de omgeving intensiever te bestuderen. Het is alsof je in het donker een voorwerp zoekt: als je het niet kunt zien, voel je met je handen de omgeving om te raden wat het is.

3. De "U-vorm" van aandacht (De nieuwsgierige blik)
Dit is het meest fascinerende deel. De onderzoekers ontdekten dat de AI een soort 'nieuwsgierigheid' heeft die lijkt op die van mensen.

Als een object heel normaal is (een stoel in een kamer), kijkt de AI er kort naar.
Als een object heel vreemd is (een ham in een kantoor), gaat de AI er juist extra goed naar kijken om te begrijpen wat er aan de hand is.
Maar als het object "net niet" klopt (een beetje vreemd, maar niet extreem), dan wordt de aandacht van de AI een beetje lui.

Waarom is dit belangrijk?

Dit onderzoek laat zien dat AI nog niet helemaal zo slim is als een mens. Wij begrijpen de wereld als een logisch verhaal, terwijl AI soms nog een beetje vastloopt in de strijd tussen wat hij ziet en wat hij verwacht. Door te begrijpen hoe deze "verwarring" werkt, kunnen we AI bouwen die minder snel in de war raakt door een 'stuk ham in een kantoor' en die de wereld echt begrijpt zoals wij dat doen.

Technische Samenvatting: Common Objects Out of Context (COOCo)

Probleemstelling

In de menselijke perceptie worden objecten zelden geïsoleerd waargenomen; we hebben sterke verwachtingen over welke objecten in welke context thuishoren (bijv. een laptop op een bureau). Wanneer een object niet in de context past (een semantische schending), ervaren mensen cognitieve moeilijkheden.

De onderzoekers onderzoeken in hoeverre Vision-Language Models (VLM's) gebruikmaken van deze scène-context bij het benoemen van objecten (een fundamenteel onderdeel van Referring Expression Generation). De centrale vraag is: vertrouwen VLM's op de context om objecten te identificeren, en hoe verandert hun aandachtspatroon wanneer de semantische samenhang tussen object en scène wordt verstoord of wanneer er visuele ruis wordt toegevoegd?

Methodologie

De auteurs introduceren een nieuwe methodologie en een dataset om dit te testen:

COOCo Dataset: Een grootschalige dataset waarbij natuurlijke afbeeldingen (uit COCO-Search18) zijn gemanipuleerd via inpainting. Hierbij wordt het doelobject vervangen door alternatieven met verschillende gradaties van semantische verwantschap met de scène: hoog, medium of laag.
Ruis-injectie: Om de robuustheid te testen, werd Gaussische ruis toegevoegd aan drie gebieden: het doelobject (target), de omgeving (context) of de gehele afbeelding (all noise), met verschillende intensiteiten ( $\lambda = 0.0, 0.5, 1.0$ ).
Modellen: Er werd getest op diverse state-of-the-art VLM's, waaronder KOSMOS-2, Molmo, xGen-MM-Phi3, LLaVA-OneVision en Qwen2.5-VL.
Analyse van Aandacht (Attention): Voor een diepgaande analyse van LLaVA-OneVision werd gekeken naar de attention allocation ratio in de Transformer-decoder om te zien hoe het model visuele tokens van het object versus de context weegt.

Belangrijkste Bijdragen

COOCo Dataset: Een innovatieve dataset die semantische inconsistentie op een continue schaal moduleert, wat cruciaal is voor het begrijpen van de nuances in contextuele verwerking.
Gedetailleerde analyse van context-afhankelijkheid: Het aantonen dat context zowel een ondersteunende als een verstorende rol kan spelen.
Interpretatie van aandachtspatronen: Het identificeren van een niet-monotone relatie tussen semantische fit en de aandacht die een model aan een object besteedt.

Resultaten

De belangrijkste bevindingen zijn:

Context als facilitator vs. distractor:
- Wanneer een object congruent is met de scène (past er goed), werkt de context als een hulpmiddel (facilitator). Als het object deels onzichtbaar is door ruis, gebruikt het model de context om het object correct te raden.
- Wanneer een object incongruent is (past niet in de scène), werkt de context als een afleider (distractor). In dit geval verbetert de nauwkeurigheid juist wanneer de context wordt weggefilterd met ruis.
Aandachtspatronen:
- Modellen besteden meer aandacht aan het doelobject wanneer dit semantisch afwijkt van de scène (incongruentie trekt aandacht).
- Er is een niet-monotone (U-vormige) relatie tussen semantische fit en aandacht: zowel zeer verwachte als zeer onverwachte objecten trekken meer aandacht dan objecten die "net niet" passen. Dit vertoont parallellen met menselijke oogbewegingen.
Robuustheid: Het gebruik van context maakt modellen veerkrachtiger tegen ruis op het doelobject, mits de scène semantisch logisch is.

Significantie

Dit onderzoek is significant omdat het aantoont dat VLM's niet alleen naar lokale pixels kijken, maar een dynamische balans zoeken tussen lokale visuele informatie en globale contextuele verwachtingen. De bevinding dat de aandacht van modellen een U-vormig patroon volgt dat lijkt op menselijke perceptie, suggereert dat de manier waarop deze modellen context integreren, steeds meer overeenkomsten vertoont met cognitieve processen bij mensen. Dit biedt belangrijke inzichten voor het verbeteren van de robuustheid en de interpretabiliteit van multimodale AI-systemen.