MEBench: A Novel Benchmark for Understanding Mutual Exclusivity Bias in Vision-Language Models

Probleemstelling

Het paper adresseert een cruciale lacune in de huidige kunstmatige intelligentie: het vermogen van Vision-Language Models (VLMs) om Mutual Exclusivity (ME) bias te tonen. ME bias is een cognitief fenomeen dat bij jonge kinderen wordt waargenomen tijdens het taalverwervingsproces. Het principe stelt dat kinderen aannemen dat elk object slechts één uniek label heeft. Wanneer ze geconfronteerd worden met een mix van bekende objecten en een nieuw, onbekend object, koppelen ze een nieuw woord (bijv. "blicket") automatisch aan het onbekende object, omdat de bekende objecten al een naam hebben.

Hoewel dit een fundamenteel aspect van menselijk taalverwerven is, blijft het in computationele settings onderbelicht. Bestaande benchmarks focussen vaak alleen op object-label koppeling of vereisen geen complexe redenering. Het paper stelt dat huidige VLMs moeite hebben met deze bias, vooral in complexe, rommelige scènes waar ruimtelijke redenering nodig is om ambiguïteit op te lossen.

Methodologie: MEBench

Om dit probleem te onderzoeken, stellen de auteurs MEBench voor, een nieuw benchmark-framework dat bestaat uit drie hoofdblokken:

1. Taalspecificatie:
   De taak wordt geformuleerd als een inferentieopdracht. Gegeven een afbeelding met bekende en nieuwe objecten, en een nieuw label (een pseudowoord zoals "dax"), moet het model:

   • Alle objecten lokaliseren.
   • Bekende objecten onderscheiden van nieuwe objecten (Open-world Recognition).
   • Het nieuwe label toewijzen aan het juiste nieuwe object via ME bias.
   • Bij meerdere nieuwe objecten: Ruimtelijke beschrijvingen gebruiken om de ambiguïteit op te lossen (bijv. "De blik is links van de dax").

2. Data-Generatie Pipeline:
   Omdat er geen bestaande real-world datasets zijn voor deze specifieke taak, hebben de auteurs een schaalbaar synthetisch data-generatieproces ontwikkeld:

   • Bekende Objecten: Gebruikmakend van het Toys4K-dataset (105 categorieën).
   • Nieuwe Objecten: Een gecurateerde set van 64 unieke, procedurally gegenereerde objecten gemaakt met Blender (geometrie nodes), om lexicaal lekken (lexical leakage) te voorkomen.
   • Labels: Pseudowoorden (zoals "dax", "toma") die niet voorkomen in de trainingsdata van de modellen.
   • Omgeving: Realistische kamerachtergronden (woonkamers, slaapkamers) gegenereerd met Infinigen, inclusief dynamische belichting en fysiek correcte objectplaatsing (rigid body simulatie).
   • Beschrijvingen: Voor elke weergave wordt een scene graph gegenereerd en vertaald naar natuurlijke taal beschrijvingen van ruimtelijke relaties.

3. Data Variaties:
   De dataset is opgedeeld in varianten om verschillende vaardigheden te testen:

   • 1K-0U: 1 bekend object (test objectdetectie).
   • 1K-1U & 2K-1U: 1 of 2 bekende objecten + 1 nieuw object (test ME bias).
   • 1K-2U: 1 bekend object + 2 nieuwe objecten (test ruimtelijk redeneren om ambiguïteit op te lossen).

Belangrijkste Bijdragen

1. MEBench Framework: Een nieuw computeraal kader voor het evalueren van ME bias, dat verder gaat dan traditionele settings door ruimtelijk redeneren en contextuele scènes te integreren.
2. Flexibele Data Pipeline: Een schaalbaar systeem voor het genereren van gecontroleerde, geannoteerde synthetische scènes met pseudowoorden en procedurally gegenereerde objecten.
3. Uitgebreide Benchmarking: Een systematische evaluatie van state-of-the-art VLMs (zowel gesloten als open-source) die inzicht geeft in hun redeneervermogen en beperkingen.

Resultaten

De auteurs hebben zeven SOTA VLMs geëvalueerd (o.a. CogVLM, Gemini 2.0, LISA, LLaVA-OV). De belangrijkste bevindingen zijn:

• Zwakke ME Bias: De meeste VLMs vertonen een zwakke ME bias. Ze hebben de neiging om nieuwe labels onterecht toe te wijzen aan bekende objecten in plaats van aan de nieuwe objecten.
  • Uitzondering: CogVLM toont de sterkste ME bias, maar zelfs dit model zakt in prestaties naarmate de scène complexer wordt.
• Kans op Complexiteit: Een kleine toename in scène-complexiteit (bijv. het toevoegen van één extra bekend object) leidt tot een drastische daling ("cliff") in de prestaties van alle modellen.
• Ruimtelijk Redeneren: Modellen kunnen wel gebruikmaken van extra ruimtelijke context om ambiguïteit op te lossen wanneer er meerdere nieuwe objecten zijn.
  • Gemini 2.0 profiteert het meest van ruimtelijke beschrijvingen, wat leidt tot een aanzienlijke verbetering in het oplossen van ambiguïteit.
  • Modellen die geen ruimtelijke input krijgen, presteren slecht bij meerdere nieuwe objecten (hoge ambiguïteitscores).
• Invloed van Prompting: Het toevoegen van objectnamen in de prompt (minimale context) verbetert de prestaties aanzienlijk ten opzichte van alleen de vraag, omdat dit de ME-bias indirect versterkt. Volledige scene-beschrijvingen helpen verder, maar sommige modellen (zoals CogVLM) reageren hier minder sterk op.

Betekenis en Conclusie

MEBench markeert een belangrijke stap in het begrijpen van hoe AI-systemen menselijke cognitieve biases nabootsen. De resultaten tonen aan dat huidige VLMs nog ver verwijderd zijn van het ideale vermogen om objectlocalisatie, ME bias en ruimtelijk redeneren naadloos te integreren.

De studie benadrukt dat:

• Huidige modellen niet robuust genoeg zijn voor adaptieve toepassingen in de echte wereld (zoals huishoudelijke robots), waar ze snel nieuwe objecten moeten leren en benoemen.
• Er een duidelijke kloof bestaat tussen de sterke objectdetectie van deze modellen en hun vermogen tot logisch redeneren over onbekende entiteiten.
• Toekomstig onderzoek zich moet richten op het overbruggen van deze kloof om AI-systemen te ontwikkelen met robuuste zero-shot generalisatiecapaciteiten en mensachtig redeneervermogen.

De code en data zijn open-source beschikbaar gesteld om herhaalbaarheid en verdere research in dit domein te faciliteren.