Egocentric Bias in Vision-Language Models

Deze studie introduceert FlipSet, een benchmark die aantoont dat visueel-taalmodellen kampen met een systematisch egocentrisch bias en falen in het integreren van sociale bewustzijn met ruimtelijke transformaties bij het simuleren van het perspectief van een ander.

De kern

De "Egoïstische" Camera: Waarom AI niet kan omkijken

Stel je voor dat je in een kamer staat met een vriend. Jij kijkt naar een kaart op de vloer waarop "81" staat geschreven. Je vriend staat precies tegenover je, dus voor hem staat de kaart ondersteboven. Voor hem ziet de kaart eruit als "18".

Als iemand jou vraagt: "Wat ziet je vriend?", dan is het antwoord voor een mens simpel: "Hij ziet 18". Je kunt je eigen perspectief even loslaten en in de schoenen van je vriend stappen. Dit noemen we Level-2 Visueel Perspectief Overnemen. Het is een basisvaardigheid voor sociale interactie.

Maar wat gebeurt er als je dit vraagt aan een slimme computer (een Vision-Language Model)?

Het Experiment: De FlipSet

De onderzoekers uit dit papier hebben een testbedacht genaamd FlipSet. Het is als een spelletje voor kunstmatige intelligentie:

1. Er staat een foto van een kaart met tekst (bijv. "81").
2. Er staat een knuffel-aapje aan de andere kant van de kaart.
3. De computer moet zeggen: "Wat ziet het aapje?"

Om het goed te doen, moet de computer de kaart in zijn hoofd 180 graden draaien, precies zoals het aapje dat zou zien.

Het Verbluffende Resultaat: De "Egoïstische Bias"

De onderzoekers hebben 103 verschillende AI-modellen getest. Het resultaat was schokkend:

• De meeste modellen haalden het slechter dan gokken.
• In plaats van te denken: "Oh, het aapje staat aan de andere kant, dus ik moet draaien," deden ze alsof ze zelf het aapje waren.
• Ze gaven het antwoord dat zij zagen op de foto ("81"), en negeerden het aapje volledig.

De Analogie:
Stel je voor dat je een spiegel voor een schilderij houdt. Als je vraagt wat er in de spiegel te zien is, kijkt de AI niet naar de reflectie, maar naar het schilderij zelf en zegt: "Ik zie een schilderij." Ze zijn zo egoïstisch (of beter: zo gefocust op hun eigen 'camera-oog') dat ze vergeten dat er een ander perspectief bestaat. Ze kunnen niet 'omkijken'.

Waarom lukt het niet? De "Bouwblokken" die niet passen

Je zou denken: "Misschien zijn deze AI's gewoon dom?" Nee, dat is het niet. De onderzoekers deden extra tests om te kijken wat er misging:

1. Sociale kennis (Theory of Mind): De AI's wisten heel goed dat het aapje iets anders zag dan zij. (90% goed). Ze wisten dus: "Hij staat daar, ik sta hier, dus we zien iets anders."
2. Ruimtelijk draaien (Mental Rotation): Als je de AI alleen vroeg: "Draai dit getal 180 graden in je hoofd," lukte het ze soms redelijk goed (iets beter dan gokken).
3. De Combinatie (Het echte probleem): Maar zodra ze deze twee dingen moeten samenvoegen (weten dat iemand anders kijkt + dat getal draaien), crasht het systeem.

De Metafoor:
Stel je voor dat je een auto hebt met een perfecte motor (sociale kennis) en perfecte wielen (ruimtelijk draaien). Maar als je probeert te rijden, zit er geen koppeling tussen de motor en de wielen. De motor draait, de wielen draaien, maar de auto beweegt niet.
De AI heeft de losse onderdelen, maar ze weten niet hoe ze die moeten koppelen om een situatie te begrijpen waarin ze niet zelf de bestuurder zijn.

Wat betekent dit voor de toekomst?

Dit onderzoek laat zien dat AI's momenteel nog niet echt "slim" zijn in het begrijpen van de wereld zoals wij die ervaren. Ze zijn heel goed in het herkennen van patronen (zoals "dit is een 8"), maar ze missen het vermogen om een intern model van de wereld te bouwen en dat model te manipuleren vanuit een ander oogpunt.

Zelfs als je de AI vraagt om stap-voor-stap na te denken (een techniek die "Chain-of-Thought" heet), helpt dat niet. Ze blijven in hun eigen perspectief hangen en verzinnen zelfs logische verklaringen waarom ze het aapje moeten negeren.

Kortom:
AI's zijn momenteel als een zeer slimme, maar extreem egoïstische kameraad. Ze kunnen zien wat jij ziet, en ze weten dat jij iets anders ziet, maar ze kunnen zich niet voorstellen hoe de wereld er voor jou uitziet. Ze moeten nog leren om hun eigen "camera" even uit te schakelen en echt in de schoenen van een ander te stappen.

Technische samenvatting

Titel: Egocentrische Bias in Vision-Language Modellen (VLM's)

1. Het Probleem

Visueel perspectief nemen (Visual Perspective Taking - VPT) is een fundamentele vaardigheid voor sociale cognitie en omvat het redeneren over hoe een scène eruitziet vanuit het gezichtspunt van een ander. De auteurs onderscheiden twee niveaus:

• Level-1 (L1) VPT: Bepalen of een object zichtbaar is vanuit een bepaald perspectief.
• Level-2 (L2) VPT: Bepalen hoe een object eruitziet vanuit een ander perspectief (bijvoorbeeld begrijpen dat een "6" eruitziet als een "9" als je eromheen loopt).

Hoewel recente Vision-Language Modellen (VLM's) indrukwekkende prestaties leveren op het gebied van waarneming en redenering, is het onzeker of ze in staat zijn tot gelegen sociale redenering (situated social reasoning), waarbij het perspectief van een ander agent moet worden ingenomen dat in conflict is met het eigen perspectief. Bestaande benchmarks voor VPT gebruiken vaak complexe 3D-scènes, wat het moeilijk maakt om te bepalen of een fout komt door een gebrek aan "Theory of Mind" (het begrijpen dat anderen anders zien) of door een tekort aan ruimtelijke transformatie (mentale rotatie).

2. Methodologie: FlipSet

De auteurs introduceren FlipSet, een diagnostische benchmark die specifiek is ontworpen om de ruimtelijke transformatiecomponent van L2 VPT te isoleren van 3D-complexiteit en basis Theory of Mind (ToM) eisen.

• Opzet: De taak bestaat uit een afbeelding van een A4-kaart met een 2D-tekenreeks (bijv. "81") en een knuffel-aapje aan de andere kant van de kaart, die naar de achterkant kijkt.
• Vraag: "Wat ziet het aapje op de kaart?"
• Vereiste: Het model moet de kaart mentaal 180 graden roteren om het perspectief van het aapje te simuleren (bijv. "81" wordt "18").
• Ontwerp: In plaats van complexe 3D-objecten worden eenvoudige 2D-strings gebruikt (cijfers en letters) om dieptewaarneming en objectocclusie uit te sluiten.
• Antwoordopties: Elk item heeft vier opties die verschillende cognitieve strategieën vertegenwoordigen:
  1. Correct: Succesvolle perspectiefneming (mentale rotatie).
  2. Egocentrisch: Het model kopieert wat de camera ziet (geen rotatie).
  3. Verwarrend: Een visueel vergelijkbare afleider (bijv. "78" in plaats van "18").
  4. Willekeurig: Een ongerelateerde gok.
• Controle-experimenten: Om de onderliggende mechanismen te ontleden, voeren de auteurs drie gerelateerde taken uit met dezelfde stimuli:
  1. ToM (Theory of Mind): Alleen bepalen of het aapje iets anders ziet dan de camera (geen rotatie nodig).
  2. MR (Mental Rotation): Alleen de string mentaal roteren zonder perspectiefneming.
  3. L2 VPT: De geïntegreerde taak (perspectief + rotatie).

3. Belangrijkste Bijdragen

1. Flipset Benchmark: Een gecontroleerde benchmark met 28 items (variërend van simpele cijferomkeringen tot complexe alfanumerieke transformaties) die ruimtelijke transformatie isoleert van 3D-complexiteit.
2. Gedetailleerde Foutanalyse: Door systematische antwoordopties in te voeren, kunnen de auteurs niet alleen nauwkeurigheid meten, maar ook de oorzaak van fouten identificeren (bijv. egocentrisme vs. visuele verwarring).
3. Grootste Evaluatie: Een evaluatie van 103 openbare VLM's (verschillende families, grootte van 1B tot 90B parameters) onder zero-shot condities.
4. Ontleding van Cognitieve Defecten: Het aantonen van een "compositional deficit" (compositief tekort) door ToM, MR en L2 VPT te scheiden en te vergelijken.

4. Resultaten

De resultaten tonen een systematisch en alomvattend falen van huidige VLM's:

• Algemene Prestaties: 91,3% van de modellen presteert onder het willekeurige kansniveau (25%). De gemiddelde nauwkeurigheid over alle 103 modellen is slechts 8,96%.
• Egocentrische Bias: De dominante fout is egocentrisch: 75,88% van alle antwoorden is een kopie van wat de camera ziet. Modellen negeren het perspectief van het aapje volledig en vertrouwen op hun eigen visuele referentiekader.
• Chain-of-Thought (CoT): Het gebruik van "Chain-of-Thought" prompting (het vragen om redenering) vermindert de bias niet; het verergert deze vaak zelfs, omdat modellen vloeiende maar ruimtelijk ongeldige redeneringen genereren die hun egocentrische bias rationaliseren.
• Controle-experimenten (24 modellen):
  • ToM: Modellen presteren uitstekend (90,4%), wat aangeeft dat ze begrijpen dat anderen een ander perspectief hebben.
  • Mental Rotation (MR): Modellen presteren net boven het willekeurige niveau (26,1%).
  • L2 VPT (Geïntegreerd): De prestatie stort in naar 10,3%.
• Compositional Deficit: Er is een sterke correlatie tussen MR en L2 VPT, maar geen correlatie tussen ToM en L2 VPT. Cruciaal is dat de L2 VPT-prestatie systematisch lager is dan wat men zou verwachten op basis van de afzonderlijke vaardigheden (ToM × MR). Bijvoorbeeld, een model dat perfect ToM heeft en boven-chance MR, faalt catastrofisch in de geïntegreerde taak. Dit bewijst dat modellen de bouwstenen bezitten, maar ze niet kunnen integreren in een contextueel redeneerproces.

5. Betekenis en Conclusie

De studie onthult een fundamentele beperking in de architectuur van huidige VLM's:

• Gebrek aan Geïntegreerde Ruimtelijke Redenering: VLM's lijken te vertrouwen op geleerde visueel-taal associaties en patroonherkenning in plaats van gestructureerde, modelgebaseerde ruimtelijke simulaties. Ze kunnen sociale bewustzijn (ToM) en geometrische transformatie (MR) apart uitvoeren, maar falen bij het koppelen van deze vaardigheden.
• Ontwikkelingspsychologische Parallellen: Het falen van VLM's om perspectiefneming te integreren met ruimtelijke transformatie doet denken aan Piaget's concept van "egocentrisme" in de pre-operatieve fase van kinderen.
• Toekomstige Richtingen: Om geavanceerde sociale interactie en ruimtelijk redeneren mogelijk te maken, hebben VLM's meer nodig dan alleen schaling (scaling). Er zijn specifieke architecturale innovaties nodig die modelgebaseerde simulatie ondersteunen, zoals het trainen op multi-view data, het implementeren van expliciete 3D-scène representaties, of mechanismen die sociale bewustzijn effectief binden aan ruimtelijke operaties.

Conclusie: FlipSet biedt een cruciaal diagnostisch instrument dat aantoont dat huidige multimodale systemen fundamenteel beperkt zijn in hun vermogen tot "gelegen" sociale redenering, ondanks hun indrukwekkende prestaties in andere domeinen.