GPT-4o reads the mind in the eyes

Technische Samenvatting: GPT-4o leest de geest in de ogen

Probleemstelling
Hoewel Large Language Models (LLM's) hebben aangetoond het vermogen te bezitten om menselijke gevolgtrekkingen met betrekking tot emoties en mentale toestanden uit tekst te reproduceren, blijft het onduidelijk of deze capaciteit zich uitstrekt naar niet-tekstuele modaliteiten, specifiek visuele sociale signalen. Mensen bezitten een verfijnd vermogen om "de geest in de ogen te lezen", een vaardigheid die doorgaans wordt gemeten met de Reading the Mind in the Eyes Test (RMET). Deze studie onderzoekt of GPT-4o, een state-of-the-art multimodale LLM, deze taak kan uitvoeren en vergelijkt de verwerkingsmechanismen ermee met de menselijke cognitie. Specifiek onderzoeken de auteurs of GPT-4o menselijke kenmerken van gezichtsverwerking vertoont, zoals het "inversie-effect" (verminderde prestaties bij geïnverteerde gezichten), en of de foutpatronen kwalitatieve verschillen onthullen in de manier waarop het mentale staat-informatie verwerkt in vergelijking met mensen.

Methodologie
De onderzoekers gebruikten twee gevalideerde psychometrische tests:

1. Reading the Mind in the Eyes Test (RMET): Een standaardtest met 36 zwart-wit afbeeldingen van de oogregio's van witte gezichten.
2. Multiracial RMET (MRMET): Een nieuwere, multiraciaal inclusieve versie met 37 hoogwaardige kleurenafbeeldingen van diverse gezichten, ontworpen om raciale bias te vermijden en te garanderen dat de stimuli niet aanwezig waren in de trainingsdata van GPT-4o (gepubliceerd mei 2024; MRMET gepubliceerd april 2024).

Experimenteel Ontwerp:

• Proefpersonen: 51 volwassen mensen voor de RMET en 400 volwassen mensen voor de MRMET (200 per oriëntatie). GPT-4o (model gpt-4o-2024-08-06) werd getest met 25 repetities voor RMET en 200 repetities voor MRMET per oriëntatie.
• Manipulatie: Afbeeldingen werden gepresenteerd in twee oriëntaties: rechtopstaand en geïnverteerd (ondersteboven).
• Procedure: Zowel mensen als GPT-4o kregen de opdracht om het beste woord te selecteren uit vier opties die de mentale toestand van de persoon in de afbeelding beschrijven.
• Analyse:
  • Nauwkeurigheid: Gemeten als de fractie correcte reacties met behulp van mixed-effect logistische regressie.
  • Foutanalyse: De auteurs gingen verder dan eenvoudige nauwkeurigheid door de structuur van fouten te analyseren met behulp van informatietheorie. Ze berekenden verwarringsmatrices, foutconcentratie-indices (het aanpassen van een exponentiële vervalfunctie aan de foutkansen), structurele gelijkenis (Spearman-correlatie van foutvectoren) en informatiegehalte in fouten (wederzijdse informatie die kwantificeert hoeveel informatie over de mentale toestand behouden blijft, zelfs in onjuiste reacties).

Belangrijkste Resultaten

1. Prestatienauwkeurigheid en het Inversie-effect:

   • Rechtopstaande Gezichten: GPT-4o overtrof mensen aanzienlijk in zowel de RMET als de MRMET wanneer gezichten rechtopstaand waren.
   • Geïnverteerde Gezichten: GPT-4o vertoonde een ernstige prestatiedaling (>50% afname), waarbij het onder het kansniveau zakte voor geïnverteerde gezichten in de MRMET. Mensen vertoonden ook een daling (ongeveer 15%), maar bleven boven het kansniveau.
   • Interactie: Er was een significante model-door-oriëntatie interactie, wat aangeeft dat terwijl mensen een kwantitatieve reductie in efficiëntie ervaren, GPT-4o een kwalitatieve verstoring ervaart in zijn vermogen om diagnostische informatie te extraheren uit geïnverteerde gezichten.

2. Raciale en Gender Biases:

   • Ras: In de MRMET presteerde GPT-4o significant beter op witte gezichten dan op niet-witte gezichten. Menselijke participanten vertoonden geen significant verschil in nauwkeurigheid op basis van de ras van de stimulus (hoewel een same-race voordeel werd waargenomen in specifieke subgroepen).
   • Gender: Inversie beïnvloedde de verwerking van mannelijke stimuli bij GPT-4o onevenredig veel, wat leidde tot een prestatiedaling onder het kansniveau, terwijl mensen geen significante gender-gebaseerde nauwkeurigheidsverschillen vertoonden.

3. Foutstructuur en Informatiegehalte:

   • Consistentie: De fouten van GPT-4o waren zeer consistent over verschillende runs (lage dispersie), terwijl menselijke fouten meer verspreid waren.
   • Structurele Gelijkenis: Voor rechtopstaande gezichten vertoonden de foutpatronen van mensen en GPT-4o een matige gelijkenis. Echter, voor geïnverteerde gezichten week de foutstructuur aanzienlijk af. Het foutpatroon van GPT-4o voor geïnverteerde gezichten was zwak gelijkaardig aan zijn eigen rechtopstaande patroon en zwak gelijkaardig aan menselijke geïnverteerde patronen.
   • Informatie in Fouten: De foutpatronen van GPT-4o bevatten significant meer informatie dan menselijke fouten, met name voor rechtopstaande gezichten. Dit suggereert dat wanneer GPT-4o het fout heeft, het niet willekeurig gokt; het past consistent een specifieke, zij het onjuiste, logica toe op de informatie over de mentale toestand.
   • Oriëntatieafhankelijkheid: Het informatiegehalte van de fouten van GPT-4o daalde significant voor geïnverteerde stimuli, terwijl het informatiegehalte van menselijke fouten stabiel bleef over de oriëntaties heen.

Betekenis en Claims
Het artikel beweert dat GPT-4o geavanceerde capaciteiten bezit voor het afleiden van mentale toestanden uit minimale visuele cues (de ogen), waarbij het de menselijke nauwkeurigheid op rechtopstaande stimuli overtreft. Echter, de studie benadrukt fundamentele verschillen in de onderliggende verwerkingsmechanismen:

• Kwalitatieve vs. Kwantitatieve Verschillen: De auteurs stellen dat terwijl het "inversie-effect" bij mensen een kwantitatieve reductie in verwerkingsefficiëntie vertegenwoordigt (verstoring van de configurale verwerking), het bij GPT-4o een kwalitatieve verandering is in de structuur van de foutruimte. GPT-4o wordt niet simpelweg minder efficiënt; het verschuift naar een andere modus van verwerking die weliswaar gestructureerd is, maar fundamenteel niet is afgestemd op de menselijke cognitie wanneer gezichten geïnverteerd zijn.
• Systematische Bias: De hoge consistentie van de fouten van GPT-4o impliceert dat de fouten systematisch zijn in plaats van willekeurig. Dit suggereert dat verstoringen (zoals inversie) of biases (zoals raciale bias) kunnen leiden tot voorspelbare, systematische misinterpretaties van menselijke mentale toestanden in mens-AI-interacties, wat potentieel kan leiden tot communicatieve mislukkingen.
• Trainingsartefacten: De auteurs suggereren dat de extreme kwetsbaarheid van GPT-4o voor inversie waarschijnlijk voortkomt uit de trainingsdata, die overwegend bestaat uit rechtopstaande gezichten, wat de ervaring-afhankelijke tekorten weerspiegelt die worden gezien bij Convolutionele Neurale Netwerken (CNN's).
• Raciale Bias: De discrepantie in prestaties tussen witte en niet-witte gezichten bevestigt de aanwezigheid van raciale bias in de gezichtsverwerking van GPT-4o, gedefinieerd hier als een verschil in nauwkeurigheid tussen raciale groepen.

De studie concludeert dat hoewel GPT-4o indrukwekkende sociale sensitiviteit vertoont, zijn "mind-reading" vermogens verschillen van de menselijke cognitie, gekenmerkt door een rigide, oriëntatie-afhankelijke foutstructuur en significante raciale biases die overwogen moeten worden bij toepassingen in de geestelijke gezondheidszorg, sociale robotica en communicatietechnologieën.