Belief Without Behavior: Measuring the Translation of Theory of Mind into Coordinated Social Action in Vision-Language Models
Dit artikel introduceert MOSAIC, een multimodale benchmark die onthult dat huidige visuele-taalmodellen er niet in slagen om Theory of Mind-redeneringen te vertalen naar gecoördineerde sociale acties vanwege knelpunten in het genereren van coherente nonverbale signalen en het interpreteren van het gedrag van anderen, terwijl modellen met een expliciete koppeling tussen overtuiging en actie daarin wel slagen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Menselijk contact berust op een stille, snelle uitwisseling die veel verder gaat dan woorden. Wanneer we spreken, veranderen we ook onze blik, passen we onze houding aan en veranderen we onze gezichtsuitdrukkingen, terwijl we tegelijkertijd proberen te raden wat de ander denkt en voelt. Dit vermogen om de geest van een ander te begrijpen en die kennis vervolgens te gebruiken om ons eigen handelen te sturen, staat bekend als 'theory of mind' (mentale staatstheorie). Decennialang hebben wetenschappers deze capaciteit bestudeerd, vaak door mensen vragen te laten beantwoorden over verhalen of door te kijken naar hoe ze reageren op eenvoudige sociale puzzels. Het doel was om te zien of kunstmatige intelligentie hetzelfde kan doen. Maar er bleef een kritische kloof bestaan: weten wat iemand denkt is iets anders dan die kennis in realtime in actie brengen. Een systeem kan correct raden dat iemand een geheim verbergt, maar kan het vervolgens besluiten om weg te kijken, te glimlachen of het lichaam te bewegen op een manier die die persoon subtiel aanmoedigt om het geheim te onthullen? Tot nu toe was er geen test die kon meten of een AI een mentale gok kan vertalen naar een gecoördineerd, fysiek sociaal signaal.
Onderzoekers van de Université Paris-Saclay en Sorbonne Université wilden deze kloof dichten met een nieuw experiment genaamd MOSAIC. Ze bouwden een virtuele wereld waarin twee digitale agenten interactie hadden tijdens een spel van schatzoeken. In dit scenario wist één agent, het subject, waar een verborgen beloning zich bevond, terwijl de andere, de participant, dat niet wist. De taak van het subject was om de participant ofwel te helpen de schat te vinden, of, afhankelijk van de regels van de ronde, de participant te misleiden om de verkeerde doos te kiezen. Het spel was ontworpen als een rigoureuze test van sociale intelligentie. Over tien rondes van interactie moesten de agenten communiceren via een mix van gesproken woorden, lichaamsbewegingen, oogrichting en gezichtsuitdrukkingen. De onderzoekers varieerden de moeilijkheid door de regels te veranderen: soms moest het subject eerlijk zijn, en andere keren moest het bedrieglijk zijn. Cruciaal was dat ze ook de interne instructies van het subject veranderden, waarbij ze sommigen vroegen om te handelen op basis van hun eigen verlangens zonder aan de ander te denken, terwijl anderen expliciet werden gevraagd om de overtuigingen van de participant te modelleren en deze te proberen te beïnvloeden.
De onderzoekers testten dertien verschillende kunstmatige intelligentiemodellen in deze omgeving, waaronder elf visie-taalmodellen die kunnen zien en spreken, en één tekstmodel. Ze voerden tweehonderd proeven uit voor elk model om genoeg gegevens te verzamelen om duidelijke patronen te zien. De resultaten waren onverbiddelijk. De meeste geavanceerde AI-systemen faalden in het produceren van het vereiste gecoördineerde gedrag om succesvol te zijn. Wanneer gevraagd werd om te bedriegen, konden de modellen niet de noodzakelijke mix van misleidende woorden en tegenstrijdige lichaamstaal genereren. Wanneer gevraagd werd om te helpen, faalden ze er vaak in om te bewegen of te kijken op een manier die de andere agent zou leiden. De studie identificeerde twee specifieke breekpunten in het proces. Ten eerste slaagden de meeste modellen er niet in om nonverbale signalen te produceren die directioneel zinvol waren; hun bewegingen en blik waren vaak willekeurig of gericht in de verkeerde richting. Ten tweede, zelfs wanneer een model een duidelijk signaal produceerde, merkte de andere agent in de simulatie het niet op of handelde er niet naar. De AI-agenten leken wel te praten en te bewegen, maar ze communiceerden niet echt.
Eén model bleek een volledige uitzondering. Een hybride systeem genaamd PCM-LLM, dat gebouwd was met een specifiek, gestructureerd module ontworpen om overtuigingen en intenties te verwerken, slaagde in alle condities. Het kon de participant succesvol naar de schat leiden wanneer gevraagd werd om te helpen, en het kon de participant succesvol misleiden wanneer gevraagd werd om te bedriegen. Dit succes suggereert dat het falen van de andere modellen niet kwam door de moeilijkheid van de taak zelf, maar eerder door een ontbrekend onderdeel in hun architectuur. De standaardmodellen, die taal en beelden samen verwerken, leken niet over het interne mechanisme te beschikken om een overtuiging over een ander direct te koppelen aan een fysieke actie. De onderzoekers ontdekten dat voor de meeste modellen de visuele input die ze ontvingen eerder als een afleiding fungeerde dan als een nuttige aanwijzing. In sommige gevallen verbeterde het volledig verwijderen van het visuele beeld het vermogen van het model om een duidelijk directioneel signaal te zenden, wat suggereerde dat de visuele data hun redeneren eerder verstoorden dan ondersteunden.
De studie onderzocht ook of deze modellen door oefening beter konden worden. De onderzoekers namen een van de falende modellen en trainden dit met voorbeelden van succesvol gedrag gegenereerd door het hoogpresterende hybride systeem. Hoewel deze training het gedrag van het model licht veranderde, loste het het fundamentele probleem niet op. Het model kon nog steeds de woorden, ogen en het lichaam niet coördineren tot één coherent sociaal signaal. Dit suggereert dat het simpelweg tonen aan een AI hoe het moet bewegen niet genoeg is; het heeft een diepere architecturale verandering nodig om te begrijpen dat zijn acties bedoeld zijn om een ander bewustzijn te beïnvloeden. De bevindingen wijzen erop dat huidige AI-systemen, ondanks hun vermogen om complexe sociale scenario's in tekst te bespreken, de ideeën nog niet hebben geleerd te belichamen. Ze kunnen wel praten over 'theory of mind', maar ze kunnen het nog niet beleven. De kloof tussen het afleiden van wat iemand denkt en het handelen op basis van die afleiding op een gecoördineerde, fysieke manier blijft een duidelijke en meetbare beperking van de huidige technologie.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.