Visuospatial Perspective Taking in Multimodal Language Models
Dit onderzoek toont aan dat multimodale taalmodellen aanzienlijke tekortkomingen vertonen in het uitvoeren van niveau-2 visuospatiale perspectiefovername, wat hun vermogen beperkt om in collaboratieve contexten het perspectief van anderen correct te representeren en te redeneren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Titel: Kunnen AI's echt in iemands schoenen staan? (Zelfs als die schoenen andersom zijn)
Stel je voor dat je met een vriendin aan een tafel zit. Tussen jullie in staat een bord met een kopje. Jij ziet het kopje aan je linkerkant. Maar omdat je vriendin tegenover je zit, ziet zij het kopje aan haar rechterkant.
Als je vriendin zegt: "Pak het kopje aan mijn rechterkant," dan moet jij niet naar jouw rechterkant kijken (waar niets staat), maar naar haar rechterkant. Dit lijkt simpel voor mensen, maar voor een computer is dit een enorme uitdaging.
Dit is wat wetenschappers hebben onderzocht in dit nieuwe paper over Multimodale Taalmodellen (slimme AI's die zowel tekst als plaatjes kunnen begrijpen). Ze wilden weten: Kunnen deze AI's echt in de huid van een ander kruipen?
Hier is de samenvatting, vertaald naar begrijpelijke taal met een paar leuke vergelijkingen.
1. Het probleem: De "Klaas van de Koele" van de AI
Vroeger testten wetenschappers of AI's slim waren door ze korte verhalen te laten lezen. Maar dat is als een zwemles geven op het droge. Je kunt de theorie van zwemmen kennen, maar als je in het water springt, zink je misschien toch.
De onderzoekers wilden testen of AI's echt kunnen ruimtelijk perspectief nemen. Dat betekent: niet alleen weten wat er op een foto staat, maar begrijpen hoe die foto eruitziet voor iemand anders die ergens anders staat.
Ze gebruikten twee spelletjes om dit te testen:
Spelletje A: De Draaiende Figuur (De Spiegel)
Stel je voor een poppetje op een foto dat naar een getal kijkt.
- Niveau 1 (Eenvoudig): Ziet het poppetje het getal? (Ja/Nee).
- Niveau 2 (Moeilijk): Hoe ziet het poppetje het getal? Als jij een '6' ziet, ziet het poppetje (dat tegenover je staat) misschien een '9'. Of als jij links kijkt, kijkt het poppetje naar rechts.
Wat gebeurde er?
De AI's deden het heel goed als ze zelf keken. Maar zodra ze moesten draaien in hun hoofd om te kijken hoe het poppetje het zag, ging het mis.
- De "M-vormige" valkuil: De slimste AI's (de "redenerende" modellen) deden het goed als het poppetje precies naar hen toe keek (0 graden) of precies weg (180 graden). Maar zodra het poppetje een beetje scheef stond (bijvoorbeeld 90 graden), raakten ze de weg kwijt.
- De analogie: Het is alsof je een spiegel hebt. Als je recht voor de spiegel staat, zie je jezelf. Als je je 180 graden draait, zie je je rug. Maar als je 90 graden draait, weten deze AI's niet meer hoe ze zich moeten spiegelen. Ze gebruiken een simpele trucje ("links wordt rechts") in plaats van echt in hun hoofd te draaien.
Spelletje B: De Directeur (Het Verborgen Object)
Stel je voor een spel waarbij een "Directeur" (die aan de andere kant van een rek staat) je vraagt om een object te pakken.
- Sommige objecten zijn voor jou zichtbaar, maar voor de Directeur verborgen achter een muurtje.
- De Directeur zegt: "Pak het kleinste sterretje."
- Jij ziet drie sterretjes. De Directeur ziet er maar één (de andere twee zijn verborgen).
Wat gebeurde er?
De AI's hadden moeite om te vergeten wat zij zagen. Ze wilden vaak het kleinste sterretje pakken dat zij konden zien, zelfs als de Directeur die niet kon zien.
- De analogie: Het is alsof je met een vriendin een raadsel oplost, maar jij bent zo gefocust op je eigen antwoord dat je vergeet dat je vriendin een andere helft van de puzzel ziet. De AI's kunnen hun eigen "bril" niet afzetten om door de bril van de Directeur te kijken.
2. De Resultaten: Slimme trucs, maar geen echt inzicht
De onderzoekers keken naar verschillende modellen, van de standaardversies tot de nieuwste "redenerende" modellen (zoals o3 en o4-mini).
- De goede nieuws: De AI's zijn heel goed in het lezen van plaatjes en het begrijpen van simpele instructies.
- Het slechte nieuws: Ze hebben geen echt "ruimtelijk inzicht". Ze gebruiken heuristieken (korte wegjes of trucjes).
- Als de AI ziet dat iemand 180 graden gedraaid is, zegt hij: "Oh, dan moet ik links en rechts omwisselen." Dat werkt soms.
- Maar als de persoon 45 graden gedraaid is, of als er twee dingen tegelijk moeten worden omgekeerd (zowel links/rechts als voor/achter), dan crasht het systeem.
Het is alsof je een robot hebt die een danspas kan doen als de muziek op de maat is, maar zodra de muziek verandert of er een obstakel in de weg staat, struikelt hij.
3. Waarom is dit belangrijk?
Je zou denken: "Wie geeft er om of een AI een kopje aan de verkeerde kant pakt?"
Maar stel je voor dat deze AI's worden ingezet als:
- Een robot-verpleger die medicijnen moet halen in een drukke kamer.
- Een assistent die samen met een mens werkt in een fabriek.
- Een chatbot die een therapeutische rol speelt.
Als de AI niet kan begrijpen wat de mens ziet of weet, kan ze gevaarlijke fouten maken. Ze kan iets aanreiken wat de mens niet kan zien, of een instructie verkeerd interpreteren omdat ze denkt dat ze op dezelfde plek staat als de mens.
Conclusie: Nog geen menselijke "inlevingsvermogen"
De boodschap van dit paper is helder: AI's zijn nog niet klaar om echt samen te werken met mensen in de echte wereld.
Ze kunnen tekst en plaatjes lezen, maar het vermogen om in te schatten hoe de wereld eruitziet voor een ander (zeker als die ander ergens anders staat of iets anders ziet), ontbreekt nog. Ze zijn als een acteur die de tekst uit zijn hoofd kent, maar niet echt in de rol kan kruipen.
Voor nu moeten we oppassen dat we AI's niet in situaties zetten waar ze echt moeten "in iemands schoenen staan", want daar struikelen ze nog over hun eigen benen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.