Beyond Recognition: Evaluating Visual Perspective Taking in Vision Language Models
Dit onderzoek toont aan dat Vision Language Models, ondanks hun sterke vermogen tot scènebegrip, aanzienlijk tekortschieten in ruimtelijk redeneren en visueel perspectief nemen, wat wijst op de noodzaak van geïntegreerde geometrische representaties en aangepaste trainingsprotocollen voor toekomstige modellen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Titel: Kunnen robots werkelijk 'in iemands schoenen staan'? Een test met LEGO-mannetjes
Stel je voor dat je een robot bouwt die niet alleen kan kijken, maar ook kan begrijpen wat jij ziet. Als je een robot in een ziekenhuis of op de weg zet, moet hij niet alleen weten dat er een stoel is, maar ook weten of de dokter die stoel kan zien, of dat een automobilist een kind op de stoep kan zien. Dit noemen we visueel perspectief nemen: het vermogen om de wereld te zien door de ogen van iemand anders.
De auteurs van dit onderzoek wilden weten: Kunnen de slimste AI-modellen van vandaag dit? En het antwoord is verrassend: Nee, niet echt.
Hier is wat ze hebben gedaan, vertaald in simpele taal:
1. De Test: Een LEGO-puzzel
Om de AI's te testen, hebben de onderzoekers geen ingewikkelde foto's van echte straten of ziekenhuizen gebruikt. In plaats daarvan bouwden ze een heel gecontroleerde wereld met LEGO-mannetjes en objecten (zoals een hondje, een stoel of een computer).
- Het idee: Ze plaatsten een LEGO-mannetje en een object op een tafel.
- De variatie: Ze draaiden het mannetje, verplaatsten het object en veranderden het camerablikpunt (van bovenaf of van op ooghoogte).
- De vragen: Ze stelden 7 vragen aan de AI, van makkelijk tot heel moeilijk:
- Eenvoudig: "Hoeveel objecten zie je?" (Dit is gewoon tellen).
- Middel: "Waar staat het object ten opzichte van het mannetje?" (Ruimtelijk redeneren).
- Moeilijk: "Ziet het mannetje het object?" en "Waar staat het object voor het mannetje?" (Dit is het echte perspectief nemen).
2. Het Resultaat: Slimme ogen, maar een verward brein
De resultaten waren als een sportwedstrijd waarbij de AI's in de eerste ronde alle medailles wonnen, maar in de finale volledig faalden.
- Ronde 1 (Het zien): De AI's waren fantastisch. Ze konden perfect tellen hoeveel mannetjes er waren en of ze op dezelfde tafel stonden. Dit is als een fotograaf die perfect kan focussen.
- Ronde 2 (Het redeneren): Toen ze moesten zeggen waar iets ten opzichte van het mannetje stond, werd het al lastiger.
- Ronde 3 (Het perspectief): Hier stortten ze in. Ze konden niet goed bepalen wat het mannetje zag.
De metafoor:
Stel je voor dat je een robot een foto laat zien van een man die naar het noorden kijkt, met een appel aan zijn rechterkant.
- De AI ziet de man en de appel (Ronde 1: ✅).
- De AI zegt: "De appel is rechts van de man" (Ronde 2: ✅).
- Maar als je vraagt: "Wat ziet de man?" of "Waar is de appel voor de man?", dan denkt de AI soms: "Oh, de appel is links!" (Ronde 3: ❌).
Het is alsof de AI een fotograaf is die heel goed kan zien wat er op de foto staat, maar geen acteur is die zich kan voorstellen hoe het voelt om in die foto te staan.
3. Het mysterie van de "Oost-bias"
Een van de gekkigste ontdekkingen was dat veel AI's een vaste voorkeur hadden voor bepaalde richtingen.
- Sommige modellen dachten dat alles naar het Oosten keek, ongeacht hoe het mannetje eruit zag.
- Andere dachten dat alles naar het Westen keek.
De onderzoekers probeerden dit op te lossen door:
- De foto in te zoomen (zodat je de neus van het mannetje beter zag).
- Pijltjes met N, S, O, W op de foto te tekenen.
- Zelfs echte mensen in plaats van LEGO-mannetjes te gebruiken.
Het resultaat? De AI's bleven hun fout maken. Het was alsof ze een geheime code in hun hoofd hadden die ze niet konden uitschakelen. Ze vertrouwden meer op hun "gevoel" (of wat ze in hun trainingstexten hadden gelezen) dan op wat ze daadwerkelijk op de foto zagen.
4. Wat betekent dit voor de toekomst?
De conclusie is dat huidige AI's heel goed zijn in herkennen (wat is dit?), maar nog niet goed in ruimtelijk denken (hoe zit dit in elkaar?).
- Voor nu: We moeten oppassen met robots die autonoom moeten werken (zoals zelfrijdende auto's of operatierobots). Als een robot niet goed kan inschatten wat een mens ziet, kan dat gevaarlijk zijn.
- Voor de toekomst: Om dit op te lossen, moeten AI-ontwikkelaars niet alleen meer tekst en foto's laten zien, maar de robots ook leren om een mentale kaart te maken. Ze moeten leren om echt in hun hoofd te draaien en te simuleren hoe de wereld eruitziet vanuit een ander punt van view, net zoals wij dat doen.
Kortom: De AI's zijn slimme bibliothecarissen die alle boeken hebben gelezen, maar ze hebben nog niet geleerd om zelf de wereld te ervaren. Ze moeten nog leren om "in iemands schoenen te staan" – of in dit geval, in de ogen van een LEGO-mannetje te kijken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.