Visuospatial Perspective Taking in Multimodal Language Models
Die Studie zeigt, dass multimodale Sprachmodelle bei visuell-räumlichen Perspektivübernahme-Aufgaben, insbesondere auf der Ebene 2, wo die eigene Perspektive unterdrückt werden muss, erhebliche Defizite aufweisen, was ihre Eignung für kollaborative Kontexte einschränkt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Können KI-Modelle die Welt durch fremde Augen sehen?
Stellen Sie sich vor, Sie sitzen in einem Raum mit einem Freund. Auf dem Boden liegt ein Buch. Für Sie liegt es links von Ihrem Freund. Aber Ihr Freund steht genau gegenüber. Für ihn liegt das Buch rechts.
Ein Mensch würde sofort verstehen: „Aha, für mich ist es links, aber für meinen Freund ist es rechts." Er kann seine eigene Sichtweise kurzzeitig „ausblenden" und die des Freundes einnehmen. Das nennt man visuell-räumliche Perspektivübernahme.
Die Forscher Jonathan Prunty und sein Team wollten wissen: Können moderne KI-Modelle (wie GPT-4o oder o3) das auch? Oder sehen sie die Welt nur so, wie sie sie sehen, egal was der andere sieht?
Die zwei Tests: Ein Tanz und ein Regisseur
Um das herauszufinden, haben die Forscher zwei Spiele entwickelt, die wie menschliche Psychologie-Tests funktionieren:
1. Der „Dreh-Tanz" (Rotating Figure Task)
Stellen Sie sich ein Bild vor, auf dem eine kleine Figur in einem Zimmer steht. Auf dem Boden liegt ein Symbol, zum Beispiel eine „6".
- Die Aufgabe: Die KI muss antworten, was die Figur auf dem Bild sieht.
- Das Problem: Wenn die Figur sich umdreht, sieht sie aus ihrer Sicht eine „9" (weil die 6 verkehrt herum liegt).
- Das Ergebnis: Die KI konnte oft erkennen, dass die Figur etwas sieht (Level 1). Aber sobald sie herausfinden musste, wie es aussieht (Level 2), geriet sie ins Straucheln.
- Die Analogie: Es ist, als würde die KI versuchen, sich in einen Spiegel zu schauen. Wenn sie genau gegenübersteht (180 Grad), kann sie das Spiegelbild manchmal erraten. Aber wenn sie sich nur ein bisschen zur Seite dreht (45 oder 90 Grad), verliert sie den Bezug und weiß nicht mehr, was links und was rechts ist. Sie scheint keine echte „mentale Rotation" im Kopf zu haben, sondern nutzt nur einfache Tricks.
2. Der „Regisseur" (Director Task)
Stellen Sie sich ein Regal mit vielen Gegenständen vor. Ein Regisseur steht auf der anderen Seite. Manche Gegenstände sind hinter einer Wand verborgen, die der Regisseur nicht sehen kann.
- Die Aufgabe: Der Regisseur sagt: „Nimm mir das kleinste rote Buch von meiner Seite."
- Das Problem: Die KI muss zwei Dinge gleichzeitig tun:
- Nicht auf Dinge schauen, die der Regisseur nicht sehen kann (weil sie hinter einer Wand sind).
- Links und Rechts vertauschen, weil der Regisseur gegenübersteht.
- Das Ergebnis: Hier scheiterten fast alle Modelle. Wenn die KI aufgefordert wurde, die Perspektive des Regisseurs einzunehmen, griff sie oft auf das zurück, was sie selbst sah. Sie konnte ihre eigene „Brille" nicht absetzen.
- Die Analogie: Es ist wie beim Schachspiel, bei dem die KI immer nur ihre eigenen Figuren sieht, aber vergisst, dass der Gegner auf der anderen Seite des Bretts sitzt und die Felder anders benennt.
Was haben die Forscher herausgefunden?
- KI ist nicht „allwissend": Auch die neuesten, „intelligenten" Modelle (wie o3 oder GPT-4o) haben große Schwierigkeiten, die Welt aus der Sicht eines anderen zu verstehen.
- Tricks statt echtem Verständnis: Die Modelle nutzen oft einfache Abkürzungen (Heuristiken). Zum Beispiel: „Wenn die Figur um 180 Grad gedreht ist, tausche ich einfach Links und Rechts." Das funktioniert in einfachen Fällen, bricht aber zusammen, sobald die Situation komplexer wird (z. B. wenn die Figur schräg steht oder wenn man gleichzeitig sehen muss, was verdeckt ist).
- Kein echtes „Gedankenlesen": Die KI simuliert nicht wirklich, was im Kopf einer anderen Person vorgeht. Sie berechnet Statistiken basierend auf dem, was sie selbst sieht.
Warum ist das wichtig?
Wir bauen KI-Systeme, die bald Lehrer, Therapeuten oder Teamkollegen sein sollen. Wenn ein KI-Assistent nicht versteht, dass ein Mensch etwas nicht sehen kann oder dass „links" für den anderen „rechts" bedeutet, wird die Zusammenarbeit scheitern.
- Beispiel: Ein KI-Roboter in einer Fabrik könnte einem Arbeiter einen Gegenstand geben, der für den Arbeiter verdeckt ist, weil die KI nur sieht, was sie sieht.
Fazit
Die Studie zeigt, dass KI zwar sehr gut darin ist, Bilder zu beschreiben und Texte zu verstehen, aber im Bereich der sozialen Intelligenz – speziell beim Verstehen, wie andere die Welt sehen – noch wie ein Kleinkind wirkt, das lernt, dass andere Menschen Dinge sehen können, die man selbst nicht sieht. Bis KI wirklich „mitdenkt" und die Perspektive anderer einnimmt, ist es noch ein weiter Weg.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.