Using Perspectival Words Is Harder Than Vocabulary Words for Humans and Even More So for Multimodal Language Models
Die Studie zeigt, dass multimodale Sprachmodelle im Vergleich zu Menschen zwar bei einfachen Vokabeln gut abschneiden, jedoch bei perspektivischen Wörtern wie Possessivpronomen und Demonstrativa erhebliche Defizite in der räumlichen und pragmatischen reasoning aufweisen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Titel: Warum KI noch nicht versteht, wer „dieses" oder „jenes" meint
Stellen Sie sich vor, Sie sitzen mit einem Freund an einem Tisch. Vor Ihnen liegen ein Apfel und eine Banane. Ihr Freund sagt: „Ich möchte diesen hier."
Für uns Menschen ist das kinderleicht. Wir wissen sofort: „Dieser" bedeutet den Apfel, weil er nah bei ihm ist. Aber für eine künstliche Intelligenz (KI) ist so ein Satz wie ein Rätsel, das sie kaum lösen kann.
Eine neue Studie von Forschern des Max-Planck-Instituts für psycholinguistische Forschung untersucht genau dieses Problem. Sie haben herausgefunden, dass KI-Modelle zwar super darin sind, Dinge zu benennen, aber katastrophal darin, Perspektiven einzunehmen.
Hier ist die Erklärung, einfach und mit ein paar bildhaften Vergleichen:
1. Die drei Ebenen der Schwierigkeit
Die Forscher haben KI und Menschen drei verschiedene Aufgaben gestellt, die wie eine Treppe aufgebaut sind:
- Ebene 1: Das Vokabular (Der einfache Name)
- Aufgabe: „Was ist das?" (Antwort: Ein Boot).
- Vergleich: Das ist wie das Auswendiglernen von Vokabeln in der Schule. Die KI ist hier fast so gut wie ein Mensch. Sie kann Bilder erkennen und Namen zuordnen. Das ist ihr „Stärkegebiet".
- Ebene 2: Die Besitzverhältnisse (Mein vs. Dein)
- Aufgabe: „Wem gehört das?" (Antwort: „Meins" oder „Deins").
- Vergleich: Hier wird es knifflig. Die KI muss verstehen: „Ich spreche gerade." Wenn ich sage „Meins", meine ich mich. Wenn ich sage „Deins", meine ich dich. Die KI verwechselt das oft, als hätte sie kein eigenes „Ich".
- Ebene 3: Die Zeigewörter (Dieser vs. Jener)
- Aufgabe: „Welches meinst du?" (Antwort: „Dieser" (nah) oder „Jener" (fern)).
- Vergleich: Das ist die härteste Nuss. Die KI muss nicht nur wissen, wer spricht, sondern auch, wo die Dinge im Raum stehen. Sie muss sich vorstellen: „Der Apfel ist nah bei mir, also sage ich 'dieser'. Die Banane ist weit weg, also sage ich 'jener'." Hier scheitern die KIs am meisten.
2. Das Problem: Die KI hat keine „Körper"
Warum ist das so schwer für die KI?
Stellen Sie sich vor, Sie lernen eine Sprache, indem Sie nur Bücher lesen, aber Sie haben nie einen Körper gehabt. Sie wissen theoretisch, was „links" oder „rechts" bedeutet, aber Sie haben nie erlebt, wie sich ein Gegenstand anfühlt, wenn er direkt vor Ihrer Nase liegt, im Vergleich zu einem, der weit weg steht.
- Menschen lernen diese Wörter, indem sie im echten Leben herumlaufen, zeigen und Dinge greifen. Wir haben eine „innere Landkarte" und ein Gefühl für den Raum.
- KI-Modelle haben nur Text und Bilder gesehen. Sie können zwar ein Bild eines Apfels erkennen, aber sie verstehen nicht intuitiv, was es bedeutet, aus der Sicht einer anderen Person auf den Tisch zu schauen.
Die Studie zeigt: Wenn die KI den Text liest, der sagt „Der Junge ist der Sprecher", dann ist das für sie nur ein Wort. Für uns ist es eine echte Situation, in der wir uns sofort in den Jungen hineinversetzen.
3. Der Test: KI vs. Mensch
Die Forscher haben 360 Menschen und 7 verschiedene moderne KI-Modelle getestet. Das Ergebnis war eindeutig:
- Bei einfachen Namen (Vokabeln) waren die KIs fast perfekt.
- Bei „Mein/Dein" (Besitz) machten sie schon viele Fehler.
- Bei „Dieser/Jener" (Raum und Perspektive) waren sie deutlich schlechter als Menschen. Selbst die besten KIs (wie GPT-4o) lagen weit unter dem menschlichen Niveau.
4. Der Versuch, die KI zu „belehren"
Die Forscher haben versucht, den KIs mit speziellen Anweisungen zu helfen. Sie sagten quasi: „Hey, denk nach! Wer spricht? Wer ist nah? Wer ist fern?"
- Bei „Mein/Dein" half das sehr gut. Die KI wurde fast so gut wie ein Mensch.
- Bei „Dieser/Jener" half es nur wenig. Die KI konnte zwar besser verstehen, wer spricht, aber sie konnte immer noch nicht gut genug einschätzen, wo die Dinge stehen. Es ist, als würde man jemandem sagen: „Denk daran, dass links links ist", aber er hat immer noch kein Gefühl für die Richtung.
Fazit: Was bedeutet das für uns?
Diese Studie zeigt uns etwas Wichtiges: KI ist heute ein genialer Bibliothekar, der alle Wörter der Welt kennt. Aber sie ist noch kein guter Gesprächspartner, der die Welt fühlt.
Um wirklich menschlich zu kommunizieren, reicht es nicht, Wörter zu kennen. Man muss verstehen, wie es sich anfühlt, in einer anderen Person zu stecken und die Welt aus deren Perspektive zu sehen. Solange KI-Modelle nicht lernen, diese „perspektivischen" Wörter (wie ich, du, mein, dieser, jener) richtig zu nutzen, werden sie in echten Gesprächen oft missverstanden oder wirken steif und unnatürlich.
Kurz gesagt: Die KI kann den Apfel benennen, aber sie weiß noch nicht, was es heißt, ihn aus der Hand eines anderen zu nehmen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.