💬 NLP

Language Models Can Resolve Reference Compositionally, But It's Not Their Native Strength: The Case of the Personal Relation Task

Diese Arbeit zeigt auf, dass Large Language Models zwar im Vergleich zu Menschen bei der strukturierten, intensionalen Interpretation persönlicher Beziehungen exzellieren, jedoch bei der referenziellen, extensionalen Aufgabe unterperformen, was darauf hindeutet, dass ein Mangel an referenzieller Erdung eine kritische Einschränkung in ihrer Fähigkeit darstellt, menschenähnliches Sprachverständnis zu erreichen.

Ursprüngliche Autoren: Bart Evelo, Meaghan Fowlie, Denis Paperno

Veröffentlicht 2026-06-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Bart Evelo, Meaghan Fowlie, Denis Paperno

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen riesigen, komplexen Stammbaum aus sechs Personen: Amber, Bryan, Christina und Dana. Sie sind alle durch Beziehungen wie „Freund“, „Feind“, „Elternteil“ und „Kind“ miteinander verbunden.

Nun stellen Sie sich vor, jemand stellt Ihnen eine knifflige Frage zu diesem Stammbaum, wie zum Beispiel: „Wer ist der Freund von Ambers Elternteil?“

Dieses Paper ist ein direkter Wettkampf zwischen Menschen und KI-Sprachmodellen (LLMs), um zu sehen, wer besser darin ist, diese Frage zu beantworten. Aber hier ist der Clou: Die Forscher baten die Teilnehmer, das Problem auf zwei völlig unterschiedliche Arten zu lösen.

Die zwei Wege, das Rätsel zu lösen

Das „Wer ist es?“-Spiel (Extensional Task):
- Das Ziel: Geben Sie einfach nur den Namen der Person an.
- Die Antwort: „Felicia.“
- Was es testet: Kann man die Karte navigieren und das spezifische Ziel finden? Das ist so, als würde man auf eine Karte schauen und auf die Stadt zeigen, die man besuchen möchte.
Das „Wie komme ich dorthin?“-Spiel (Intensional Task):
- Das Ziel: Geben Sie nicht den Namen an. Schreiben Sie stattdessen das Rezept oder die Formel, um die Person zu finden.
- Die Antwort: friend(parent(Amber))
- Was es testet: Kann man die Struktur des Satzes verstehen und die Schritte aufschreiben? Das ist so, als würde man die Wegbeschreibung schreiben, ohne tatsächlich das Auto zu fahren.

Die große Überraschung: Menschen und KI sind Gegensätze

Die Forscher fanden heraus, dass Menschen und KI völlig unterschiedliche Dinge gut können. Es ist wie ein Vergleich zwischen einem menschlichen Navigatoren und einem superschnellen Übersetzer.

Menschen sind die Navigatoren:
Wenn sie gefragt wurden „Wer ist es?“, waren Menschen großartig darin (83 % Genauigkeit). Sie konnten den Stammbaum betrachten, den Verbindungen folgen und auf die richtige Person zeigen.
Jedoch hatten sie Schwierigkeiten (71 % Genauigkeit), wenn sie gebeten wurden, das „Rezept“ (friend(parent(Amber))) aufzuschreiben. Es ist, als wäre man ein großartiger Autofahrer, der plötzlich ein Lehrbuch darüber schreiben muss, wie man fährt, aber dann die spezifischen Regeln für das Schreiben vergisst.
KI ist der Super-Übersetzer:
Wenn sie gebeten wurden, das „Rezept“ zu schreiben, war die KI fantastisch (95 % Genauigkeit). Sie behandelte die Frage wie ein Sprachrätsel. Sie sah „Ambers Elternteil ist Freund“ und ordnete die Wörter einfach zu einer Formel um. Es ist wie ein Übersetzer, der perfekt darin ist, Französisch ins Englische zu konvertieren, aber noch nie in Frankreich gewesen ist.
Jedoch wurde die KI verwirrt (80 % Genauigkeit), wenn sie gefragt wurde „Wer ist es?“. Sie hatte Schwierigkeiten, tatsächlich den Stammbaum zu nutzen, um die spezifische Person zu finden. Sie kannte zwar das Rezept, konnte es aber nicht nutzen, um zum Ziel zu gelangen.

Warum passiert das?

Das Paper legt einen einfachen Grund nahe: Woher sie ihre Fähigkeiten gelernt haben.

Menschen lernen Sprache durch die Interaktion mit der realen Welt. Wir wissen, was ein „Freund“ oder ein „Elternteil“ ist, weil wir solche Menschen getroffen haben. Wir sind in der Realität verwurzelt. Daher fällt es uns natürlich, eine spezifische Person (das „Wer“) zu finden.
KI lernt nur aus Texten. Sie hat noch nie eine Person namens Amber getroffen. Sie hat nur Millionen von Sätzen über Freunde und Eltern gesehen. Sie ist eine Expertin darin, Muster in Wörtern zu erkennen und sie neu anzuordnen (Übersetzung), aber sie besitzt keine „reale Welt“-Karte, nach der sie navigieren kann. Es ist wie ein Koch, der jedes Kochbuch der Welt gelesen hat, aber noch nie eine Mahlzeit zubereitet oder Zutaten probiert hat.

Der „abstrakte“ Twist

Die Forscher versuchten auch eine schwierigere Version, bei der sie Namen wie „Amber“ durch zufällige Buchstaben wie „h“ und „Freund“ durch „x“ ersetzten.

Menschen hassten dies. Es war sehr schwer für sie, das Rezept mit zufälligen Buchstaben zu bestimmen.
KI war beim Rezept immer noch ganz gut, aber sie wurde sehr schlecht darin, die Person zu finden.

Das Fazit

Das Paper kommt zu dem Schluss, dass KI zwar unglaublich intelligent darin ist, Symbole zu manipulieren und Formeln zu schreiben (die „intensionale“ Aufgabe), aber noch nicht so gut darin ist wie Menschen, diese Symbole zu nutzen, um Antworten in der realen Welt zu finden (die „extensionale“ Aufgabe).

Die Autoren argumentieren, dass KI mehr braucht als nur das Lesen von Büchern, um Sprache wirklich so zu verstehen wie ein Mensch – sie muss in der realen Welt „verankert“ sein. Bis dahin ist die KI ein brillanter Übersetzer von Ideen, aber noch kein perfekter Navigator der Realität.

Technische Zusammenfassung: Sprachmodelle können Referenzen kompositionell auflösen, aber dies ist nicht ihre native Stärke

Problemstellung
Die Arbeit befasst sich mit einer kritischen Frage bei der Evaluierung von Large Language Models (LL way LLMs): Erwerben diese Modelle tatsächlich kompositionale Fähigkeiten zur Interpretation natürlicher Sprache, oder resultieren ihre Ausgaben primär aus sophistizierter Mustererkennung? Während bestehende Benchmarks oft entweder die Übersetzung natürlicher Sprache in formale Repräsentationen (intensionale Aufgaben) oder die Abbildung von Beschreibungen auf konkrete Referenten (extensionale Aufgaben) fokussieren, kontrastieren nur wenige Studien diese beiden Aspekte der Bedeutung innerhalb eines einheitlichen Rahmens. Die Autoren argumentieren, dass ein Mangel an referenzieller Erdung (grounding) im Training von LLMs eine entscheidende fehlende Komponente sein könnte, um eine menschenähnliche Sprachverarbeitung nachzuahmen, was eine Methode erforderlich macht, um zwischen der Fähigkeit eines Modells, einen „Sinn“ zu berechnen (die strukturelle Formel), und seiner Fähigkeit, eine „Referenz“ aufzulösen (die spezifische Entität), zu unterscheiden.

Methodik
Die Autoren passten die Personal Relation Task (PRT) (Paperno, 2022) an, um sowohl LLMs als auch menschliche Teilnehmer zu evaluieren. Die Aufgabe beinhaltet ein kontrolliertes „Universum“ aus sechs Personen, die durch vier Arten von Beziehungen verbunden sind: Freund, Feind, Elternteil und Kind. Die Teilnehmer werden mit komplexen Nomenphrasen konfrontiert (z. B. „Ambers Freund von Ambers Eltern“) und sollen eine von zwei Aufgaben ausführen:

Extensionale Aufgabe: Identifizieren Sie die spezifische Person (Referent), die die Phrase innerhalb des gegebenen Universums bezeichnet.
Intensionale Aufgabe: Generieren Sie eine geschachtelte Funktionsformel, die den Sinn der Phrase darstellt (z. B. freund(elternteil(amber))).

Das experimentelle Design manipulierte vier Schlüsselvariablen:

Ansatz: Extensional vs. Intensional.
Repräsentation: Englisch (unter Verwendung von Standardnamen/Beziehungen) vs. Abstrakt (Abbildung von Namen und Beziehungen auf beliebige Variablen, z. B. Amber $\to$ h, freund $\to$ x). Die abstrakte Bedingung dient als Kontrolle für die Kontamination durch Pretraining-Daten und erhöht die Schwierigkeit der intensionalen Aufgabe, indem sie oberflächliche String-Manipulation verhindert.
Verzweigung: Linksverzweigt (Genitiv-'s, z. B. „Ambers Elterns Freund“) vs. Rechtsverzweigt (Präpositionalphrasen, z. B. „der Freund des Elternteils von Amber“).
Komplexität: Die Anzahl der Beziehungen plus eins (getestet auf den Stufen 3, 4, 5 und 6 für LLMs; auf Stufe 3 begrenzt für Menschen aufgrund von Budgetbeschränkungen).

Die Studie evaluierte fünf LLMs, einschließlich Standard-Instruction-tuned Modelle und Large Reasoning Models (LRMs), unter Verwendung einer standardisierten vierteiligen Prompt-Struktur (Einleitung, Datensatz, Arbeitsbeispiel, Testfrage). Menschliche Daten wurden von 32 Teilnehmern via Prolific erhoben. Die Leistung wurde mittels verallgemeinerter linearer gemischter Modelle (GLMMs) analysiert, um die Effekte von Teilnehmergruppe, Aufgabenansatz, Repräsentation und Komplexität zu bewerten.

Wesentliche Beiträge

Methodologischer Rahmen: Die Arbeit führt eine einheitliche Methodik zur Bewertung der intensionalen versus extensionalen kompositionellen Interpretation ein, was einen direkten Vergleich zwischen diesen zwei unterschiedlichen semantischen Fähigkeiten ermöglicht.
Vergleichende Daten: Sie liefert menschliche Leistungsdaten zu denselben Aufgaben unter maximal vergleichbaren Bedingungen wie für LLMs und schließt damit eine Lücke, in der kompositionale Fähigkeiten oft ohne explizite menschliche Baselines bewertet werden.
Empirische Evaluierung: Die Studie bietet eine statistische Evaluierung mehrerer LLMs, hebt divergierende Stärken zwischen Modellen und menschlichen Teilnehmern hervor und untersucht spezifisch den Einfluss von reasoning-gestützten Architekturen.

Ergebnisse
Die Studie zeigt eine fundamentale Divergenz in den Leistungsprofilen zwischen Menschen und LLMs auf:

Gegensätzliche Stärken: Menschen schnitten bei extensionalen Aufgaben (82,8 % Genauigkeit) signifikant besser ab als bei intensionalen Aufgaben (71,1 %). Umgekehrt schnitten LLMs bei intensionalen Aufgaben (95,0 %) besser ab als bei extensionalen Aufgaben (79,8 %).
Repräsentationseffekte: Beide Gruppen fanden englische Repräsentationen einfacher als abstrakte. Die Schwierigkeitslücke war jedoch für LLMs in der abstrakten extensionalen Bedingung (66,1 % Genauigkeit) am ausgeprägtesten, da diese das Navigieren im Universum und das Mapping beliebiger Symbole erfordert, während die englische intensionale Aufgabe (95 % Genauigkeit) für LLMs die einfachste war, da sie einer Übersetzungs- oder syntaktischen Umordnung gleicht.
Komplexität und Reasoning: Die Leistung der LLMs sank mit zunehmender Komplexität. Reasoning-gestützte Modelle (LRMs) hielten jedoch im Vergleich zu Standardmodellen eine stabilere Leistungslücke zwischen extensionalen und intensionalen Aufgaben über die Komplexitätsstufen hinweg auf, was darauf hindeutet, dass Reasoning-Fähigkeiten die Schwäche in der referenziellen Auflösung mildern, aber nicht eliminieren können.
Verzweigung: Im Gegensatz zu früheren Studien mit rekurrenten neuronalen Netzen zeigten moderne Transformer-basierte LLMs keine signifikante systematische Verzerrung zwischen links- und rechtsverzweigten Strukturen.

Bedeutung und Behauptungen
Die Autoren behaupten, dass ihre Ergebnisse die Vorstellung stützen, dass der Mangel an referenzieller Erdung im Training von LLMs ein kritisches Defizit beim Erreichen menschenähnlicher Sprachverarbeitung ist. Die Ergebnisse legen nahe, dass LLMs exzellent in der „Übersetzung“ natürlicher Sprache in formale Strukturen (intensionale Aufgaben) sind, da ihr Trainingsziel auf der Vorhersage von Oberflächenformen und syntaktischen Mustern basiert. Im Gegensatz dazu sind Menschen, deren Sprachgebrauch in der realen Welt verankert ist, besser darin, konkrete Referenten zu identifizieren (extensionale Aufgaben), haben aber Schwierigkeiten, wenn sie gezwungen sind, die zugrunde liegenden strukturellen Formeln explizit zu artikulieren.

Die Arbeit postuliert, dass LLMs zwar eine hohe Genauigkeit bei kompositionalen Aufgaben erreichen können, dies jedoch durch einen anderen zugrunde liegenden Prozess tun als Menschen – nämlich durch die Nutzung von Übersetzungsfähigkeiten statt echter referenzieller Erdung. Die Autoren kommen zu dem Schluss, dass beliebige Referenz selbst für modernste Modelle eine merkliche Herausforderung bleibt, was das Argument verstärkt, dass referenzielle Erdung eine wichtige, noch fehlende Komponente zur Integration in KI-Systeme ist. Die Studie ist in ihren Ansprüchen bescheiden und merkt an, dass das experimentelle Setup etwas künstlich ist und zukünftige Arbeit notwendig ist, um einfache Instruction-tuned Modelle breiter mit reasoning-gestützten Modellen zu vergleichen.