Can LLMs interpret figurative language as humans do?: surface-level vs representational similarity
Während große Sprachmodelle auf der oberflächlichen Ebene der Dialoginterpretation mit Menschen übereinstimmen, weichen sie auf der Repräsentationsebene erheblich ab, insbesondere bei der Verarbeitung von kontextabhängiger und sozio-pragmatischer figurativer Sprache wie Idiomen, Slang und Sarkasmus, wobei GPT-4 die engste Annäherung an menschliche Muster unter den getesteten Modellen aufweist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, menschliche Witze, Sarkasmus und Slang zu verstehen. Sie zeigen ihm einen Satz wie „Dieses Essen ist gas“ (Dieses Essen ist der Hammer) und fragen ihn: „Ist das lustig?“ oder „Ist das positiv?“
Eine neue Studie von Forschern der Texas A&M University stellt eine knifflige Frage: Wenn der Roboter dieselbe Antwort gibt wie ein Mensch, denkt er dann tatsächlich genauso wie ein Mensch?
Hier ist die Aufschlüsselung ihrer Ergebnisse, unter Verwendung einiger alltäglicher Analogien.
Das Experiment: Der „Geschmackstest“
Die Forscher gestalteten einen riesigen Geschmackstest, aber statt Eiscreme verwendeten sie 240 verschiedene Sätze. Diese Sätze deckten sechs „Geschmacksrichtungen“ der Sprache ab:
- Konventionell: Normale Sätze (z. B. „Der Hund ist draußen“).
- Idiomatisch: Redewendungen, bei denen die Wörter nicht das bedeuten, was sie sagen (z. B. „Den Teufel an den Hörnern packen“ / „Bite the bullet“).
- Emotional: Sätze voller Gefühle.
- Lustig: Witze und Wortspiele.
- Sarkastisch: Das Gegenteil von dem sagen, was man meint.
- Gen-Z-Slang: Moderner Internet-Slang (z. B. „This food is gas“).
Sie baten 211 Menschen und vier verschiedene KI-Modelle (darunter GPT-4, Llama und Mistral), jeden Satz nach 40 verschiedenen Kriterien zu bewerten, wie etwa „Ist das positiv?“ oder „Ist das besorgniserregend?“ auf einer Skala von 1 bis 10.
Die zwei Wege des Vergleichs: Die „Punktzahl“ vs. die „Karte“
Die Forscher betrachteten die Ergebnisse auf zwei sehr unterschiedliche Arten:
1. Oberflächliche Ähnlichkeit (Das Punktestandbrett)
Dies ist wie der Blick auf das Endergebnis eines Fußballspiels. Wenn die KI für einen Witz eine „8/10“ angibt und ein Mensch ebenfalls eine „8/10“, dann sehen sie so aus, als würden sie übereinstimmen.
- Das Ergebnis: Auf dieser Ebene sahen die KI-Modelle, insbesondere das intelligenteste (GPT-4), sehr menschenähnlich aus. Sie gaben den Menschen gegenüber für die meisten Sätze ähnliche Bewertungen ab. Es sah so aus, als wären sie im selben Team.
2. Repräsentationsähnlichkeit (Die Karte)
Dies ist der tiefere Teil. Stellen Sie sich vor, Sie und ein Freund zeichnen beide eine Karte einer Stadt.
- Menschliche Karte: Sie wissen, dass die „Pizzeria“ direkt neben dem „Park“ liegt und die „Schule“ weit weg vom „Friedhof“ ist. Ihre Karte hat eine spezifische Struktur, die darauf basiert, wie Sie die Welt verstehen.
- KI-Karte: Die KI könnte die „Pizzeria“ und den „Park“ auch nah beieinander platzieren, aber aus den falschen Gründen. Vielleicht denkt sie, dass sie nah beieinander liegen, weil beide das Wort „Platz“ enthalten, und nicht wegen ihrer Funktion im echten Leben.
Die Forscher verwendeten ein mathematisches Werkzeug namens Representational Similarity Analysis (RSA), um die Struktur dieser Karten zu vergleichen. Sie prüften nicht nur, ob die Punktzahlen übereinstimmten; sie prüften, ob die Beziehungen zwischen den Sätzen dieselben waren.
Die große Enthüllung: Der „Imposter“-Effekt
Hier ist das, was sie herausfanden:
- Die Oberfläche ist täuschend: Die KI-Modelle waren sehr gut darin, menschliche Punktzahlen zu imitieren. Wenn man fragte: „Ist das sarkastisch?“, sagte die KI oft „Ja“, genau wie ein Mensch.
- Die Karte ist anders: Als die Forscher sich die zugrunde liegenden „Karten“ ansah, stellten sie fest, dass die KI und die Menschen tatsächlich weit auseinanderlagen. Die KI organisierte die Bedeutung von Sätzen anders als Menschen.
Die Analogie:
Betrachten Sie die KI als einen sehr talentierten Papagei.
- Wenn man den Papagei fragt: „Ist dieser Satz lustig?“, kann er perfekt „Ja“ sagen, genau wie ein Mensch.
- Aber der Papagei versteht den Witz nicht wirklich. Er weiß nur, dass Menschen, wenn sie dieses spezifische Wortmuster hören, normalerweise „Ja“ sagen.
- Der Mensch hingegen versteht den Witz, weil er den sozialen Kontext, den Tonfall und die verborgene Bedeutung versteht.
Die Ergebnisse nach „Geschmacksrichtung“
Die Studie fand heraus, dass die „Papageien-Fähigkeiten“ der KI für einige Arten der Sprache besser funktionierten als für andere:
- Emotionale & konventionelle Sätze: Die Karte der KI war in gewisem Maße ähnlich zur menschlichen Karte. Es ist einfacher zu erraten, dass „Ich bin traurig“ negativ ist, als zu erraten, dass „Ich bin so aufgeregt, dass ich meine Pflanzen nasse mache“ lustig ist.
- Idiome, Sarkasmus und Slang: Hier scheiterte die KI am „Kartentest“.
- Idiome: Wenn Menschen „Break a leg“ (Hals- und Beinbruch) hören, wissen sie, dass es „Viel Glück“ bedeutet. Die KI hatte oft Schwierigkeiten, dies korrekt dem Konzept „Viel Glück“ zuzuordnen, ohne durch die wörtlichen Wörter „brechen“ und „Bein“ verwirrt zu werden.
- Sarkasmus & Slang: Diese basieren stark auf sozialem Kontext und geteilten menschlichen Erfahrungen (wie Gen-Z-Slang). Die interne Karte der KI für diese Elemente war sehr verschieden von der menschlichen Karte. Es war, als würde die KI eine andere Sprache sprechen, obwohl die Wörter dieselben waren.
Das „Große Gehirn“ vs. das „Kleine Gehirn“
Die Studie verglich verschiedene KI-Modelle:
- GPT-4: Dies war das „große Gehirn“. Es besaß die dem Menschen am ähnlichsten Karte, aber es war immer noch kein perfekter Match. Es war das dem Menschen am nächsten Kommende, aber es gab immer noch Lücken.
- Kleinere Modelle (Llama, Mistral): Diese waren weiter entfernt. Ihre Karten waren sehr unterschiedlich zu den menschlichen, besonders wenn es um knifflige Dinge wie Sarkasmus und Slang ging.
Das Fazit
Das Paper kommt zu dem Schluss, dass nur weil eine KI dieselbe Antwort wie ein Mensch gibt, das nicht bedeutet, dass sie die Sprache auf die gleiche Weise versteht.
Die KI ist exzellent im Musterabgleich (das Imitieren des Punktestandbretts), aber ihr fehlt die tiefe, soziale und kontextuelle „Verankerung“ (Grounding), die Menschen besitzen. Sie organisiert Bedeutung auf ihre eigene, einzigartige Weise, was bei einfachen Aufgaben gut funktioniert, aber versagt, wenn die Sprache schwierig, emotional oder kulturell spezifisch wird.
Kurz gesagt: Die KI ist ein sehr guter Schauspieler, der die richtigen Zeilen sagen kann, aber sie fühlt nicht zwangsläufig die Emotionen, die dahinterstehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.