Beyond Understanding: Evaluating the Pragmatic Gap in LLMs' Cultural Processing of Figurative Language
Die Studie bewertet die Fähigkeit von Sprachmodellen, kulturell fundierte bildhafte Sprache zu verarbeiten, und zeigt, dass sie zwar oft Bedeutungen interpretieren können, aber erhebliche Schwierigkeiten bei der pragmatischen Anwendung und dem Verständnis kultureller Nuancen aufweisen, insbesondere im Vergleich zu Englisch und bei ägyptischen Idiomen, wofür das neue Datenset Kinayat bereitgestellt wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie lernen eine neue Sprache. Sie können die Grammatik perfekt beherrschen, jeden Satz wortwörtlich übersetzen und die Wörter korrekt aussprechen. Aber wenn Ihr neuer Freund sagt: „Das ist ja ein Käsekräuterbrot!", verstehen Sie vielleicht das Wort „Käse", aber nicht, dass er damit meint, dass die Situation etwas „schmierig" oder „seltsam" ist.
Genau an diesem Punkt hakt es bei den aktuellen Künstlichen Intelligenzen (KI), genauer gesagt bei den sogenannten „Large Language Models" (LLMs). Eine neue Studie von Forschern der Carnegie Mellon University und der MBZUAI untersucht genau dieses Problem: Können KIs nicht nur die Sprache verstehen, sondern auch den kulturellen „Witz" dahinter?
Hier ist die Erklärung der Studie, einfach und mit ein paar bildhaften Vergleichen:
1. Das Problem: Der „Kultur-Blindheit"
Die Forscher sagen: KIs sind wie Reisende mit einem perfekten Reiseführer, aber ohne Ortskenntnis. Sie kennen alle Fakten über Ägypten oder die USA, aber sie wissen nicht, wie man sich dort wirklich verhält.
Besonders schwierig ist es bei Redewendungen und Sprichwörtern.
- Beispiel: Ein ägyptisches Sprichwort lautet: „Verkaufe kein Wasser im Dorf der Wasserverkäufer."
- Wörtlich: Das klingt logisch, aber warum?
- Kulturell: Es bedeutet: „Versuche nicht, die Experten zu überrumpeln." Das kommt aus einer Zeit, als Wasserverkäufer in Dörfern lebten und Wasser vom Nil holten. Jemand, der dort Wasser verkaufen wollte, war dumm, weil es dort schon genug gab.
Eine KI kann das Wort „Wasser" und „Dorf" verstehen. Aber versteht sie, warum man das sagt? Und kann sie das Sprichwort im richtigen Moment benutzen, um einen Witz zu machen oder jemanden zu beschwichtigen?
2. Der Test: Drei Aufgaben für die KI
Die Forscher haben 22 verschiedene KIs (von Open-Source-Modellen bis zu den teuersten von OpenAI und Google) einem harten Test unterzogen. Man kann sich das wie eine Schulprüfung für kulturelle Intelligenz vorstellen:
- Die Übersetzungsaufgabe (Verstehen): Die KI soll erklären, was das Sprichwort bedeutet. (Wie ein Schüler, der die Definition auswendig lernt).
- Die Anwendungsaufgabe (Pragmatik): Die KI soll das Sprichwort in einem neuen Satz benutzen, der Sinn ergibt. (Wie ein Schüler, der das Sprichwort in einem Aufsatz richtig einbauen muss).
- Die Gefühl-Aufgabe (Konnotation): Die KI soll erraten, ob das Sprichwort positiv, negativ oder neutral klingt. (Wie ein Schüler, der die Stimmung eines Satzes spürt).
3. Die Ergebnisse: Die KI stolpert über die Kultur
Die Ergebnisse waren eindeutig und zeigten eine klare Hierarchie des Scheiterns:
- Englisch ist einfacher: Die KIs waren bei englischen Sprichwörtern ziemlich gut (wie ein Schüler, der die Sprache der Schule spricht).
- Arabisch ist schwerer: Bei arabischen Sprichwörtern (in der formellen Standardsprache) sank die Leistung leicht.
- Dialekte sind der Albtraum: Bei ägyptischen Dialekten (umgangssprachliches Arabisch) brach die Leistung massiv ein. Die KIs waren hier fast 10 % schlechter als bei der formellen Sprache.
Das größte Problem: Verstehen vs. Anwenden
Das ist der wichtigste Punkt der Studie:
- Die KIs konnten die Bedeutung oft erklären (sie wussten, was „Käsekräuterbrot" bedeutet).
- Aber wenn sie das Sprichwort anwenden sollten, versagten sie. Die Leistung sank um ganze 14 %.
Die Analogie:
Stellen Sie sich vor, Sie haben einen Freund, der alle Kochbücher der Welt auswendig gelernt hat. Er kann Ihnen perfekt erklären, wie man einen Kuchen backt (Verstehen). Aber wenn Sie ihn bitten, in einer echten Küche einen Kuchen zu backen, ohne dass er ihn verbrennt oder die Zutaten verwechselt, scheitert er (Anwendung). Er kennt die Theorie, aber nicht die Praxis.
4. Warum ist das so?
Die Forscher fanden heraus, dass KIs oft nur Statistiken nutzen. Sie wissen, welche Wörter oft zusammen vorkommen. Aber kulturelle Nuancen, wie ein Sprichwort in einer bestimmten Situation zu verwenden ist, basieren auf geteilter Lebenserfahrung, nicht auf Statistik.
Außerdem zeigte sich: Je größer das KI-Modell ist, desto besser wird es. Aber selbst die größten Modelle (wie GPT-4 oder Claude) scheitern oft daran, die richtige Redewendung zum richtigen Zeitpunkt zu wählen.
5. Das Geschenk der Forscher: „Kinayat"
Da es bisher keine gute Datenbank für diese Art von Tests im arabischen Raum gab, haben die Forscher eine neue Sammlung namens Kinayat erstellt.
- Was ist das? Eine Sammlung von 325 ägyptischen Redewendungen mit Erklärungen.
- Wozu? Damit andere Forscher in Zukunft besser testen können, ob ihre KIs wirklich „kulturell intelligent" sind.
Fazit für den Alltag
Diese Studie zeigt uns, dass KIs zwar super darin sind, Informationen zu sammeln und Sätze zu bilden, aber sie sind noch keine kulturellen Mitmenschen.
Sie können uns vielleicht eine Geschichte auf Arabisch erzählen, aber sie werden uns wahrscheinlich nicht verstehen, wenn wir in einer hitzigen Diskussion ein altes Sprichwort benutzen, um einen Konflikt zu schlichten. Bis KIs lernen, nicht nur die Wörter, sondern auch den Kontext und die Gefühle hinter den Wörtern zu verstehen, bleiben sie wie Reisende mit einem Reiseführer: Sie wissen viel, aber sie fühlen sich nicht wirklich zu Hause.
Kurz gesagt: KIs können die Sprache lesen, aber sie müssen noch lernen, die Kultur zu fühlen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.