Pragmatic Theories Enhance Understanding of Implied Meanings in LLMs
Diese Studie zeigt, dass die Einbeziehung pragmatischer Theorien, wie etwa der Grice’schen Pragmatik und der Relevanztheorie, in Prompts die Fähigkeit großer Sprachmodelle zur Interpretation impliziter Bedeutungen durch geführte schrittweise Argumentation signifikant verbessert und dabei eine Leistungssteigerung von bis zu 9,6 % gegenüber Standard-Chain-of-Thought-Baselines erzielt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einen Freund zu verstehen, der sagt: „Oh großartig, es regnet schon wieder“, während er in einen sonnigen Himmel blickt. Er ist nicht wirklich glücklich über den Regen; er ist sarkastisch. Menschen sind von Natur aus gut darin, diese verborgenen Bedeutungen zu erfassen, aber für Künstliche Intelligenz (KI) ist das so, als würde man versuchen, eine Landkarte zu lesen, die in einer Sprache geschrieben ist, die man noch nie gelernt hat.
In dieser Arbeit geht es darum, der KI einen „Spickzettel“ zu geben, der ihr hilft, diese verborgenen Botschaften, die sogenannten impliziten Bedeutungen, zu verstehen.
Das Problem: KI ist wörtlich
Große Sprachmodelle (LLMs) sind wie brillante Studenten, die fast jedes Buch in der Bibliothek gelesen haben, aber manchmal Schwierigkeiten mit dem Subtext haben. Wenn man sie nach einem Rätsel oder einem sarkastischen Kommentar fragt, nehmen sie die Worte vielleicht zu wörtlich. Sie kennen die Wörterbuchdefinition von „Regen“, aber sie übersehen vielleicht das Gefühl der Verärgerung hinter dem Satz.
Die Lösung: Der „Theorie“-Spickzettel
Die Forscher haben einen neuen Trick ausprobiert. Anstatt die KI nur anzuweisen, „Schritt für Schritt zu denken“ (eine gängige Methode namens Chain-of-Thought), gaben sie der KI eine kurze Zusammenfassung von Pragmatischen Theorien.
Betrachten Sie Pragmatische Theorien als das Regelwerk der menschlichen Konversation.
- Grice’sche Theorie: Stellen Sie sich einen Satz ungeschriebener sozialer Regeln vor, wie etwa „sei hilfreich“, „sei wahrheitsgetreu“ und „sei nicht verwirrend“. Wenn jemand diese Regeln absichtlich bricht, versucht er meistens, etwas anderes zu sagen.
- Relevanztheorie: Dies ist die Idee, dass Menschen immer versuchen, das „Maximum an Nutzen“ aus einer Konversation zu ziehen. Wenn jemand etwas sagt, das viel Aufwand erfordert, um es zu verstehen, muss es daran liegen, dass die Antwort sehr wichtig ist.
Die Forscher sagten der KI: „Bevor du antwortest, tu so, als wärst du ein Linguist. Nutze diese Regelbücher, um herauszufinden, was die Person wirklich meint.“
Das Experiment: Ein Test für verborgene Bedeutungen
Das Team testete dies an einem Datensatz namens PRAGMEGA, was wie eine riesige Prüfung für knifflige Gespräche ist. Die Fragen deckten Themen ab wie:
- Ironie: Das Gegenteil von dem sagen, was man meint.
- Indirekte Rede: Zu fragen „Ist es hier kalt?“, wenn man eigentlich möchte, dass jemand das Fenster schließt.
- Täuschungen: Höflich lügen, um das Gesicht zu wahren.
Sie testeten dies auf verschiedenen KI-Modellen, von Open-Source-Modellen bis hin zu leistungsstarken kommerziellen Modellen (wie GPT-4o).
Die Ergebnisse: Der Spickzettel funktioniert!
Die Ergebnisse waren wie bei einem Studenten, dem man kurz vor einer Prüfung einen Lernzettel gibt:
- Bessere Punktzahlen: Wenn die KI diesen „Pragmatischen Theorie“-Spickzettel verwendete, beantwortete sie signifikant mehr Fragen richtig (bis zu 9,6 % besser) als wenn man ihr nur sagte, „Schritt für Schritt zu denken“.
- Menschliches Leistungsniveau: In einigen Fällen schnitt die KI, die diese Theorien nutzte, so gut oder sogar besser als echte Menschen bei diesen kniffligen Tests ab.
- Der „Namensnennungs“-Effekt: Selbst wenn die Forscher die Theorien nicht im Detail erklärten, half allein die Erwähnung der Namen „Grice’sche Theorie“ oder „Relevanztheorie“ im Prompt der KI, etwas besser abzuschneiden. Es ist, als ob allein das Hören des Namens des Regelwerks die KI an die Regeln erinnerte, die sie bereits gelernt hatte.
Was nicht funktionierte?
Die Forscher probierten auch, der KI „falsche“ Regelbücher zu geben (wie eine erfundene Theorie darüber, wie die physische Distanz die Bedeutung verändert) oder Regelbücher über völlig unzusammenhängende Themen (wie Computermathematik). Diese halfen nicht; tatsächlich machten sie die KI manchmal sogar schlechter. Dies beweist, dass die Verbesserung durch die tatsächlichen Regeln der menschlichen Konversation zustande kam und nicht einfach nur dadurch, dass die KI länger nachdachte.
Das Fazit
Diese Arbeit zeigt, dass KI nicht unbedingt neu trainiert oder mit mehr Daten gefüttert werden muss, um menschliche Nuancen zu verstehen. Stattdessen können wir sie einfach an die sozialen Regeln der Konversation erinnern, die sie wahrscheinlich bereits kennt, aber vergisst anzuwenden. Indem wir der KI ein „Regelwerk“ für implizite Bedeutungen in die Hand geben, helfen wir ihr, eine bessere Zuhörerin und ein menschlicherer Gesprächspartner zu werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.