Evaluating Large language models on Understanding Korean indirect Speech acts
Diese Studie evaluiert die Fähigkeit verschiedener großer Sprachmodelle, koreanische indirekte Sprechakte zu verstehen, indem sie einen spezialisierten Datensatz konstruiert und sowohl automatisierte als auch menschliche Bewertungen einsetzt, wobei sie aufzeigt, dass proprietäre Modelle wie Claude3-Opus zwar Open-Source-Alternativen übertreffen, jedoch noch keines das menschliche Niveau bei der Interpretation kontextabhängiger Intentionen erreicht hat.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stell dir vor, du unterhältst dich mit einem Freund und er sagt: „Hier drin ist es eiskalt.“ Wenn du neben einer kaputten Klimaanlage stehst, stellt er wahrscheinlich nur eine Tatsache fest. Aber wenn du in einem warmen Wohnzimmer mit geschlossenen Fenstern sitzt, deutet er vermutlich an: „Bitte schließ das Fenster“ oder „Dreh die Heizung hoch.“ Diese Lücke zwischen dem, was Worte wörtlich sagen, und dem, was sie eigentlich bedeuten, ist die Geheimzutat der menschlichen Konversation. In der Wissenschaft nennt man dies Pragmatik: die Untersuchung dessen, wie Kontext die Bedeutung verändert. Während Computer unglaublich gut darin geworden sind, Sprachen zu übersetzen oder mathematische Probleme zu lösen, haben sie oft Schwierigkeiten mit dieser Fähigkeit, „zwischen den Zeilen zu lesen“. Sie könnten deinen Hinweis wörtlich nehmen und einfach nur sagen: „Ja, die Temperatur ist niedrig“, und dabei den eigentlichen Punkt völlig verfehlen. Dies ist von Bedeutung, denn da wir beginnen, KI-Assistenten für alles Mögliche zu nutzen – vom Planen von Meetings bis hin zur Erteilung von Ratschlägen –, müssen wir sicherstellen, dass sie nicht nur unsere Worte, sondern auch unsere Absichten verstehen.
Dieses Paper ist wie ein Detektivroman, in dem Forscher eine Reihe von Modellen der Künstlichen Intelligenz (KI) einem Test unterzogen haben, um zu sehen, ob sie den Code der indirekten Andeutungen knacken können. Die Wissenschaftler konzentrierten sich auf das Koreanische, eine Sprache, in der der Kontext König ist, und entwickelten ein spezielles Quiz basierend auf einer klassischen Theorie darüber, wie Menschen Sprache verwenden. Sie erstellten 240 Szenarien, in denen derselbe Satz je nach Situation zwei sehr unterschiedliche Bedeutungen haben konnte. Zum Beispiel könnte der Satz „Das Eis ist dünn“ eine einfache Tatsache sein oder eine Warnung an Kinder, nicht auf einen gefrorenen Teich zu treten. Die Forscher wollten sehen, ob die KI zwischen einer direkten Aussage und einer indirekten Bitte, einem Versprechen oder einem Ausdruck von Emotionen unterscheiden kann.
Die Ergebnisse waren eine Mischung aus „nicht schlecht“ und „noch ein weiter Weg“. Die Forscher testeten 12 verschiedene KI-Modelle, die von massiven, teuren Systemen bis hin zu kleineren Open-Source-Modellen reichten. Der klare Gewinner war ein Modell namens Claude3-Opus. Es erreichte etwa 71,94 % bei einem Multiple-Choice-Test und 65 % bei einem offeneren Test, bei dem es seine Argumentation erklären musste. Obwohl dies beeindruckend ist, ist es wichtig anzumerken, dass selbst das beste KI-Modell die Menschen nicht schlagen konnte. Die menschlichen Teilnehmer der Studie erreichten etwa 77,64 %, was beweist, dass Menschen immer noch die Meister im Verständnis subtiler sozialer Hinweise sind.
Die Studie ergab, dass die meisten KI-Modelle gut darin sind, Dinge wörtlich zu nehmen, aber schlecht darin, die verborgene Bedeutung zu erraten. Wenn ein Satz eine direkte Bitte war, erkannten die KIs dies meistens richtig. Aber wenn die Bitte indirekt war – wie zum Beispiel zu sagen „Draußen ist es schön“, um vorzuschlagen, spazieren zu gehen, anstatt nur über das Wetter zu reden – stolperten die meisten Modelle. Sie blieben tendenziell an der wörtlichen Bedeutung der Wörter hängen. Interessanterweise waren die KI-Modelle überraschend gut darin, indirekte Komplimente oder Idiome (wie jemanden als „Chef“ zu bezeichnen, weil er ein großartiges Essen gekocht hat) zu verstehen, aber sie hatten am meisten mit indirekten Bitten zu kämpfen.
Die Forscher bemerkten auch einige amüsante Eigenheiten im Verhalten der KI. Einige kleinere Modelle antworteten versehentlich auf Englisch, wenn sie aufgefordert wurden, auf Koreanisch zu antworten, als wären sie verwirrt darüber, mit wem sie gerade sprechen. Andere versuchten, Multiple-Choice-Antworten zu erzwingen, selbst wenn die Frage nach einer freien Erklärung verlangte, als wollten sie einen Test manipulieren, den sie schon einmal gesehen hatten. Das Paper legt nahe, dass diese KI-Modelle zwar leistungsstark sind, ihnen aber immer noch das tiefe, intuitive Verständnis des menschlichen Kontextes fehlt, das selbst ein Teenager besitzt. Sie sind wie Schüler, die das Wörterbuch auswendig gelernt haben, aber noch nicht gelernt haben, ein echtes Gespräch zu führen. Die Studie kommt zu dem Schluss, dass wir KI wirklich hilfreich machen können, indem wir sie lehren, über die Oberfläche der Worte hinauszublicken und die chaotische, kontextgefüllte Welt menschlicher Absichten zu verstehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.