Evaluating Communicative Belief Updates in Large Language Models via Implicature Recognition and Cancellation
Dieses Paper führt den ersten von Experten annotierten Datensatz für Implikatur-Kompensation ein, um die Fähigkeit großer Sprachmodelle zur Erkennung und Aktualisierung unausgesprochener Überzeugungen zu bewerten, und zeigt auf, dass aktuelle LLMs bei diesen pragmatischen Schlussfolgerungsaufgaben hinter der menschlichen Leistung zurückbleiben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie spielen eine Runde Scharade, aber anstatt Wörter nachzustellen, führen Sie ein Gespräch, bei dem die wichtigsten Teile das sind, was Sie nicht sagen. In der Welt der menschlichen Sprache verhandeln wir ständig eine gemeinsame Realität, einen „Common Ground“, auf dem wir uns beide darüber einig sind, was wahr ist. Das tun wir nicht nur, indem wir Fakten benennen, sondern indem wir Hinweise geben oder Implikaturen nutzen. Wenn ich sage: „Einige der Kekse sind weg“, deute ich (ohne es direkt auszusprechen) an, dass nicht alle von ihnen weg sind. Sie verstehen das sofort, weil Ihr Gehirn ein Meister darin ist, zwischen den Zeilen zu lesen. Aber manchmal ändere ich meine Meinung und sage: „Eigentlich glaube ich, sie sind alle weg.“ Das nennt man Kompensation (Cancellation), wenn ich den Hinweis, den ich gerade gegeben habe, wieder zurücknehme. Diese Fähigkeit, unsere gemeinsamen Überzeugungen basierend auf subtilen, unausgesprochenen Hinweisen sofort zu aktualisieren, ist der Klebstoff, der die menschliche Konversation zusammenhält.
Stellen Sie sich nun vor, Sie bringen einem superintelligenten Roboter bei, dieses Spiel zu spielen. Wir haben massive KI-Modelle gebaut, die sogenannten Large Language Models (LLMs), die Poesie schreiben, Matheaufgaben lösen und wie Menschen chatten können. Aber verstehen sie wirklich den unsichtbaren Tanz aus Andeutungen und Rücknahmen? Verstehen sie es, wenn sich ein Gespräch verschiebt, oder raten sie nur basierend auf dem, was sie zuvor gesehen haben? Dies ist die große Frage, die sich Forscher stellen. Wenn eine KI diese winzigen, unausgesprochenen Aktualisierungen nicht bewältigen kann, wird sie Schwierigkeiten haben, ein echtes, flüssiges Gespräch mit uns zu führen, und oft den Punkt verfehlen oder verwirrt sein, wenn wir unsere Meinung ändern.
In dieser Arbeit haben die Forscher beschlossen, diese KI-Modelle auf die Probe zu stellen. Sie haben einen brandneuen Spielplatz namens IMPLICATUREX erschaffen, einen Datensatz aus 271 sorgfältig gestalteten Gesprächsausschnitten. Denken Sie an eine Serie von Mini-Filmen, in denen eine Figur einen Hinweis gibt und ihn dann sofort wieder zurücknimmt. Sie ließen sowohl menschliche Freiwillige als als auch verschiedene KI-Modelle diese Clips ansehen und fragten: „Gab es den Hinweis? Hat die Rücknahme funktioniert? Hat sich die Überzeugung der Figur geändert?“
Die Ergebnisse waren ein wenig ernüchternd für die KI. Während die klügsten KI-Modelle überraschend gut darin waren, einfache, lehrbuchartige Hinweise zu erkennen (wie das „einige vs. alle“-Keksbeispiel), stolperten sie heftig, wenn die Konversation unordentlich und echt wurde. Wenn die Hinweise aus natürlichen, alltäglichen Chats stammten – wie etwa zwei Freunde, die über eine Party oder ein Hobby sprechen – versagten die KI-Modelle oft schon dabei, den Hinweis überhaupt zu verstehen, oder sie übersehen die Rücknahme komplett. Tatsächlich war die Leistung der KI in den natürlichsten Szenarien kaum besser als reines Raten.
Die Forscher führten auch einige hinterhältige Kontroll экспериimente durch, um herauszufinden, warum die KI Schwierigkeiten hatte. Sie fanden heraus, dass die KI nicht immer deshalb einen Hinweis richtig erkannte, weil sie das Gespräch verstanden hatte, sondern manchmal einfach auf eine „Vorannahme“ (Prior Belief) zurückgriff, wie ein Schüler, der die Antwortlösung auswendig gelernt hat, ohne die Frage gelesen zu zu haben. Wenn die KI zum Beispiel das Wort „einige“ sah, nahm sie automatisch an, dass „nicht alle“ gemeint sind, ohne den Rest des Satzes überhaupt zu hören. Darüber hinaus stellten sie fest, dass die KI, wenn sie aufgefordert wurde, ihre Überzeugungen nach einer Rücknahme zu aktualisieren, viel besser darin war, an ihrer ursprünglichen Vermutung festzuhalten, als ihre Meinung zu ändern. Es ist, als wäre die KI stur und würde es vorziehen, die neuen Informationen zu ignorieren, anstatt die mentale Akrobatik zu betreiben, die für die Aktualisierung ihres Verständnisses nötig wäre.
Letztlich legt die Studie nahe, dass unsere KI-Modelle zwar besser darin werden, die menschliche Sprache zu imitieren, aber das menschliche Denken in Gesprächen noch nicht ganz beherrscht haben. Sie können dem Skript folgen, aber sie hinken uns noch hinterher, wenn es um die unausgesprochenen, sich wandelnden Überzeugungen geht, die echte Kommunikation erst möglich machen. Die Arbeit behauptet nicht, dass die KI kaputt ist, aber sie deutet an, dass diese Modelle nicht bereit für echte Gesprächspartner sind, solange sie nicht in der Lage sind, die Nuance einer Kompensation in einem natürlichen Chat zu bewältigen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.