Language Models Might Not Understand You: Evaluating Theory of Mind via Story Prompting
Dieser Beitrag stellt StorySim vor, ein programmierbares Framework zur Generierung neuer, kontaminationsfreier Story-Prompts zur Evaluierung großer Sprachmodelle, das zeigt, dass diese im Allgemeinen bei der Weltmodellierung besser abschneiden als bei Aufgaben zur Theorie des Geistes und sich häufig auf Heuristiken statt auf tiefgreifendes Schlussfolgern verlassen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, menschliche Gedanken zu verstehen. Sie möchten wissen, ob der Roboter herausfinden kann, was jemand anderes denkt, selbst wenn die Gedanken dieser Person falsch sind. Diese Fähigkeit wird als Theorie des Geistes (ToM) bezeichnet.
Lange Zeit testeten Wissenschaftler Roboter (Large Language Models oder LLMs) mit einer klassischen Kindergeschichte namens „Sally-Anne". In dieser Geschichte versteckt Sally ein Spielzeug, verlässt den Raum, und Anne bewegt das Spielzeug. Wenn Sally zurückkommt, wo sucht sie? Ein Mensch weiß, dass Sally am ursprünglichen Ort sucht, weil sie nicht weiß, dass das Spielzeug bewegt wurde. Aber wenn Sie die Geschichte nur winzig verändern, geraten diese Roboter oft in Verwirrung, was darauf hindeutet, dass sie die Geschichte möglicherweise nur auswendig gelernt haben, anstatt die Gedanken der Charaktere wirklich zu verstehen.
Um dies zu beheben, entwickelten die Autoren dieses Papiers ein neues Werkzeug namens StorySim. Denken Sie an StorySim als ein programmierbares LEGO-Set für Geschichten.
Das LEGO-Set (StorySim)
Anstatt eine Geschichte von Hand zu schreiben oder eine andere KI zu bitten, eine zu verfassen (was versehentlich Dinge kopieren könnte, die der Roboter bereits gesehen hat), verwenden die Forscher einen „Storyboard".
- Das Storyboard: Dies ist ein strikter Bauplan. Er besagt: „Charakter A betritt Raum 1 um Minute 1. Charakter B betritt Raum 2 um Minute 2." Er steuert genau, wer was und wann sieht.
- Der Baumeister: Das System füllt den Rest der Geschichte automatisch aus und stellt sicher, dass die Regeln niemals gebrochen werden. Da die Geschichten von Grund auf neu mit diesen Bauplänen erstellt werden, haben die Roboter sie noch nie zuvor gesehen. Es ist wie beim Bau eines brandneuen Puzzles jedes Mal, wenn Sie spielen.
Der Test: Geist gegen Karte
Die Forscher nutzten dieses LEGO-Set, um verschiedene KI-Modelle drei unterschiedliche Arten von Tests unterziehen:
- Der „Geist"-Test (Theorie des Geistes): Sie fragten: „Wo denkt Bob, dass Anne ist?" Um dies zu beantworten, muss der Roboter die tatsächliche Wahrheit ignorieren und stattdessen verfolgen, was Bob gesehen hat und was er glaubt.
- Der „Karte"-Test (Weltmodellierung): Sie fragten: „Wo ist Anne tatsächlich hingegangen?" Dies erfordert nur, dass der Roboter die Fakten der Geschichte erinnert, wie etwa das Verfolgen eines sich bewegenden Objekts auf einer Karte.
- Der „Objekt"-Test: Sie stellten dieselbe „Karte"-Frage, aber anstatt von Menschen handelte die Geschichte von unbelebten Objekten (wie einem Ball, der bewegt wird). Dies prüft, ob der Roboter Menschen anders behandelt als Objekte.
Was sie fanden
Die Ergebnisse waren etwas überraschend, wie wenn man feststellt, dass ein Schüler, der den Mathe-Test gemeistert hat, mit dem Logikrätsel kämpft:
- Roboter sind besser bei Karten als bei Geistern: Die meisten KI-Modelle waren viel besser darin zu verfolgen, wohin Dinge tatsächlich gegangen sind (Weltmodellierung), als zu erraten, was ein Charakter dachte, dass passierte (Theorie des Geistes). Sie konnten der Handlung folgen, hatten aber Schwierigkeiten, in die Schuhe eines Charakters zu schlüpfen.
- Menschen gegen Objekte: Die Roboter waren etwas besser darin, die Bewegungen von Menschen als von Objekten zu verfolgen. Es scheint, als wären die Modelle „vorbereitet", mehr Aufmerksamkeit auf menschliche Charaktere zu richten, vielleicht weil sie mit so vielen menschlichen Gesprächen trainiert wurden.
- Die „Kürzlich"-Falle: Die Forscher befürchteten, dass die Roboter schummelten, indem sie einfach den letzten Ort rieten, an dem sie jemanden gesehen hatten. Sie testeten dies, indem sie die „Lüge" in der Geschichte lange hergeschehen ließen. Überraschenderweise fielen die Roboter nicht so sehr auf diesen einfachen Trick „errate das letzte Ereignis" herein, wie erwartet.
- Die „Erstes Treffen"-Gewohnheit: Wenn die Roboter den „Geist"-Test doch falsch beantworteten, machten sie oft einen spezifischen Fehler: Sie rieten den Ort, an dem sich die Charaktere zum ersten Mal trafen, anstatt wo sie sich zuletzt gesehen hatten. Es ist wie bei einem Schüler, der sich an den ersten Schultag erinnert, aber vergisst, was gestern passiert ist.
Das große Ganze
Das Papier kommt zu dem Schluss, dass moderne KI zwar beim Schlussfolgern immer intelligenter wird, aber immer noch Schwierigkeiten hat, die „mentalen Zustände" anderer wirklich zu verstehen. Sie kann die Ereignisse einer Geschichte perfekt verfolgen, aber wenn sie aufgefordert wird, sich vorzustellen, was ein Charakter denkt (besonders wenn dieses Denken falsch ist), scheitert sie oft.
Die Autoren bauten StorySim nicht, um den Robotern eine endgültige Note zu geben, sondern um ihnen einen fairen, frischen Test zu bieten, bei dem sie nicht durch Auswendiglernen alter Antworten schummeln konnten. Sie hoffen, dass dieses Werkzeug zukünftigen Forschern hilft, KI zu entwickeln, die menschliche Perspektiven wirklich verstehen kann, nicht nur Fakten rezitiert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.