LLMs and their Limited Theory of Mind: Evaluating Mental State Annotations in Situated Dialogue
Dieses Paper führt ein zweistufiges Framework unter Verwendung von Large Language Models ein, um geteilte mentale Modelle in Teamdialogen zu annotieren und Diskrepanzen zu erkennen, wobei aufgezeigt wird, dass LLMs bei einfachen Aufgaben gut abschneiden, jedoch in Szenarien, die räumliches Denken oder prosodische Ambiguitätsauflösung erfordern, systematisch versagen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie spielen ein hochriskantes Spiel namens „Blindfolded Treasure Hunt“ (Blinde Schatzsuche) mit einem Freund. Sie sind der Sucher, der mit offenen Augen durch ein echtes Gebäude läuft. Ihr Freund ist der Direktor, der in einem anderen Raum sitzt und eine Karte besitzt, die leicht fehlerhaft ist. Er kann Sie nicht sehen; er kann nur über das Telefon mit Ihnen sprechen.
Um erfolgreich zu sein, müssen Sie beide ein Shared Mental Model (SMM) aufbauen. Das ist wie ein unsichtbares, mentales Whiteboard, auf dem Sie beide aufschreiben, was Sie wissen: „Ich bin im Flur“, „Die Box ist blau“, „Du suchst nach der grünen Box.“ Wenn Ihre mentalen Whiteboards nicht übereinstimmen, verirren Sie sich und das Team scheitert.
Dieses Papier stellt eine einfache, aber tiefgründige Frage: Kann eine superintelligente KI (ein Large Language Model oder LLM) wie ein Schiedsrichter fungieren und genau verfolgen, was auf Ihren mentalen Whiteboards steht, indem sie einfach nur Ihrem Telefongespräch zuhört?
Das Experiment: Der „Blinde“ vs. der „Allsehende“
Die Forscher haben einen klugen Test mit alten Aufnahmen von Menschen erstellt, die dieses Spiel spielten. Sie erstellten drei Gruppen von „Schiedsrichtern“, die dasselbe Gespräch analysierten:
- Die naiven Menschen: Reguläre Personen, die nur die Audioaufnahme hörten. Sie mussten basierend nur auf den gesprochenen Worten erraten, was der Sucher gerade sah.
- Die KI-Modelle: Drei verschiedene KIs (o3-mini, Claude und Gemma), die ebenfalls nur das Audio hörten.
- Die „Gottesauge“-Perspektive (Ground Truth): Ein Team von Menschen, das das Video des Spiels sah. Sie wussten zu jedem Zeitpunkt genau, wo der Sucher stand und wohin er gerade blickte. Dies war die „korrekte Antwortlösung“.
Der zweistufige Prozess
Die Forscher nutzten die KI in zwei verschiedenen Rollen, wie einen Schreiber und einen Editor:
- Schritt 1: Der Schreiber (Trace Generation): Die KI hörte sich das Gespräch an und versuchte, eine „mentale Modell-Spur“ aufzuschreiben. Sie musste erraten: Was glaubt der Sucher gerade? Was ist sein Ziel? Was hat er versprochen zu tun?
- Schritt 2: Der Editor (Discrepancy Detection): Eine separate KI (die als Richter fungierte) verglich die Vermutung des „Schreibers“ mit dem „Gottesauge“-Video-Antwortschlüssel. Sie zählte die Fehler.
Die Fehler: Wo die KI sich verlor
Das Papier fand heraus, dass die KIs zwar gut darin waren, klug zu klingen, aber mit der chaotischen Realität menschlicher Kommunikation zu kämpfen hatten. Hier sind die Hauptarten von Fehlern, erklärt mit Analogien:
Der „halluzinierende“ Direktor (Nicht belegte Überzeugungen):
- Was passierte: Die KI erfand Fakten, die gar nicht da waren.
- Analogie: Stellen Sie sich vor, der Direktor sagt: „Ich glaube, da ist eine Katze im Raum.“ Die KI schreibt daraufhin, nachdem sie das gehört hat, auf das mentale Whiteboard: „Der Sucher glaubt, dass es eine Katze gibt.“ Aber das Video zeigt, dass es keine Katze gibt. Die KI hat eine Überzeugung erfunden, nur weil die Worte plausibel klangen.
- Ergebnis: Die KI (besonders Claude) tat dies oft und füllte das Whiteboard mit imaginären Details.
Die „fehlenden“ Details (Omissionen):
- Was passierte: Die KI übersah Dinge, die tatsächlich gesagt wurden.
- Analogie: Der Sucher sagt: „Ich biege links ab.“ Das Whiteboard der KI bleibt leer und vergisst, den Standort zu aktualisieren.
- Ergebnis: Die KI (besonders o3-mini) war oft zu ruhig und ließ wichtige Aktualisierungen aus.
Die „räumliche“ Verwirrung:
- Was passierte: Die KI war verwirrt darüber, wo sich Dinge im Raum befanden.
- Analogie: Wenn der Direktor sagt: „Die Box ist zu deiner Linken“, schreibt die KI vielleicht: „Die Box ist zu deiner Rechten.“ Sie hat Schwierigkeiten, Worte in eine 3D-Karte in ihrem Kopf zu übersetzen.
Die „Stotter“-Falle:
- Was passierte: Menschen sagen „äh“, „hm“ und stolpern über ihre Worte. Die KI behandelte diese Stotterer oft als neue Information.
- Analogie: Wenn der Direktor stottert: „Da ist eine... äh... Tür“, denkt die KI vielleicht: „Aha! Das ‚äh‘ bedeutet, dass er seine Meinung über die Tür geändert hat!“ und aktualisiert das Whiteboard unnötigerweise.
Das Urteil: Schlau, aber haltlos
Das Papier kommt zu dem Schluss, dass aktuelle KIs wie Schauspieler sind, die sehr gut darin sind, ein Skript vorzulesen, aber schrecklich darin, in einem echten Raum zu improvisieren.
- Sie können die Sprache des Denkens imitieren: Sie können Begriffe wie „Ich glaube“ oder „Mein Ziel ist“ verwenden.
- Sie können das Denken nicht verankern (grounding): Sie können diese Worte nicht mit der physischen Realität (dem Video) verknüpfen oder mit der chaotischen, stotternden Natur echter menschlicher Sprache umgehen.
Interessanterweise machten die „naiven Menschen“ (die das Video ebenfalls nicht sahen) ähnliche Fehler wie die KIs. Dies beweist, dass die Aufgabe ohne das Ansehen des Videos genuin schwierig ist. Die KIs waren jedoch schlechter darin, „Halluzinationen“ (Dinge zu erfinden) zu vermeiden, als die Menschen es taten.
Das Faztelement
Diese Studie besagt nicht, dass KIs nicht in Teams eingesetzt werden können. Sie besagt, dass eine KI, wenn man möchte, dass sie den geteilten mentalen Zustand eines Teams allein durch das Zuhören auf deren Gespräche versteht, derzeit nicht über den „gesunden Menschenverstand“ verfügt, um zu wissen, was real ist und was nur eine Vermutung. Sie benötigt das „Video“ (den realweltlichen Kontext), um wirklich zu verstehen, was passiert, anstatt nur basierend auf den gehörten Worten zu raten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.