🤖 AI

OmniToM: Benchmarking Theory of Mind in LLMs via Explicit Belief Modeling

Die Arbeit stellt OmniToM vor, einen neuen Benchmark, der die Theory-of-Mind-Fähigkeiten von Large Language Models bewertet, indem er eine explizite, multidimensionale Modellierung der Glaubensstrukturen von Akteuren erfordert, anstatt sich ausschließlich auf die Leistung bei der Beantwortung von Fragen zu stützen, und zeigt auf, dass aktuelle Modelle Schwierigkeiten mit dem spezifischen Schlussfolgern haben, das erforderlich ist, um narrative Fakten in genaue Repräsentationen mentaler Zustände zu transformieren.

Ursprüngliche Autoren: Adam Bawatneh, Sagar Sapkota, Amrit Singh Bedi, Santu Karmaker, Mubarak Shah

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Adam Bawatneh, Sagar Sapkota, Amrit Singh Bedi, Santu Karmaker, Mubarak Shah

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten einen Zaubertrick. Der Magier lässt einen Ball aus einer Kiste verschwinden und in einem Korb wieder erscheinen. Ein Standardtest für eine KI (ein großes Sprachmodell) würde einfach fragen: „Wo ist der Ball?" Wenn die KI antwortet: „Im Korb", erhält sie einen goldenen Stern.

Doch hier liegt das Problem: Die KI könnte die Antwort zwar richtig geraten haben, ohne die Geschichte tatsächlich zu verstehen. Sie weiß möglicherweise nicht, wer die Bewegung des Balls gesehen hat, wer nicht, oder was jede Person glaubt, dass passiert. Es ist wie ein Schüler, der den Lösungsschlüssel auswendig gelernt hat, aber die Mathematik nicht versteht.

OmniToM ist eine neue „Prüfung", die entwickelt wurde, um zu verhindern, dass KI durch Raten betrügt. Anstatt nur nach der endgültigen Antwort zu fragen, zwingt sie die KI, ihre Arbeit zu zeigen, indem sie eine detaillierte „mentale Karte" der Gedanken jeder Person erstellt.

So zerlegt die Arbeit dies unter Verwendung einfacher Analogien:

1. Das Problem: Die „Black Box" des Denkens

Aktuelle Tests sind wie die Benotung eines Schülers allein anhand seiner Endnote für einen Aufsatz. Wenn der Aufsatz gut ist, wissen Sie nicht, ob der Schüler tatsächlich die Gefühle der Charaktere verstanden hat oder nur mit schicken Worten versucht hat, intelligent zu klingen.

Die Behauptung der Arbeit: Bestehende Tests (genannt „Endpoint QA") prüfen nur die endgültige Antwort. Sie können nicht erkennen, ob die KI tatsächlich verfolgt, wer was weiß, wer lügt oder wer sich irrt.

2. Die Lösung: Die „mentale Karte" (OmniToM)

Die Forscher haben einen neuen Benchmark namens OmniToM entwickelt. Anstatt zu fragen: „Wo ist der Ball?", bitten sie die KI, eine Karte aller Gehirne zu zeichnen.

Stellen Sie es sich wie ein Regiedrehbuch für einen Film vor. Ein Regisseur interessiert sich nicht nur für die Handlung; ihm ist wichtig, was jeder Schauspieler in jedem Moment glaubt.

Die Aufgabe: Die KI muss eine Geschichte lesen und eine Liste von „Glaubenspropositionen" aufschreiben. Das sind winzige, einfache Sätze wie: „Bob denkt, der Ball ist in der Kiste" oder „Alice weiß, der Ball ist im Korb."

3. Die Zwei-Phasen-Prüfung

OmniToM testet die KI in zwei distincten Phasen, wie ein zweigeteiltes Vorstellungsgespräch:

Phase 1: Der Detektiv (Glaubens-Extraktion)

Die Aufgabe: Die KI liest die Geschichte und muss jeden einzelnen Gedanken jedes Charakters finden.
Die Herausforderung: Es reicht nicht zu sagen: „Bob ist traurig." Die KI muss herausfinden, warum Bob traurig ist, basierend darauf, was Bob gesehen, gehört oder erinnert hat.
Das Ergebnis: Die Arbeit ergab, dass KIs gut darin sind, Fakten zu finden (z. B. „Der Ball ist im Korb"), aber sie haben Schwierigkeiten, diese Fakten dem Gehirn der richtigen Person zuzuordnen. Sie vergessen oft, dass Bob nicht gesehen hat, wie der Ball bewegt wurde, und daher nicht wissen sollte, dass er im Korb ist.

Phase 2: Der Bibliothekar (Glaubens-Kennzeichnung)

Die Aufgabe: Sobald die KI die Gedanken aufgelistet hat, muss sie sie mit einem 7-dimensionalen „Barcode" versehen.
Die Analogie: Stellen Sie sich einen Bibliothekar vor, der Bücher ordnet. Er stellt sie nicht einfach ins Regal; er kennzeichnet sie mit:
- Ordnung: Ist dies ein einfacher Gedanke („Ich habe Hunger") oder ein komplexer („Ich denke, du denkst, ich habe Hunger")?
- Wahrheit: Ist dieser Gedanke tatsächlich wahr, oder irrt sich der Charakter?
- Zugriff: Hat der Charakter dies geschehen gesehen, oder hat er es nur geraten?
- Quelle: Hat er es von jemandem gehört, sich daran erinnert oder es sich vorgestellt?
Das Ergebnis: Die KI ist überraschend gut bei einfachen Kennzeichnungen (wie „Ist dies wahr?"), aber schlecht bei den „Zugriff"-Kennzeichnungen. Sie hat Schwierigkeiten, sich daran zu erinnern, wer Zugriff auf welche Informationen hatte.

4. Die große Entdeckung: Die „Informations-Engpass"

Die wichtigste Erkenntnis der Arbeit ist, dass aktuelle KI-Modelle eine spezifische „Blindstelle" haben.

Die Metapher: Stellen Sie sich eine Gruppe von Menschen in einem Raum vor. Eine Person geht, und eine andere Person bewegt einen geheimen Gegenstand. Die KI kann den Raum perfekt beschreiben. Aber wenn gefragt wird: „Was denkt die Person, die gegangen ist, befindet sich im Raum?", gerät die KI in Verwirrung.
Die Behauptung: Die KI versagt nicht, weil sie die Geschichte nicht lesen kann, sondern weil sie nicht verfolgen kann, wer was weiß. Sie hat Schwierigkeiten, zwischen „was tatsächlich passiert" und „was ein bestimmter Charakter glaubt, dass passiert" zu unterscheiden.

5. Wie sie es entwickelt haben

Um diesen Test zu erstellen, nahmen die Forscher 895 bestehende Geschichten und ließen Menschen (und intelligente KI-Helfer) über 22.000 spezifische Gedanken kennzeichnen.

Der Prozess: Sie verwendeten ein „kalibriertes" System. Menschen überprüften einen kleinen Batch, um der KI beizubringen, Dinge korrekt zu kennzeichnen; dann half die KI, den Rest zu kennzeichnen, wobei Menschen die Arbeit doppelt überprüften. Dies stellte sicher, dass die „Goldstandard"-Antworten genau waren.

Zusammenfassung

OmniToM ist eine neue Art, KI zu testen, die verhindert, dass sie einfach die richtige Antwort rät. Sie zwingt die KI, eine detaillierte Karte der Gedanken, Überzeugungen und des Wissens aller zu erstellen. Die Arbeit zeigt, dass KI zwar beim Lesen besser wird, aber immer noch Schwierigkeiten hat, das komplexe soziale Spiel von „wer was weiß" zu verstehen, welches das Herzstück der menschlichen sozialen Intelligenz ist.

Hinweis zu Einschränkungen: Die Arbeit stellt ausdrücklich fest, dass dieser Test nur für textbasierte Geschichten gilt. Sie behauptet nicht, dass KI reale soziale Situationen, Emotionen in face-to-face-Interaktionen oder komplexe reale Szenarien verstehen kann. Es ist strikt ein Werkzeug zur Messung, wie gut eine KI Überzeugungen in schriftlichen Erzählungen verfolgt.

Technische Zusammenfassung: OmniToM

Problemstellung

Aktuelle Benchmarks zur Bewertung der Theory of Mind (ToM) bei Large Language Models (LLMs) stützen sich überwiegend auf Endpunkt-Frage-Antwort-Verfahren (QA). In diesem Paradigma wird ein Modell mit einer Erzählung konfrontiert und ausschließlich danach bewertet, ob es die korrekte finale Antwort auf eine soziale Schlussfolgerungsfrage liefert (z. B. „Wo wird Bob suchen?"). Die Autoren argumentieren, dass dieser Ansatz den zugrunde liegenden kognitiven Prozess verschleiert: Ein Modell kann durch Ausnutzung von Shortcut-Strategien oder Benchmark-Artefakten korrekt antworten, ohne tatsächlich die notwendigen multi-aktoralen mentalen Zustandsrepräsentationen zu konstruieren.

Insbesondere versagt Endpunkt-QA darin aufzudecken, ob ein Modell nachverfolgen kann:

Was jeder Akteur für wahr hält versus was objektiv real ist.
Wie Informationen verteilt sind (wer Zugang zu was hat).
Die rekursive Natur von Überzeugungen (z. B. „Bob glaubt, dass Alice denkt...").
Den Unterschied zwischen expliziten Aussagen und impliziten Schlussfolgerungen.

Folglich können bestehende Benchmarks nicht diagnostizieren, warum ein Modell scheitert – ob es einen relevanten Akteur übersehen, eine Überzeugung falsch aktualisiert, den Informationszugang falsch identifiziert oder die Quelle eines mentalen Zustands falsch gekennzeichnet hat.

Methodik

Formulierung des OmniToM-Benchmarks

OmniToM schließt diese Lücke, indem es die Evaluation von Endpunktantworten hin zur expliziten Modellierung von Überzeugungsstrukturen verschiebt. Der Benchmark operationalisiert ToM-Schlussfolgerung als einen zweistufigen Prozess:

Stufe 1: Extraktion von Überzeugungen
- Aufgabe: Gegeben eine Geschichte $S$ muss das Modell eine strukturierte Menge von Überzeugungspropositionen $B$ extrahieren.
- Struktur: Jede Proposition ist ein Tupel $(a_i, b_i, o_i)$ , wobei $a_i$ der Akteur (oder die „Welt" für erzählte Fakten) ist, $b_i$ der minimale Überzeugungsgehalt und $o_i$ die rekursive Ordnung ($0$ für Weltfakten, $1$ für Überzeugungen erster Ordnung, $2+$ für Überzeugungen höherer Ordnung).
- Ziel: Die vollständige Menge der akteurspezifischen Überzeugungen wiederzugewinnen, die für die sozialen Dynamiken der Geschichte relevant sind, einschließlich Weltfakten, Überzeugungen erster Ordnung über die Welt und Überzeugungen höherer Ordnung über die mentalen Zustände anderer Akteure.
Stufe 2: Kennzeichnung von Überzeugungen
- Aufgabe: Gegeben die extrahierten Propositionen weist das Modell jeder Proposition ein Sieben-Dimensionen-Schema zu.
- Schema: Fundiert auf ATOMS (Abilities in Theory of Mind Space) zerlegt das Schema jede Proposition in:
  - Ordnung: Rekursive Tiefe ($0 $–$ 3$).
  - Wahrheitsstatus: Übereinstimmung mit der narrativen Realität (Wahr, Falsch, Unbekannt).
  - Wissenszugang: Verteilung von Informationen (Privat, Geteilt, Öffentlich).
  - Repräsentation: Explizit vs. Implizit (ausgesprochen vs. abgeleitet).
  - Inhaltstyp: Sachverhalt (Ort, Epistemisch, Wunsch, Emotion, etc.).
  - Mentale Quelle: Erwerbsmethode (Erzählung, Wahrnehmung, Erinnerung, Zeugnis, Schlussfolgerung, Vorstellung).
  - Kontext: Rahmungsbedingungen (Täuschend, Temporär, Kontrafaktisch, Neutral).

Benchmark-Konstruktion

Quelldaten: Abgeleitet aus ToMBench, wobei 895 Geschichten aus sieben Kategorien mit hohem Volumen beibehalten wurden (z. B. False Belief Task, Faux-pas Recognition, Hinting Task).
Annotations-Pipeline: Aufgrund der hohen Kosten manueller Annotation für 22.343 Überzeugungspropositionen setzten die Autoren eine vom Menschen kalibrierte, LLM-unterstützte Pipeline ein.
- Eine Kalibrierungs-Teilmenge (21 Geschichten) wurde manuell von Fachexperten annotiert.
- Semantischer Richter: GPT-5 wurde als semantischer Richter für die Evaluation in Stufe 1 ausgewählt, basierend auf seiner hohen Übereinstimmung (72,03 %) mit menschlichen Entscheidungen zur semantischen Ausrichtung.
- Annotations-Modell: Claude-Sonnet-4.5 wurde als primäres Annotationsmodell ausgewählt, nachdem es die stärkste Kalibrierungsleistung erzielt hatte (72,88 % F1 in Stufe 1, 93,62 % Genauigkeit in Stufe 2).
Skala: Der finale Benchmark enthält 895 Geschichten und 22.343 gekennzeichnete Überzeugungspropositionen, insgesamt 156.401 Schemakennzeichnungen.

Evaluationsprotokoll

Stufe 1 (Extraktion): Gemessen über die F1-Bewertung mittels einer Metrik zur semantischen Ausrichtung (MatchCount) anstelle von striktem String-Matching. Dies berücksichtigt Umschreibungen und zusammengesetzte Überzeugungen.
Stufe 2 (Kennzeichnung): Gemessen über Exact-Match-Genauigkeit für die Sieben-Dimensionen-Schemakennzeichnungen.
Basislinien: Evaluiert über diverse Open- und Closed-Source-Modelle (z. B. Llama-3.3, Mistral-Large, GPT-5, Gemini-2.5 Flash) unter Zero-Shot-Bedingungen unter Verwendung von TELeR-Level-3-Prompts.

Hauptergebnisse

Die Evaluation deckt eine konsistente Engpass-Problematik bei der akteurspezifischen Informationsverfolgung über alle Modelle hinweg auf:

Extraktionsleistung (Stufe 1):
- Das am besten performende Modell erreichte eine makroskopische F1-Bewertung von 57,69 %.
- Die Leistung sinkt signifikant beim Übergang von Ordnung 0 (Weltfakten) zu Ordnung 1 und Ordnung 2+ (Akteurüberzeugungen). Modelle haben Schwierigkeiten, Geschichtsfakten auf spezifische Akteursperspektiven abzubilden.
Kennzeichnungsleistung (Stufe 2):
- Die gesamte Kennzeichnungsgenauigkeit erreichte 85,95 %.
- Fehler sind jedoch nicht einheitlich verteilt. Die niedrigsten Genauigkeiten finden sich bei Wissenszugang (56,13–74,59 %) und Repräsentation (54,33–87,58 %).
- Überzeugungen erster Ordnung sind am schwierigsten korrekt zu kennzeichnen (71,2 % Gesamtreinheit), insbesondere hinsichtlich dessen, wer Zugang zu Informationen hat und ob eine Überzeugung explizit oder abgeleitet ist.
Identifikation des Engpasses:
- Der primäre Fehlermodus ist kein Mangel an allgemeinem Sprachverständnis, sondern ein Versagen bei der Verfolgung von Informationsbedingungen: die Bestimmung, welche Fakten jeder Akteur kennt, wie dieses Wissen erworben wurde (Wahrnehmung vs. Schlussfolgerung) und wie es sich im Laufe der Zeit entwickelt.
- Modelle scheitern häufig daran, zwischen dem zu unterscheiden, was in der Welt wahr ist, und dem, was ein Akteur glaubt, wahr zu sein, insbesondere wenn diese Überzeugung veraltet oder falsch ist.

Bedeutung und Behauptungen

Das Papier behauptet, dass OmniToM einen notwendigen Wandel von einer ergebnisbasierten hin zu einer prozessbasierten Evaluation von ToM in LLMs darstellt.

Diagnostische Kraft: Indem es mentale Zustandsrepräsentationen überprüfbar macht, ermöglicht OmniToM Forschern, spezifische Schlussfolgerungsfehler zu identifizieren (z. B. „das Modell hat die Überzeugung nicht aktualisiert, weil es den Informationszugang falsch identifiziert hat"), anstatt lediglich eine falsche Antwort zu beobachten.
Aufdeckung von Limitationen: Der Benchmark deckt eine Einschränkung auf, die Endpunkt-QA verbergen kann: Robuste ToM-Schlussfolgerung erfordert die Verfolgung der Informationsbedingungen, die mentale Zustände hervorrufen, eine Fähigkeit, mit der aktuelle LLMs Schwierigkeiten haben.
Umfang: Die Autoren fassen OmniToM bescheiden als Evaluationswerkzeug für kontrollierte, textbasierte Szenarien zusammen. Sie stellen ausdrücklich fest, dass der Benchmark keine reale soziale Intelligenz, interpersonelle Zuverlässigkeit oder Sicherheit in hochriskanten Umgebungen (z. B. klinische oder rechtliche Bereiche) zertifiziert.
Zukünftige Arbeit: Die Autoren schlagen zukünftige Richtungen vor, die eine Erweiterung auf reichhaltigere Erzählungen, größere vom Menschen geprüfte Extraktionsmengen und die Behandlung von Überzeugungsschachtelungen jenseits der Ordnung 3 umfassen, unter gleichzeitiger Anerkennung aktueller Einschränkungen beim multimodalen Schlussfolgern und der Verfolgung über lange Zeiträume.

Zusammenfassend zeigt OmniToM, dass LLMs zwar oft narrative Fakten wiederherstellen können, ihnen derzeit jedoch der robuste Mechanismus fehlt, diese Fakten in genaue, akteurspezifische und zeitlich sich entwickelnde mentale Zustandsrepräsentationen zu transformieren.