💻 computer science

Think Thrice Before You Speak: Dual knowledge-enhanced Theory-of-Mind Reasoning for Persuasive Agents

Dieser Artikel stellt die ToM-PD-Aufgabe und den ToM-BPD-Datensatz vor, um die Einschränkungen der Theory-of-Mind-Reasoning-Fähigkeiten bestehender LLMs zu adressieren, und schlägt das „Think Thrice Before You Speak" (TTBYS)-Rahmenwerk vor, das duales Wissen nutzt, um bei der Vorhersage von Wünschen, Überzeugungen und persuasiven Strategien GPT-5 deutlich zu übertreffen.

Ursprüngliche Autoren: Minghui Ma, Bin Guo, Runze Yang, Mengqi Chen, Yan Liu, Jingqi Liu, Yahan Pei, Xuehao Ma, Qiuyun Zhang, Zhiwen Yu

Veröffentlicht 2026-05-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Minghui Ma, Bin Guo, Runze Yang, Mengqi Chen, Yan Liu, Jingqi Liu, Yahan Pei, Xuehao Ma, Qiuyun Zhang, Zhiwen Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen Freund zu überzeugen, ein neues Hobby auszuprobieren, etwa einen Fitnessstudio-Besuch oder ehrenamtliche Arbeit. Um wirklich überzeugend zu sein, dürfen Sie Ihre Argumente nicht einfach herausschreien; Sie müssen verstehen, warum sie zögern. Sie müssen erraten, was sie denken (ihre Überzeugungen), was sie wollen (ihre Wünsche) und was sie vorhaben (ihre Absichten). In der Psychologie wird diese Superkraft, das Vorhersehen dessen, was im Kopf eines anderen vorgeht, als Theory of Mind (Theorie des Geistes) bezeichnet.

Diese Arbeit argumentiert, dass moderne KI (Large Language Models), obwohl sie hervorragend im Sprechen sind, oft schrecklich in diesem „Gedankenlesen" sind. Sie neigen dazu, Ihre Gefühle zufällig zu erraten oder Ihre Gedanken als unzusammenhängende Fakten zu behandeln, was zu unangenehmen oder ineffektiven Gesprächen führt.

Hier ist eine einfache Aufschlüsselung dessen, was die Forscher unternommen haben, um dies zu beheben:

1. Das Problem: Der „Einmal-und-fertig"-Versuch

Die aktuelle KI versucht, Ihren mentalen Zustand in einem großen Sprung zu erraten. Es ist, als würde man versuchen, ein komplexes Mathematikproblem zu lösen, indem man die Antwort errät, ohne den Lösungsweg aufzuzeigen. Da ihr das tiefe Verständnis fehlt, wie menschliche Gedanken zusammenhängen (z. B. führt „Ich glaube, es regnet" zu „Ich wünsche mir einen Regenschirm"), sind ihre Vermutungen oft wackelig und inkonsistent.

2. Die Lösung: „Dreimal überlegen, bevor man spricht" (TTBYS)

Die Autoren haben ein neues System namens TTBYS entwickelt. Der Name leitet sich vom alten Sprichwort „Dreimal überlegen, bevor man spricht" ab. Anstatt alles auf einmal zu erraten, wird die KI gezwungen, innezuhalten und drei distincte Schritte zu durchdenken, wie ein Detektiv, der einen Fall löst:

Schritt 1: Der Intuitionscheck (Erster Gedanke)
Die KI betrachtet, was Sie gesagt haben, und fragt: „Basierend auf ähnlichen Situationen, die ich zuvor gesehen habe, ist diese Person bereit, zögerlich oder unwillig?" Sie errät nicht einfach; sie schlägt eine „Gedächtnisbank" vergangener Gespräche nach, um zu sehen, wie Menschen in ähnlichen Situationen normalerweise reagieren.
Schritt 2: Die Beweissammlung (Zweiter Gedanke)
Sobald sie eine Ahnung über Ihren Wunsch hat, fragt sie: „Welche spezifischen Überzeugungen verursachen dies?" Sie gräbt erneut in ihrem Gedächtnis, um Beispiele dafür zu finden, warum Menschen diese Überzeugungen hegen. Dies hilft ihr, eine logische Erklärung für Ihre Gefühle zu konstruieren, anstatt nur eine zufällige Vermutung anzustellen.
Schritt 3: Die Strategie (Dritter Gedanke)
Jetzt, da sie Ihren Wunsch und Ihre Überzeugungen versteht, fragt sie: „Was ist der beste Weg, mit dieser Person zu sprechen?" Sie wählt eine spezifische Überzeugungstaktik (wie das Erzählen einer Geschichte, das Nennen von Fakten oder das Zeigen von Empathie), die zu Ihrem aktuellen mentalen Zustand passt.

3. Der Trainingsort: Eine riesige „Gedankenlese"-Bibliothek

Um der KI beizubringen, dies zu tun, haben die Forscher einen riesigen neuen Datensatz namens ToM-BPD erstellt. Stellen Sie sich eine Bibliothek vor, die mit Tausenden von aufgezeichneten Gesprächen gefüllt ist, bei denen jeder einzelne Satz mit einem „mentalen Zustands-Tag" versehen ist.

Sie haben nicht nur aufgezeichnet, was gesagt wurde; sie haben genau gekennzeichnet, was die Person wollte, was sie glaubte und welche Strategie die andere Person anwandte.
Dies gab der KI eine massive „Erfahrungsbank", aus der sie schöpfen konnte, ähnlich wie ein Mensch durch Jahre sozialer Interaktionen lernt.

4. Die Ergebnisse: Ein intelligenterer, menschlicherer Sprecher

Die Forscher testeten dieses neue System gegen einige der intelligentesten verfügbaren KI-Modelle (einschließlich GPT-5).

Das Ergebnis: Das neue System, selbst wenn es auf einem kleineren, kostengünstigeren Computerchip (Qwen-3-8B) lief, schlug die massiven GPT-5-Modelle.
Der Unterschied: Die neue KI war viel besser darin vorherzusagen, was eine Person wollte und warum sie sich so fühlte. Sie war auch konsistenter; sie widersprach sich nicht so oft.
Echte Gespräche: In Live-Tests, bei denen Menschen mit der KI chatteten, war das neue System besser darin, die verborgenen Sorgen des Menschen zu identifizieren und ihn tatsächlich davon zu überzeugen, seine Meinung zu ändern, wodurch sich das Gespräch natürlicher und einfühlsamer anfühlte.

Das Fazit

Die Arbeit behauptet, dass wir, indem wir die KI zwingen, „schrittweise zu denken" und ihr eine Bibliothek vergangener menschlicher Erfahrungen zum Lernen geben, überzeugende Agenten entwickeln können, die nicht nur intelligent klingen, sondern Menschen tatsächlich verstehen. Sie wandeln sich von einer „Ratemaschine" zu einem „vernünftigen Partner", der das komplexe Netz menschlicher Überzeugungen und Wünsche navigieren kann.

Technische Zusammenfassung: Think Thrice Before You Speak (TTBYS)

1. Problemdefinition

Überzeugende Dialogsysteme benötigen die Fähigkeit, latente mentale Zustände eines Nutzers zu inferieren und zu reasoning, eine Kompetenz, die als Theory of Mind (ToM) bekannt ist. Obwohl Large Language Models (LLMs) in diesem Bereich Fortschritte gemacht haben, verlassen sich bestehende Ansätze oft auf einfache Prompting-Strategien und verfügen über unzureichendes ToM-Wissen. Folglich scheitern sie häufig daran, die intrinsischen Abhängigkeiten zwischen mentalen Zuständen (Glaubensvorstellungen, Wünsche und Absichten) zu erfassen, was zu fragmentierten Repräsentationen und instabilem Reasoning in mehrstufigen Interaktionen führt.

Aktuelle Benchmarks (z. B. NegotiationToM, ToMATO, PersuasiveToM) zeigen, dass LLMs aufgrund mangelnden Vorwissens Schwierigkeiten haben, zuverlässige Inferenzen über mentale Zustände zu treffen. Darüber hinaus behandeln die meisten bestehenden Methoden mentale Zustände als unabhängige Variablen, anstatt ihre sequenzielle Entwicklung zu modellieren, was die Interpretierbarkeit und die langfristige Wirksamkeit in komplexen Überzeugungsszenarien einschränkt.

2. Methodik

2.1 Die ToM-PD-Aufgabe und das BDI-Framework

Die Autoren formalisieren die ToM-basierte Überzeugungsdialog-Aufgabe (ToM-PD), die auf dem Belief–Desire–Intention (BDI)-Framework basiert. Im Gegensatz zur vorwärtsgerichteten Entwicklung von Selbstzuständen (Glaubensvorstellung $\to$ Wunsch $\to$ Absicht $\to$ Handlung) wird die ToM-PD-Aufgabe als umgekehrter, schrittweiser Inferenzprozess modelliert. Der Agent beobachtet die externen Äußerungen des Überzeugungssubjekts und muss iterativ inferieren:

Absicht ( $i_t$ ): Das unmittelbare Ziel der Äußerung.
Wunsch ( $d_t$ ): Die Einstellung des Nutzers gegenüber dem Überzeugungsziel (modelliert als -1: unwillig, 0: zögerlich, 1: willig).
Glaubensvorstellung ( $b_t$ ): Die zugrunde liegenden Ansichten oder Bedenken, die den Wunsch antreiben.
Strategie ( $s_t$ ): Die optimale überzeugende Reaktion basierend auf den inferierten Zuständen.

2.2 Das TTBYS-Framework

Um die Herausforderungen der Instabilität und des Wissensmangels zu adressieren, schlägt die Arbeit Think Thrice Before You Speak (TTBYS) vor, ein wissensgestütztes schrittweises Reasoning-Framework. TTBYS nutzt sowohl explizite als auch implizite Vorerfahrungen, um LLMs durch drei distincte Reasoning-Phasen zu führen:

Erster Gedanke (Wunschinferenz):
- Der aktuelle Dialog wird zu einer hochrangigen Absicht ( $i$ ) zusammengefasst.
- Diese Zusammenfassung wird verwendet, um die Top- $N$ semantisch ähnlichen historischen Erfahrungen aus einer Wissensdatenbank abzurufen.
- Aus den abgerufenen Erfahrungen wird eine Wahrscheinlichkeitsverteilung der Wünsche konstruiert ( $P_{ex}$ ).
- Diese wird linear mit der intuitiven Wahrscheinlichkeitsverteilung des LLM ( $P_{ag}$ ) fusioniert, um die endgültige Wunschvorhersage zu bestimmen: $d^*_t = \arg \max (\alpha \cdot P_{ag} + (1-\alpha) \cdot P_{ex})$ .
Zweiter Gedanke (Glaubensvorstellungsinferenz):
- Unter Verwendung des inferierten Wunsches ( $d^*$ ) und der Dialogzusammenfassung ruft das System relevante Erfahrungen ab, die Informationen über Glaubensvorstellungen enthalten.
- Diese abgerufenen Erfahrungen werden direkt als explizites Wissen in den Kontext des LLM injiziert.
- Der LLM generiert die Beschreibung der Glaubensvorstellung ( $b^*$ ), konditioniert auf den Dialog, den inferierten Wunsch und die abgerufenen Beispiele.
Dritter Gedanke (Strategievorhersage):
- Das System führt eine gemeinsame Suche unter Verwendung der Dialogzusammenfassung und der inferierten Glaubensvorstellung durch.
- Ähnlich wie beim Ersten Gedanken wird eine erfahrungsbasierte Strategieverteilung unter Verwendung eines Koeffizienten $\beta$ mit der Verteilung des LLM fusioniert, um die optimale Strategie auszuwählen.

2.3 Der ToM-BPD-Datensatz

Um die Forschung zu erleichtern, haben die Autoren ToM-based Broad Persuasive Dialogues (ToM-BPD) erstellt, einen groß angelegten annotierten Datensatz, der vom PersuasiveToM-Benchmark abgeleitet ist.

Annotationen: Umfasst feinabgestimmte Labels für den Wunsch des Überzeugungssubjekts (diskrete Werte -1, 0, 1) und die Glaubensvorstellung (natürlichsprachliche Aussagen) sowie die Strategie des Überzeugers.
Taxonomie: Strategien werden in drei Gruppen (Sozio-emotional, Kognitiv, Interaktiv) und neun feinabgestimmte Techniken basierend auf dem Elaboration Likelihood Model (ELM) und Motivational Interviewing kategorisiert.
Qualitätssicherung: Der Datensatz unterzog sich einer rigorosen Annotation mit semi-automatischer Vorannotation, mehrstufiger menschlicher Verifizierung und Qualifikationstests für Annotatoren.

3. Hauptbeiträge

Aufgabenformulierung: Einführung der ToM-PD-Aufgabe, die die sequenziellen Abhängigkeiten zwischen mentalen Zuständen (Absicht, Wunsch, Glaubensvorstellung) explizit modelliert, um die Interpretierbarkeit zu erhöhen.
Framework-Vorschlag: Entwicklung von TTBYS, einem wissensgestützten Framework, das strukturierte ToM-Erfahrungen integriert, um die Robustheit und Konsistenz des LLM-Reasonings in Überzeugungsdialogen zu verbessern.
Datensatz-Erstellung: Veröffentlichung von ToM-BPD, einem Multi-Domain-Datensatz mit feinabgestimmten Annotationen mentaler Zustände, der durch umfangreiche Experimente und Fallstudien validiert wurde.

4. Experimentelle Ergebnisse

Die Autoren evaluierten TTBYS über sechs führende LLMs (einschließlich LLaMA-3.1-8B, Qwen-3-8B, Mixtral-7B und geschlossener Modelle wie GPT-5 und Gemini-3-Pro).

Statische Evaluation:
- Leistung: Qwen-3-8B, ausgestattet mit TTBYS, übertraf GPT-5 um 1,20 % bei der Wunschvorhersage, um 22,80 % bei der Glaubensvorhersage und um 16,97 % bei der Strategievorhersage.
- Vergleich: TTBYS übertraf konsistent das einfache Zero-Shot-Prompting, Chain-of-Thought (CoT) und andere ToM-verbesserte Baselines (Hypothetical Minds, Metamind) über alle Open-Source-Backbones hinweg.
- Ablation: Die Studie bestätigte, dass eine ausgewogene Fusion erfahrungsbasierter und LLM-basierter Signale (via Koeffizienten $\alpha$ und $\beta$ ) optimale Ergebnisse liefert. Eine Erhöhung der Menge abgerufener Erfahrungen verbesserte im Allgemeinen die Leistung, insbesondere in den Phasen Erster und Dritter Gedanke.
Interaktive Evaluation:
- Simulierte Interaktionen in Szenarien für Produktkäufe, Gemeinschaftsaktivitäten und empathische Dialoge zeigten, dass TTBYS (unter Verwendung von Qwen-3-8B) die GPT-5-Baselines bei der Identifikation (Aufdecken mentaler Zustände) und der Überzeugungswirksamkeit signifikant übertraf.
- Während GPT-5+CoT eine etwas höhere Konsistenz aufwies, zeigte TTBYS eine überlegene Fähigkeit, Strategien basierend auf genauer Inferenz mentaler Zustände anzupassen.
Fallstudien:
- Die qualitative Analyse zeigte, dass TTBYS nuancierte Glaubensvorstellungen erfassen konnte (z. B. Unsicherheit über die Relevanz von Online-Datenschutz für die ländliche Revitalisierung), die von Baseline-Modellen übersehen wurden, was zu genaueren Wunschvorhersagen und einer angemessenen Strategiewahl führte.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass TTBYS den Stand der Technik in ToM-getriebenen Überzeugungsdialogen signifikant voranbringt durch:

Erhöhung der Interpretierbarkeit: Durch die Zerlegung des Überzeugungsprozesses in explizite Schritte (Wunsch $\to$ Glaubensvorstellung $\to$ Strategie) und die Nutzung von strukturiertem Reasoning wird die Entscheidungsfindung des Systems transparenter und nachvollziehbarer.
Verbesserung der Robustheit: Die Integration von Vorerfahrungen mildert die Instabilität von LLMs bei der Inferenz latenter mentaler Zustände, sodass kleinere Open-Source-Modelle größere geschlossene Modelle erreichen oder übertreffen können.
Bereitstellung einer Grundlage: Die ToM-PD-Aufgabe und der ToM-BPD-Datensatz bieten einen standardisierten Benchmark für zukünftige Forschung zur Modellierung dynamischer mentaler Zustände in sozialen Interaktionen.

Die Autoren erkennen Einschränkungen an und stellen fest, dass die Datensatzgröße relativ klein ist und der Ansatz noch nicht in einem vollständig eingesetzten, realen Überzeugungssystem validiert wurde. Sie betonen, dass das Framework zwar für pro-soziale Anwendungen konzipiert ist, jedoch Schutzmaßnahmen erforderlich sind, um eine potenzielle Missbrauch in manipulativen Kontexten zu verhindern.