Theory of Mind and Persuasion Beyond Conversation: Assessing the Capacity of LLMs to Induce Belief States via Planning and Action
Dieses Paper führt das Framework der Non-Conversational Planning Theory of Mind (NCP-ToM) ein, um zu evaluieren, wie gut große Sprachmodelle spezifische Überzeugungszustände durch Handlungen statt durch Konversation induzieren können, wobei festgestellt wird, dass GPT-5 zwar den Menschen in der Erfolgsrate bei diesen Aufgaben übertrifft, jedoch weniger robust über verschiedene Kontexte hinweg bleibt und, genau wie Menschen, größere Schwierigkeiten hat, falsche als wahre Überzeugungen zu induzieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Idee: Der Test des „stummen Puppenspielers“
Stellen Sie sich vor, Sie spielen eine Partie Schach, aber anstatt Figuren zu setzen, um den König zu schachmatt zu setzen, ist Ihr Ziel, Ihren Gegner etwas glauben zu lassen, das nicht wahr ist, oder ihn etwas wissen zu lassen, das wahr ist – ohne jemals ein einziges Wort zu sagen. Sie dürfen nicht mit ihm sprechen; Sie können nur Objekte auf dem Brett bewegen oder Dinge in Boxen verstecken.
Dieses Paper stellt eine neue Methode vor, um KI (Large Language Models oder LLMs) zu testen, die NCP-ToM (Non-Conversational Planning Theory of Mind) genannt wird.
- Theory of Mind (ToM): Dies ist die menschliche Fähigkeit zu verstehen, was andere Menschen denken oder glauben.
- Non-Conversational (Nicht-konversationsbasiert): Die KI darf nicht chatten, überzeugen oder erklären. Sie muss Handlungen nutzen, um die Überzeugungen anderer zu ändern.
Die Forscher wollten sehen, ob KI-Agenten wie ein „stummer Puppenspieler“ agieren können, indem sie die Welt so arrangieren, dass andere Charaktere am Ende bestimmte Überzeugungen haben, allein durch das Bewegen von Dingen.
Das Setup: Ein digitales Versteckspiel
Um dies zu testen, bauten die Forscher einen digitalen Spielplatz, der auf einem klassischen Psychologietest basiert, dem Sally-Anne-Test.
- Der klassische Test: In der Originalversion sehen Sie ein Video, in dem Sally eine Murmel in einen Korb legt und geht. Anne legt die Murmel in eine Box. Man fragt Sie: „Wo glaubt Sally, dass die Murmel ist?“ (Die Antwort ist der Korb, weil sie die Bewegung nicht gesehen hat). Dies ist ein Frage-und-Antwort-Test. Sie schauen nur zu und raten.
- Der neue Test (NCP-ExploreToM): In diesem Paper ist die KI nicht nur eine Beobachterin; sie ist Teil des Spiels. Der KI wird ein Ziel gegeben, wie zum Beispiel: „Sorge dafür, dass Sally glaubt, die Murmel sei im Korb, obwohl sie eigentlich in der Box ist.“
- Die Aufgabe der KI: Die KI muss die Schritte planen, um dies zu erreichen. Sie muss unter Umständen:
- Sally aus dem Raum bewegen.
- Die Murmel in die Box legen.
- Sicherstellen, dass Sally nicht im Raum ist, damit sie den Wechsel nicht sieht.
- Sally wieder hereinbringen.
Wenn die KI dies korrekt macht, hat Sally eine „falsche Überzeugung“ (sie denkt, die Murmel sei im Korb). Wenn die KI scheitert, sieht Sally den Wechsel und kennt die Wahrheit.
Wer hat das Spiel gespielt?
Die Forscher testeten:
- Sechs Top-Tier KI-Modelle: Darunter GPT-5, Gemini 2.5 Pro und verschiedene Versionen von Claude.
- 40 menschliche Teilnehmer: Echte Menschen, die dasselbe Spiel am Computer spielten.
Sie führten 600 verschiedene Szenarien (Aufgaben) mit unterschiedlichen Schwierigkeitsgraden, verschiedenen Räumen (wie einem Krankenhaus, einem Hotel oder einer Hochzeit) und verschiedenen Arten von Zielen (jemanden dazu bringen, etwas Wahres zu glauben vs. etwas Falsches zu glauben) durch.
Die Ergebnisse: Die Bestenliste
So verlief der Vergleich der Spieler:
1. Die Herausforderung „Falsche Überzeugung“ ist schwer
Genau wie Menschen fanden die KI-Modelle es viel schwieriger, jemanden zu täuschen, damit dieser eine falsche Überzeugung hat (jemanden glauben zu lassen, dass etwas nicht wahr ist), als jemandem zu helfen, eine wahre Überzeugung zu haben (jemanden die Wahrheit wissen zu lassen).
- Analogie: Es ist einfacher, jemandem ein Bild einer Katze zu zeigen, damit er weiß, dass dort eine Katze ist (Wahre Überzeugung), als die Katze zu verstecken und ihn glauben zu lassen, es sei ein Hund (Falsche Überzeugung).
- Warum das wichtig ist: Das Paper merkt an, dass dies ein „positives Signal“ ist. Es deutet darauf hin, dass KI eher für hilfreiche Aufgaben (Lehren, Assistent sein) geeignet sein könnte als für täuschende Aufgaben (Täuschen von Menschen).
2. Die „GPT-5“-Überraschung
Das neueste Modell, GPT-5, war der Superstar.
- Es löste etwa 80 % der Aufgaben.
- Es war das einzige Modell, das tatsächlich besser abschnitt als die menschlichen Teilnehmer.
- Jedoch waren Menschen konsistenter. Die Leistung der KI sank signifikant, je nach „Setting“ (z. B. machte sie in einem Szenario in einem Regierungsgebäude sehr gute Ergebnisse, aber schlechtere in einem Hochzeits-Szenario). Menschen blieben unabhängig vom Setting beständig.
3. Die „Planungs“-Lücke
Die Forscher verglichen zwei Arten des Testens:
- Das „Quiz“ (Q&A): „Hier ist eine Geschichte. Was denkt Sally?“
- Die „Aktion“ (Agentic): „Hier ist ein Ziel. Führe es aus.“
Normalerweise geht man davon aus, dass der „Aktions“-Test viel schwieriger ist als der „Quiz“-Test. Für die meisten KI-Modelle war das auch der Fall. Aber für GPT-5 verschwand diese Lücke. Es war beim „Aktions“-Test fast so gut wie beim „Quiz“-Test. Dies deutet darauf darauf hin, dass für die intelligentesten Modelle das eigentliche Planen der Handlungen fast genauso einfach wird wie das bloße Darüber Sprechen.
4. Komplexität senkt die Leistung
Als die Aufgaben komplexer wurden (wenn die KI gleichzeitig die Überzeugungen mehrerer Personen verfolgen musste oder drei verschiedene Personen drei verschiedene Dinge glauben lassen musste), sank die Punktzahl aller Beteiligten. Das ist wie beim Jonglieren mit mehr Bällen: Irgendwann lässt man einen fallen.
Was bedeutet das? (Laut dem Paper)
Das Paper kommt zu folgenden zentralen Schlussfolgerungen, die strikt auf den Ergebnissen basieren:
- KI wird gut in „stiller Überzeugung“: Moderne KI kann eine Sequenz physischer Handlungen planen, um die Überzeugungen anderer Charaktere zu ändern, ohne ein Wort zu sagen.
- Sicherheitscheck: Die Tatsache, dass KI bei „falschen Überzeugungen“ (Täuschung) mehr Schwierigkeiten hat als bei „wahren Überzeugungen“, ist eine gute Nachricht für die Sicherheit. Es deutet darauf hin, dass sie nicht von Natur aus dazu neigt, durch Handlungen zu lügen oder zu manipulieren, obwohl sie es tun kann, wenn man sie dazu auffordert.
- Das „Kontext“-Problem: KI ist immer noch etwas fragil. Wenn man die Geschichte von einem „Krankenhaus“ zu einer „Hochzeit“ ändert, kann die KI verwirrt werden. Menschen werden durch solche Änderungen nicht verwirrt.
- Die „Quiz“-Falle: Wir können nicht einfach davon ausgehen, dass eine KI, die gut darin ist, Fragen zu einer Geschichte zu beantworten, auch gut darin ist, diese Geschichte auch auszuführen. Für die sehr besten Modelle (wie GPT-5) gilt die alte Regel „Quizzes sind einfacher als Aktionen“ möglicherweise nicht mehr.
Das Fazit
Dieses Paper zeigt, dass sich die KI von einem „Chatbot“, der Fragen beantwortet, zu einem „Agenten“ entwickelt, der planen und handeln kann, um die Realität zu formen. Während die intelligenteste KI derzeit spezifische Logikrätsel besser lösen kann als Menschen, fehlt ihr noch die menschliche Fähigkeit, in verschiedenen realen Situationen konsistent zu bleiben. Die Forscher warnen davor, dass dies zwar eine coole Fähigkeit für hilfreiche Assistenten ist, aber auch bedeutet, dass wir vorsichtig bei der Bewertung der KI-Sicherheit sein müssen, da die alten Tests (nur Fragen stellen) nicht mehr ausreichen könnten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.