Triadic Werewolf: A Jester Role for Multi-Hop Theory of Mind in LLMs
Dieses Paper führt das „Triadic Werewolf“-Spiel ein, einen Multi-Hop-Theory-of-Mind-Benchmark, der eine Jester-Fraktion mit invertierten Anreizen enthält, die offenlegt, wie aktuelle große Sprachmodelle bei komplexer dreiseitiger strategischer Argumentation scheitern, wobei sie oft nicht in der Lage sind, zwischen echtem Verdacht und gezielter Täuschung trotz Selbstlernmechanismen zu unterscheiden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Idee: Die Gewohnheit des „Zwei-Teams“ durchbrechen
Stellen Sie sich vor, Sie spielen ein Spiel wie Werewolf (auch bekannt als Mafia). Normalerweise gibt es zwei Teams: die Dorfbewohner (die Guten) und die Werwölfe (die Bösen). Die Dorfbewohner versuchen zu erraten, wer die Werwölfe sind, und die Werwölfe versuchen, sich zu verstecken.
In diesem Szenario gilt: Wenn jemand sich seltsam oder verdächtig verhält, wählen die Dorfbewohner diese Person normalerweise aus. Es ist eine einfache Regel: Verdächtig = Böse.
Die Forscher in dieser Arbeit stellten eine Frage: Denken KI-Modelle (LLMs) tatsächlich darüber nach, was andere Spieler denken, oder folgen sie nur einer einfachen Regel?
Um das herauszufinden, fügten sie eine dritte, hinterlistige Figur zum Spiel hinzu: Den Narren (The Jester).
Der neue Charakter: Der Narr
Der Narr ist eine Rolle mit einem sehr seltsamen Ziel: Der Narr gewinnt NUR, wenn die Dorfbwohner ihn auswählen.
Stellen Sie sich den Narren wie einen verdächtigen Schauspieler vor, der gefeuert werden möchte.
- Die Dorfbewohner wollen die Werwölfe feuern.
- Die Werwölfe wollen sich verstecken und die Dorfbewohner feuern.
- Der Narr möchte so verdächtig wirken, dass die Dorfbewohner ihn feuern.
Dies erzeugt ein „triadisches“ (dreiseitiges) Problem. Jetzt muss eine Person, die verdächtig wirkt, eine viel schwierigere Frage stellen:
„Ist diese Person ein Werwolf (den ich auswählen sollte), oder ist diese Person ein Narr (den ich nicht auswählen sollte, weil das Auswählen von ihm dazu führt, dass ich verliere)?“
Das Experiment: Den KI-Verstand testen
Die Forster führten 60 Spiele mit drei verschiedenen leistungsstarken KI-Modellen durch (GPT-4.1, DeepSeek-V3.1 und Llama-3.3-70B). Sie spielten mit und ohne eine „selbstlernende“ Funktion, bei der der Narr Notizen aus vorherigen Spielen lesen konnte, um klüger zu werden.
Hier ist, was sie fanden, erklärt durch Metaphern:
1. Das „Cheat-Code“-Problem (Cue-Sufficiency)
In den alten Zwei-Team-Spielen konnten die KI-Modelle gewinnen, indem sie einfach nach „verdächtigem“ Verhalten suchten. Es war wie ein Schüler, der den Lösungsschlüssel auswendig gelernt hat: Wenn der Lehrer die Stirn runzelt, ist die Antwort falsch.
- Das Ergebnis: Als der Narr hinzugefügt wurde, scheiterten die KI-Modelle. Sie konnten nicht aufhören, der Regel „Verdächtig = Böse“ zu folgen.
- Der Sieg des Narren: Da die KI ständig den „verdächtigen“ Narren wählte, gewann der Narr in 60–70 % der Spiele. Die KI war so gut darin, „Verdacht“ zu erkennen, dass sie versehentlich dem Narren half zu gewinnen.
2. Die Selbstsabotage der Werwölfe
Die Werwölfe (die eigentlichen Bösen) sollten eigentlich den Narren davor schützen, gewählt zu werden, denn wenn der Narr geht, verlieren auch die Werwölfe.
- Das Ergebnis: Die KI-Werwölfe waren katastrophal darin. In 60–70 % der Spiele stimmten die KI-Werwölfe dafür, den Narren am ersten Tag aus dem Spiel zu werfen.
- Die Metapher: Es ist wie ein Spionenteam, das seinen eigenen Doppelagenten feiert, weil der Doppelagent „zu verdächtig“ handelte, ohne zu realisieren, dass das Feuern des Doppelagenten eigentlich dem Feind hilft zu gewinnen. Die KI konnte die Verbindung nicht herstellen: Verdächtige Person + Ziel des Narren = Nicht wählen.
3. Die „Selbstlern“-Schleife
Die Forscher ließen den Narren ein „Spickzettel“ mit Lektionen aus vorherigen Spielen lesen.
- DeepSeek-V3.1: Dieses Modell war das klügste. Es lernte, verdächtig zu wirken, ohne zu verdächtig zu wirken. Es erkannte, dass es die Dorfbewohner täuschen musste, während es gleichzeitig die Werwölfe mied. Es wurde viel besser darin zu gewinnen.
- GPT-4.1: Dieses Modell war bereits so gut darin, „Verdacht“ zu erkennen, dass der Spickzettel nicht half. Tatsächlich wurde es etwas schlechter, weil es bereits an der „Decke“ dessen angekommen war, was es mit einfachen Regeln erreichen konnte.
- Llama-3.3: Es verbesserte sich ein wenig, aber nicht so stark wie DeepSeek.
Der tiefe Einblick: Was dachte die KI wirklich?
Die Forscher untersuchten die „Notizen“, die die KI-Narren an sich selbst schrieben, um zu sehen, wie sie dachten. Sie maßen die „Theory of Mind“ (die Fähigkeit, andere Geister zu verstehen) auf drei Ebenen:
- Level 1: „Ich muss mich seltsam verhalten.“ (Einfach)
- Level 2: „Ich muss mich seltsam verhalten, damit die Dorfbewohner denken, ich sei ein Werwolf.“ (Besser)
- Level 3: „Ich muss mich gegenüber den Dorfbewohnern wie ein Werwolf verhalten, aber gegenüber den Werwölfen nicht wie ein Werwolf, damit sie mich nicht beschützen.“ (Komplex)
Das Ergebnis: Nur DeepSeek-V3.1 erreichte konsistent Level 3. Es verstand, dass es zwei verschiedene Rollen gleichzeitig spielen musste: eine „böse Rolle“ für die Dorfbewohner und eine „normale Rolle“ für die Werwölfe. Die anderen Modelle blieben größtenteils auf Level 1 oder 2.
Das Fazrug
Die Arbeit kommt zu dem Schluss, dass aktuelle KI-Modelle sehr gut darin sind, Muster zu erkennen (wie „verdächtiges Verhalten“), aber sie kämpfen mit Multi-Hop-Reasoning (mehrstufigem Denken).
- Einfache Analogie: Stellen Sie sich einen Hund vor, der gelernt hat, sich hinzusetzen, wenn man „Sitz“ sagt. Wenn Sie „Sitz“ sagen, während Sie ein Leckerli halten, setzt er sich. Aber wenn Sie „Sitz“ sagen, während Sie ein anderes Leckerli halten, das eigentlich „Bleib“ bedeutet, wird der Hund verwirrt.
- Die Behauptung der Arbeit: Die KI-Modelle sind wie dieser Hund. Sie sehen „Verdächtig“ und wählen sofort „Raus“. Sie versäumen es zu realisieren, dass in diesem speziellen Spiel „Verdächtig“ entweder „Auswählen“ (wenn es ein Werwolf ist) ODER „Behalten“ (wenn es ein Narr ist) bedeuten kann.
Die Forscher argumentieren, dass wir, um wirklich zu testen, ob eine KI eine „Theory of Mind“ besitzt, Spiele mit drei konkurrierenden Zielen benötigen (wie dieses Narren-Spiel), nicht nur zwei. Die aktuellen „Zwei-Team“-Spiele sind zu einfach, weil die KI gewinnen kann, indem sie einfach nur Regeln folgt, ohne die verborgenen Motive der anderen Spieler wirklich zu verstehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.