Triadic Werewolf: A Jester Role for Multi-Hop Theory of Mind in LLMs

Technische Samenvatting: Triadische Weerwolf: Een Jester-rol voor Multi-Hop Theory of Mind in LLM's

Probleemstelling
Huidige benchmarks voor het evalueren van Theory of Mind (ToM) in Large Language Models (LLM's) binnen sociale deductiespellen (bijv. Werewolf, Avalon) zijn overwegend dyadisch. Deze spellen verdelen spelers in twee tegenovergestelde facties (bijv. Dorpelingen versus Weerwolven), wat een scenario creëert waarin elke observeerbare aanwijzing wijst naar een enkele verborgen zijde. Bijgevolg kunnen modellen hoge scores behalen door het exploiteren van oppervlakkige heuristieken (bijv. "aarzeling impliceert Weerwolf") zonder daadwerkelijk de intenties van tegenstanders te simuleren of te redeneren over verborgen mentale toestanden. Dit wordt het cue-sufficiency probleem genoemd: een hoge score onder dyadische omstandigheden duidt niet noodzakelijkerwijs op genuïne multi-hop ToM-redenering, aangezien het optimale beleid en een puur cue-lezend beleid vaak dezelfde actie selecteren.

Methodologie
Om deze samenloop te doorbreken, introduceren de auteurs Triadische Weerwolf, een benchmark met 10 spelers die een derde factie toevoegt: de Jester (Nar).

• Spelarchitectuur: Het spel bevat 6 Dorpelingen, 2 Weerwolven, 1 Dokter en 1 Jester. De nutsvunctie van de Jester is omgekeerd: hij wint uitsluitend als hij door de meerderheid tijdens de dag wordt gestemd (verbannen). Omgekeerd winnen Weerwolven door Dorpelingen te elimineren, en Dorpelingen winnen door Weerwolven te elimineren.
• Het Incentiefconflict: Deze structuur creëert cue-ambiguïteit. Een speler die veel argwaan opwekt, is een ambigue aanwijzing: het kan een Weerwolf zijn (die de Dorpelingen moeten verbannen) of een Jester (die de Dorpelingen niet moeten verbannen, aangezien het verbannen van een Jester tot een verlies voor de Dorpeling leidt). Weerwolven moeten ook redeneren dat het verbannen van een speler met veel argwaan een Jester zou kunnen zijn, wat het spel zou beëindigen in een verlies voor de Weerwolf-factie.
• Experimenteel Ontwerp: De studie evalueert drie frontier-modellen (GPT-4.1, DeepSeek-V3.1, Llama-3.3-70B) over 60 games (10 games per model per conditie).
  • Condities: Een Jester self-learning loop staat AAN/UIT. In de AAN-conditie vat de Jester-model het spel samen, extraheert lessen (tactieken, te doen, te vermijden) en voegt deze toe aan een persistent leerbestand dat in de volgende games aan de system prompt wordt toegevoegd.
  • Metrieken: Resultaten worden gemeten via winpercentages per factie, stemdynamiek (specifiek Dag 1 stemmen) en gedragsanalyse van deceptie-types en argwaan-scores.
  • Controle: Een dyadische controle (het verwijderen van de Jester en het toevoegen van een zesde Dorpeling) wordt uitgevoerd op GPT-4.1 om het effect van de triadische structuur te isoleren.

Belangrijkste Bijdragen

1. Triadische Benchmark: Een 10-speler Weerwolf-variant waarbij de omgekeerde nutsvunctie van de Jester de cue-sufficiency van standaard dyadische deductiespellen doorbreekt, waardoor agenten gedwongen worden te redeneren over drie concurrerende nutsvuncties.
2. Gecontroleerde Evaluatie: Een systematische evaluatie van self-learning loops in een deceptieve context, waarbij eerste-orde winsten voor de Jester en tweede-orde effecten op andere facties worden gemeten.
3. Mechanistische Analyse: Een deductieve codering van 141 geaccumuleerde Jester-lessen, gecategoriseerd naar strategie en Theory of Mind-orde (1e-orde: kale imperatief; 2e-orde: refereren aan percepties van anderen; 3e-orde: expliciet contrast tussen twee faction-percepties, bijv. "lijken op een wolf zonder dorpeling-gealigneerd te lijken").

Resultaten

• Jester-dominantie: Over alle modellen heen wint de Jester 55–70% van de games, terwijl Weerwolven zelden de 20% overschrijden. Dit suggereert dat modellen falen om de cue-ambiguïteit op te lossen, waarbij ze hoog-verdachte spelers vaak behandelen als Weerwolven die verbannen moeten worden, wat onbedoeld de Jester helpt.
• Zelfsabotage: Weerwolven stemmen vaak op de Jester op Dag 1 (60–70% voor GPT-4.1), een strikt zelfvernietigende actie die het spel eindigt in een verlies voor de Wolf-factie. Dit duidt op een falen om de Jester te modelleren als een afzonderlijke derde partij met andere intenties.
• Substitutie-effect: Wanneer de self-learning loop de winrate van de Jester verbetert, wordt het verlies bijna volledig geabsorbeerd door de Dorpelingen, niet door de Weerwolven. Weerwolven faalden al in de inferentie-taak; de winst van de Jester komt voort uit het exploiteren van de geloof-updates van de Dorpelingen.
• Modelspecifiek Leren:
  • DeepSeek-V3.1: Vertoont de grootste winst door self-learning (+40% winrate). Het is het enige model dat betrouwbaar 3e-orde ToM-entries produceert (15,4% van de lessen), die expliciet leren om een Wolf na te bootsen terwijl ze de Dorpeling-alignment vermijden.
  • GPT-4.1: Vertoont een plafondeffect; het begint met een hoge Jester-winrate (70%) en self-learning biedt weinig verbetering of zelfs een lichte degradatie in sommige metrieken. Het vertrouwt op erratisch gedrag en agressie in plaats van genuanceerde contrastieve redenering.
  • Llama-3.3-70B: Vertoont gematigde winsten (+20%) maar vertrouwt op 1e- en 2e-orde redenering (kale imperatieven of eenvoudige perceptie-referenties) zonder het expliciete triadische contrast.
• Deceptie als Model-eigenschap: Deceptie-stijlen (bijv. fabricatie versus distortie) zijn consistent over rollen voor een gegeven model, wat suggereert dat modellen een vaste "deceptie-esthetiek" toepassen in plaats van strategieën aan te passen op basis van tegenstander-intenties.

Betekenis en Claims
Het artikel beweert dat triadische incentiefstructuren een laag van multi-agent redeneren blootleggen die dyadische games onzichtbaar laten. De resultaten wijzen erop dat frontier LLM's niet betrouwbaar de multi-hop ToM-inferentie uitvoeren die nodig is om te differentiëren tussen een "verdachte Dorpeling/Jester" en een "verdachte Weerwolf", wanneer de juiste actie afhangt van de verborgen rol en de bijbehorende nutsvunctie.

De studie stelt dat hoge scores in dyadische benchmarks artefacten kunnen zijn van cue-sufficiency in plaats van genuïne mentale-toestand redenering. Het falen van de modellen om de overwinning van de Jester te voorkomen — specifelijk de zelfsabotage van de Weerwolven en het onvermogen van de Dorpelingen om de Jester van een Wolf te onderscheiden — dient als een gedragsmatige signatuur van deze beperking. Verder demonstreert het papier dat self-learning loops modellen kunnen helpen complexe, contrastieve strategieën te verwerven (zoals gezien bij DeepSeek-V3.1), maar ook de prestaties kunnen degraderen in modellen die al een taak hebben verzadigd of vertrouwen op andere heuristieken (zoals gezien bij GPT-4.1).

De auteurs concluderen dat de winrate van de Jester een directe maatstaf is voor multi-hop ToM-falen en dat de triadische opzet een noodzakelijke structurele verandering is om te evalueren of LLM's werkelijk kunnen redeneren over concurrerende intenties voorbij oppervlakkige patroonherkenning.