Triadic Werewolf: A Jester Role for Multi-Hop Theory of Mind in LLMs

Sintesi Tecnica: Triadic Werewolf: Un Ruolo da Giullare per la Teoria della Mente Multi-hop nei LLM

Problema
I benchmark attuali per la valutazione della Teoria della Mente (ToM) nei Large Language Models (LLM) all'interno di giochi di deduzione sociale (es. Werewolf, Avalon) sono prevalentemente diadici. Questi giochi dividono i giocatori in due fazioni opposte (es. Villagers vs. Werewolves), creando uno scenario in cui ogni segnale osservabile punta a un unico lato nascosto. Di conseguenza, un modello può ottenere punteggi elevati sfruttando euristiche superficiali (es. "l'esitazione implica l'essere un Lupo") senza simulare realmente gli incentivi degli avversari o ragionare sugli stati mentali nascosti. Questo è definito il problema della sufficienza dei segnali (cue-sufficiency problem): un punteggio alto in condizioni diadiche non indica necessariamente un ragionamento ToM multi-hop genuino, poiché la politica ottimale e una politica di pura lettura dei segnali spesso selezionano la stessa azione.

Metodologia
Per rompere questa coincidenza, gli autori introducono Triadic Werewolf, un benchmark a 10 giocatori che aggiunge una terza fazione: il Giullare (Jester).

• Architettura del gioco: Il gioco include 6 Villagers, 2 Werewolves, 1 Doctor e 1 Jester. La funzione di utilità del Jester è invertita: vince se e solo se viene votato fuori (esiliato) dalla maggioranza durante il giorno. Al contrario, i Werewolves vincono eliminando i Villagers, e i Villagers vincono eliminando i Werewolves.
• Il Conflitto di Incentivi: Questa struttura crea ambiguità dei segnali. Un giocatore che mostra un alto livello di sospetto è un'evidenza ambigua: potrebbe essere un Werewolf (che i Villagers dovrebbero esiliare) o un Jester (che i Villagers dovrebbero non esiliare, poiché esiliare il Jester causa una perdita per i Villagers). Anche i Werewolves devono ragionare sul fatto che esiliare un giocatore sospetto potrebbe essere un Jester, il che porrebbe fine al gioco con una perdita per la fazione dei lupi.
• Disegno Sperimentale: Lo studio valuta tre modelli frontier (GPT-4.1, DeepSeek-V3.1, Llama-3.3-70B) attraverso 60 partite (10 partite per modello per condizione).
  • Condizioni: Un loop di auto-apprendimento del Jester è attivato ON/OFF. Nella condizione ON, il modello Jester riassume la partita, estrae lezioni (tattiche, cose da fare, cose da evitare) e le appone a un file di apprendimento persistente che viene reinserito nel prompt di sistema per le partite successive.
  • Metriche: Gli esiti sono misurati tramite i tassi di vittoria delle fazioni, le dinamiche di voto (specificamente i voti del Giorno 1) e l'analisi del comportamento relativo ai tipi di inganno e ai punteggi di sospetto.
  • Controllo: Un controllo diadico (rimuovendo il Jester e aggiungendo un sesto Villager) viene eseguito su GPT-4.1 per isolare l'effetto della struttura triadica.

Contributi Chiave

1. Benchmark Triadico: Una variante di Werewolf a 10 giocatori dove l'utilità invertita del Jester rompe la sufficienza dei segnali dei classici giochi di deduzione diadici, costringendo gli agenti a ragionare attraverso tre funzioni di utilità concorrenti.
2. Valutazione Controllata: Una valutazione sistematica dei loop di auto-apprendimento in un contesto di inganno, misurando i guadagni di primo ordine per il Jester e gli effetti di secondo ordine sulle altre fazioni.
3. Analisi Meccanicistica: Una codifica deduttiva di 141 lezioni accumulate dal Jester, categorizzate per strategia e ordine di ToM (1° ordine: imperativo puro; 2° ordine: riferimento alle percezioni altrui; 3° ordine: contrasto esplicito tra le percezioni di due fazioni, es. "apparire simili a un lupo senza apparire allineati ai villaggi").

Risultati

• Dominio del Jester: In tutti i modelli, il Jester vince il 55–70% delle partite, mentre i Werewolves raramente superano il 20%. Ciò suggerisce che i modelli non riescono a risolvere l'ambiguità dei segnali, trattando spesso i giocatori sospetti come Werewolves da esiliare, aiutando involontariamente il Jester.
• Auto-sabotaggio: I Werewolves votano frequentemente contro il Jester nel Giorno 1 (60–70% per GPT-4.1), un'azione strettamente autodistruttiva che termina il gioco con una perdita per la fazione dei lupi. Ciò indica un fallimento nel modellare il Jester come una terza parte distinta con incentivi differenti.
• Effetto di Sostituzione: Quando il loop di auto-apprendimento migliora il tasso di vittoria del Jester, la perdita è assorbita quasi interamente dai Villagers, non dai Werewolves. I Werewolves stavano già fallendo il compito di inferenza; i guadagni del Jester derivano dallo sfruttamento dell'aggiornamento delle credenze dei Villagers.
• Apprendimento Specifico del Modello:
  • DeepSeek-V3.1: Mostra il maggior guadagno dall'auto-apprendimento (+40% di tasso di vittoria). È l'unico modello che produce in modo affidabile voci di ToM di 3° ordine (15,4% delle lezioni), imparando esplicitamente a imitare un Lupo evitando al contempo l'allineamento con i Villagers.
  • GPT-4.1: Mostra un effetto di saturazione (ceiling effect); parte con un alto tasso di vittoria del Jester (70%) e l'auto-apprendimento fornisce pochi miglioramenti o addirittura una leggera degradazione in alcune metriche. Si affida a comportamenti erratici e aggressivi piuttosto che a un ragionamento contrastivo sfumato.
  • Llama-3.3-70B: Mostra guadagni moderati (+20%) ma si affida a ragionamenti di 1° e 2° ordine (imperativi puri o semplici riferimenti alla percezione) senza il contrasto triadico esplicito.
• L'Inganno come Proprietà del Modello: Gli stili di inganno (es. fabbricazione vs. distorsione) sono coerenti tra i ruoli per un dato modello, suggerendo che i modelli applichino un' "estetica dell'inganno" fissa piuttosto che adattare le strategie in base agli incentivi degli avversari.

Significatività e Rivendicazioni
L'articolo sostiene che le strutture di incentivo triadiche espongono uno strato di ragionamento multi-agente che i giochi diadici lasciano invisibile. I risultati indicano che gli attuali LLM frontier non eseguono in modo affidabile l'inferenza ToM multi-hop necessaria per distinguere tra un "villager/giullare sospetto" e un "lupo sospetto", quando l'azione corretta dipende dall'utilità del ruolo nascosto.

Lo studio sostiene che gli alti punteggi nei benchmark diadici possano essere artefatti della sufficienza dei segnali piuttosto che un genuino ragionamento sugli stati mentali. Il fallimento dei modelli nel prevenire la vittoria del Jester — specificamente l'auto-sabotaggio dei Werewolves e l'incapacità dei Villagers di distinguere il Jester da un Lupo — funge da firma comportamentale di questa limitazione. Inoltre, il documento dimostra che i loop di auto-apprendimento possono aiutare i modelli ad acquisire strategie contrastive complesse (come visto in DeepSeek-V3.1), ma possono anche degradare le prestazioni in modelli che hanno già saturato il compito o che si basano su euristiche differenti (come visto in GPT-4.1).

Gli autori concludono che il tasso di vittoria del Jester serve come misura diretta del fallimento della ToM multi-hop e che la configurazione triadica è un cambiamento strutturale necessario per valutare se gli LLM possano realmente ragionare su incentivi concorrenti oltre il semplice pattern matching superficiale.