💬 NLP

MafiaScope: Non-Invasive, Time-Resolved Belief Probing for LLM Agents in Social Deduction Games

MafiaScope è un ambiente di test aperto che consente il sondaggio non invasivo e risolto nel tempo delle credenze private degli agenti LLM durante i giochi di deduzione sociale, rivelando significativi errori di calibrazione e fornendo strumenti per visualizzare e riprodurre controfattualmente le traiettorie di ragionamento degli agenti.

Autori originali: Ilia Karpov

Pubblicato 2026-07-14

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ilia Karpov

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un gruppo di agenti IA che giocano a un gioco ad alta posta in gioco: Mafia. In questo gioco, alcuni giocatori sono membri segreti della "Mafia" che si conoscono tra loro e cercano di eliminare gli innocenti "Villaggi" durante la notte, mentre i Villaggi cercano di capire chi siano gli assassini durante il giorno. Di solito, quando guardiamo l'IA giocare, vediamo solo il punteggio finale: chi è stato eliminato, chi ha votato e chi ha mentito. È come guardare uno spettacolo di magia e vedere solo il trucco finale, senza avere idea di come si siano mosse le mani del mago.

MafiaScope è un nuovo strumento che agisce come un magico "visore per la lettura del pensiero" per questi agenti IA. Ma ecco il trucco: non cambia il gioco. È non invasivo. Ogni volta che un agente IA dice qualcosa ad alta voce al gruppo, il sistema mette in pausa silenziosamente l'azione, pone all'agente una domanda segreta su ciò che realmente crede, e poi cancella immediatamente quella risposta in modo che non influenzi mai più il gioco.

Pensatelo come a un reality show dove, dopo ogni confessione drammatica, la telecamera si sposta in una stanza privata per chiedere al concorrente: "Ok, chi pensi davvero sia l'assassino in questo momento?". Il concorrente risponde, la telecamera registra e la risposta viene sigillata in una cassaforte. Il concorrente non sente mai la propria risposta segreta, quindi non può cambiare il proprio comportamento in base ad essa. Questo permette ai ricercatori di vedere i veri pensieri dell'agente rispetto alle sue bugie pubbliche.

Cosa hanno scoperto realmente?

I ricercatori hanno eseguito 32 partite utilizzando un modello di IA specifico (DeepSeek) e hanno raccolto oltre 13.800 di queste risposte segrete. Ecco cosa ha rivelato il dato:

L'illusione del "riflettore": Gli agenti innocenti sono terribili nel tirare a indovinare cosa pensino gli altri di loro. Credono di essere sospettati 1,5 volte più spesso di quanto non accada in realtà. È come entrare a una festa e sentire che tutti stiano fissando i tuoi capelli strani, quando in realtà nessuno se n'è accorto. Il documento suggerisce che questo sia una "versione macchina" di un particolare tratto psicologico umano chiamato "effetto spotlight". Interessante il fatto che i veri agenti della Mafia fossero molto più bravi in questo; sapevano esattamente quando erano al sicuro e quando erano nei guai.
La fiducia è un bluff: Quando gli agenti dicevano di essere "molto sicuri" delle loro ipotesi, spesso sbagliavano. Il documento ha misurato questo fenomeno utilizzando una metrica chiamata Errore di Calibrazione Attesa (Expected Calibration Error), che è risultato pari a 0,17. In parole peli, se un agente dice: "Sono sicuro all'80% che questa persona sia della Mafia", ha ragione solo circa il 54,6% delle volte. Sono bluffatori eccessivamente sicuri di sé, non predittori accurati.
La verità è un'altalena: Le convinzioni degli agenti non si sono stabilizzate in una verità costante. Invece, i loro livelli di sospetto erano volatili. In media, il "principale sospettato" di un agente cambiava nel 48,7% dei controlli segreti. Erano in un continuo movimento attorno alla verità, anziché fissarla con precisione.
Mentire funziona (a volte): Gli agenti della Mafia hanno vinto 31 partite su 32 in questo specifico studio. Lo strumento ha dimostrato che la Mafia è riuscita a mantenere confusi i Villaggi, anche se i Villaggi stavano diventando più bravi a indovinare man mano che il gioco procedeva (la loro accuratezza è salita dal 47,6% del round 0 al 75,4% del round 3).

Cosa hanno esplicitamente escluso

Il documento è molto attento a non esagerare i risultati.

Non è un problema "risolto": Gli autori dichiarano esplicitamente che questi risultati descrivono questo specifico setup con questo specifico modello di IA. Non sostengono che tutti gli agenti IA siano eccessivamente sicuri di sé o che tutti i giocatori di Mafia siano così bravi.
Non è "lettura del pensiero" in senso filosofico: Il documento sostiene che questi agenti non abbiano "convinzioni" profonde e simili a quelle umane. Invece, trattano le risposte come "rapporti operativi": fondamentalmente, l'IA sta solo predicendo ciò che direbbe se interrogata, non sta necessariamente rivelando un'anima.
Non è una garanzia di verità: Il documento nota che, poiché gli agenti si auto-valutano, potrebbero mentire anche alla sonda stessa. Tuttavia, hanno scoperto che le risposte segrete degli agenti corrispondevano da vicino al loro comportamento di voto pubblico (nel 64,9% dei voti degli innocenti, l'agente ha votato per il suo principale sospettato segreto), suggerendo che i rapporti siano almeno coerenti con le loro azioni.

Quanto siamo sicuri?

Il documento usa spesso la parola "suggerisce", specialmente riguardo al perché gli agenti si comportino in questo modo.

L'esperimento del "Momento Cruciale": I ricercatori hanno cercato di vedere se cambiare anche una sola frase nel gioco avrebbe cambiato l'esito. Hanno eseguito una simulazione in cui hanno "ramificato" il gioco (creando 30 linee temporali parallele) per vedere cosa sarebbe successo se un giocatore non avesse detto una determinata cosa.
- Hanno scoperto che correggere una specifica bugia (da parte di un giocatore di nome Finley) suggeriva che avrebbe potuto cambiare l'esito, aumentando la probabilità che un Villaggio venisse eliminato da 0,4 a 0,8.
- Tuttavia, il documento ammette che questo non è statisticamente provato. Con solo 5 ripetizioni per scenario, la differenza non era abbastanza grande da essere sicuri al 100% (il p-value statistico era di circa 0,52, il che non è significativo). Stanno mostrando che lo strumento funziona per trovare questi momenti, non che abbiano definitivamente risolto il mistero di quella specifica partita.

Il quadro generale

MafiaScope non è una bacchetta magica che corregge l'IA. È un microscopio. Prima di questo, vedevamo solo il voto finale dell'IA. Ora, possiamo vedere il processo di pensiero disordinato, confuso, eccessivamente sicuro e talvolta brillante che avviene tra un voto e l'altro.

Lo strumento permette ai ricercatori di osservare la "traiettoria delle convinzioni": come la mente di un agente cambia secondo dopo secondo. Dimostra che, sebbene l'IA possa giocare il gioco, spesso non "sa" ciò che sa. Indovina, diventa troppo sicura di sé e a volte pensa che tutti la stiano guardando quando in realtà non è così.

Il documento conclude rilasciando il motore, il visualizzatore e i dati affinché chiunque possa utilizzarli. È un invito aperto a osservare la mente dell'IA in tempo reale, dimostrando che nel mondo dell'IA, ciò che dici e ciò che pensi sono spesso due cose molto diverse.

Sintesi Tecnica: MafiaScope

Problematica

Le attuali valutazioni degli agenti basati su Large Language Models (LLM) nei giochi di deduzione sociale (es. Mafia, Lupo Mannaro) si affidano principalmente a metriche di esito, come i tassi di vittoria o l'accuratezza del voto. Questi approcci non riescono a rivelare la "Teoria della Mente" (ToM) interna degli agenti. Un agente può votare correttamente per intuizione, o mentire efficacemente senza rivelare le proprie reali convinzioni. Inoltre, i benchmark statici della ToM (es. vignette o dialoghi predefiniti) non possono catturare come il modello di un agente riguardo agli altri evolva dinamicamente all'interno di un'interazione avversaria da lui parzialmente causata. Il lavoro esistente che inserisce gli LLM nei giochi estrae il ragionamento all'interno del contesto di gioco, dove l'atto di interrogare altera il comportamento successivo, o valuta solo l'esito finale, lasciando lo stato di credenza come una "scatola nera".

Metodologia

Il documento introduce MafiaScope, un testbed non invasivo e risolto nel tempo, progettato per misurare la ToM delle macchine interrogando privatamente le convinzioni degli agenti senza alterare il loro stato di gioco. Il sistema opera attraverso tre livelli disaccoppiati:

Motore di Gioco (Game Engine): Un'implementazione standard di Mafia che supporta lineup eterogenee di LLM (tramite API compatibili con OpenAI, modelli locali o processi HTTP esterni). Gli agenti sono parametrizzati per backend, linguaggio e un vettore della personalità Big-Five.
Motore di Probing per l'Introspezione (Introspection Probe Engine): Dopo ogni affermazione pubblica e azione privata notturna, il motore mette in pausa il gioco e interroga privatamente ogni agente ancora in gioco.
- Non-Invasività: I probe operano su una copia "usa e getta" della lista di messaggi dell'agente. Domande e risposte esistono solo per la durata della fase di probing e non vengono mai riscritte nel contesto persistente dell'agente né rientrano nel ciclo di gioco.
- Probing Strutturato: I probe sono definiti tramite un DSL YAML che supporta l'attivazione condizionale, il concatenamento (utilizzando le risposte precedenti analizzate) e i budget di token.
- Probe Predefiniti: Il sistema include sei probe: role_beliefs (convinzioni sul ruolo), role_assessment (valutazione del ruolo), suspicion_ranking (classifica dei sospetti), planned_action (azione pianificata), social_map (credenze di secondo ordine: "cosa pensano gli altri di me") e personality_profile (profilo della personalità).
- Scoring: Le risposte vengono analizzate come JSON e punteggiate automaticamente rispetto alla verità di base (ground truth) del motore (ruoli noti) o rispetto ai report di primo ordine dello stesso step dell'agente target.
Pipeline dei Dati e Visualizzatore: Un'applicazione D3 a pagina singola che renderizza:
- Modalità Impersonificazione (Impersonate Mode): Rende nuovamente il gioco dalla prospettiva di un agente specifico, contrastando le sue aspettative di secondo ordine ("Creduto") con i report effettivi di primo ordine degli altri ("Reale").
- Metriche e Calibrazione: Grafici in tempo reale di accuratezza di primo ordine, richiamo della folla (crowd recall), coerenza di secondo ordine e curve di calibrazione (fiducia dichiarata rispetto all'accuratezza reale).
- Replay Controfattuale (Counterfactual Replay): Permette di creare una "forchetta" (fork) dello stato del gioco in qualsiasi step per ri-simulare la continuazione $N$ volte, generando una distribuzione di esiti per attribuire utterance cruciali.

Contributi Chiave

Motore di Probing Configurabile: Un DSL basato su YAML che produce log di credenza indicizzati completamente in formato JSONL con attivazione condizionale e concatenamento, consentendo una misurazione densa e risolta nel tempo.
Visualizzatore Interattivo: Uno strumento per l'ispezione longitudinale delle credenze che presenta viste di impersonificazione, pannelli di calibrazione, overlay di inganno e capacità di replay controfattuale.
Caso di Studio ed Esperimento di Replay: Uno studio di 32 partite con modelli DeepSeek (13.815 risposte di probe analizzate) e un esperimento di replay con 30 fork che dimostra analisi invisibili alle valutazioni basate solo sull'esito.

Risultati

Il caso di studio, focalizzato sugli agenti DeepSeek, ha prodotto diverse scoperte specifiche riguardanti la dinamica delle credenze:

F1 (Traiettorie di Credenza): Gli agenti del lato contadino iniziano in modo largamente agnostico (74,9% "Sconosciuto" nel Round 0) e si impegnano in credenze via via più accurate man mano che le prove si accumulano (l'accuratezza impegnata sale dal 47,6% al 75,4% entro il Round 3).
F2 (Calibrazione): Gli agenti sono scarsamente calibrati. La fiducia dichiarata fornisce poco segnale al di sotto del bin superiore; l'accuratezza rimane piatta (43–46%) per livelli di fiducia tra 40 e 79. L'Errore di Calibrazione Attesa (ECE) è 0,168, indicando sovra-precisione piuttosto che sovra-stima.
F3 (Credenze di Secondo Ordine): Gli agenti sovrastimano significativamente di essere sospettati. Predicono "sospetti" 1,53 volte più spesso di quanto la sospensione accada realmente. Questo "effetto spotlight" è guidato dagli agenti innocenti (che sovrastimano di 1,84x), mentre gli agenti della Mafia sono quasi calibrati (1,08x).
F4 (Accoppiamento del Voto): Le credenze sondate seguono i voti. Gli agenti innocenti votano per il loro sospetto principale il 64,9% delle volte. Tuttavia, gli agenti della Mafia non votano in base al loro "set impegnato" privato (allineandosi a livelli casuali), indicando che scindono strategicamente i loro voti pubblici dalle credenze private.
F5 (Sensibilità della Misurazione): I budget di token impattano significativamente la qualità dei dati. Un budget legacy di 400 token ha causato la troncatura del 73% delle risposte, richiedendo la riparazione del JSON; aumentare i budget a 960 token ha eliminato la troncatura.
Dinamiche di Credenza: Gli agenti mostrano un'alta "volatilità della sospensione" (media L1 di 0,300) e cambiano frequentemente il loro sospetto principale (48,7% delle coppie consecutive), spesso tornando a sospetti precedentemente abbandonati, suggerendo una dinamica di circolarità piuttosto che di convergenza.

L'esperimento di replay controfattuale (30 fork) ha dimostrato la capacità del workflow di isolare utterance cruciali, sebbene la significatività statistica sia stata limitata dalla dimensione del campione ( $N=5$ per braccio).

Significato

MafiaScope fornisce un nuovo strumento per studiare la traiettoria delle credenze sondate privatamente piuttosto che solo gli esiti del gioco. La sua importanza risiede in:

Misurazione Non Invasiva: Garantisce che le risposte ai probe non influenzino il comportamento futuro dell'agente, una distinzione critica rispetto ai metodi di ragionamento in-context.
Risoluzione Temporale Densa: Cattura la revisione delle credenze al livello di un singolo utterance, permettendo ai ricercatori di individuare esattamente quando e come le credenze cambiano.
ToM Operativa: Tratta le risposte ai probe come report di credenza operativi con strutture verificabili, applicabili anche a modelli API chiusi dove le attivazioni interne sono inaccessibili.
Analisi Controfattuale: Consente di attribuire gli esiti a specifici utterance ri-simulando le continuazioni del gioco, andando oltre la correlazione per stimare l'impatto causale (sebbene il paper noti le attuali limitazioni al forking basato solo su reroll).

Il documento posiziona MafiaScope non come una prova definitiva della coscienza degli LLM o di una ToM perfetta, ma come uno strumento per esporre le meccaniche di inganno, calibrazione ed evoluzione delle credenze nei sistemi multi-agente, rilasciando il motore, il visualizzatore e un corpus di oltre 200 partite cross-modello sotto licenza aperta.