Riepilogo Tecnico: QUACK – Mettere in Domanda, Comprendere e Verificare la Conoscenza Comunicata in Agenti di Deduzione Sociale Multimodali

1. Enunciato del Problema

I Large Language Models (LLM) e i Vision-Language Models (VLM) sono sempre più impiegati come agenti interattivi capaci di percepire ambienti, comunicare e ragionare in condizioni di incertezza. Un requisito critico per questi agenti è l'ancoraggio (grounding): le loro affermazioni in linguaggio naturale riguardanti la posizione, le osservazioni e le azioni devono rimanere fedeli alla loro effettiva traiettoria percepita.

I benchmark di valutazione attuali per i giochi di deduzione sociale (ad esempio, Among Us, Werewolf) presentano due limitazioni principali:

1. Valutazione Centrata sul Risultato: La maggior parte delle valutazioni si basa sugli esiti di gioco (tassi di vittoria, tassi di sopravvivenza, accuratezza dei voti). Queste metriche non riescono a distinguere tra un agente che ha successo grazie a un ragionamento coerente e uno che ha successo nonostante produca affermazioni incoerenti o allucinate.
2. Limitazioni del Solo Testo: Gli ambienti esistenti limitano ampiamente gli agenti alle sole interazioni testuali. Senza osservazioni visive ancorate e traiettorie ricostruibili, è impossibile determinare se il dialogo di un agente sia allineato a ciò che ha effettivamente percepito e fatto, rendendo difficile identificare specifici modi di fallimento come allucinazioni spaziali o accuse prive di fondamento.

Manca un quadro di riferimento in grado di verificare se il linguaggio di un agente sia ancorato alla sua percezione multimodale e alle sue azioni su orizzonti temporali lunghi in contesti avversariali multi-agente.

2. Metodologia: Il Framework QUACK

Gli autori introducono QUACK, un ambiente open-source e un framework di valutazione progettati per verificare il ragionamento sociale multimodale ancorato.

2.1 L'Ambiente

QUACK è formalizzato come un gioco di Markov parzialmente osservabile giocato su una mappa strutturata a grafo.

• Ruoli: Gli agenti ricevono ruoli nascosti come Oche (equipaggio) o Anatre (impostori).
  • Le Oche vincono completando compiti legati alla posizione o espellendo tutte le Anatre.
  • Le Anatre vincono raggiungendo la parità di voti (Anatre viventi $\ge$ Oche viventi) e possono eliminare le Oche nella stessa stanza.
• Osservazioni: Gli agenti ricevono input multimodali a ogni punto decisionale:
  • Vista Globale ($I_{global}$): Una mappa renderizzata che mostra la disposizione delle stanze e i costi di spostamento, ma nessun altro giocatore.
  • Vista Locale ($I_{local}$): Un'immagine renderizzata della stanza corrente, che mostra solo i giocatori visibili, i corpi e gli eventi di movimento osservati.
  • Riassunto Strutturato ($\tau$): Una codifica testuale dello stato di transito, degli eventi osservati, del progresso dei compiti e dei tempi di recupero (cooldown).
• Azioni: Gli agenti eseguono azioni come spostarsi, completare compiti, segnalare corpi, convocare riunioni e uccidere (per le Anatre). Partecipano anche alla "chat di prossimità" (enunciati liberi uditi solo dagli agenti nella stessa stanza) e alle discussioni formali durante le riunioni.
• Riproducibilità: Crucialmente, ogni episodio genera registri strutturati a livello di motore, creando una traiettoria di verità fondamentale tick-by-tick per ogni agente. Questo permette una riproduzione esatta e una verifica.

2.2 Framework di Valutazione a Tre Livelli

QUACK valuta gli agenti su tre livelli complementari:

• Livello 1 (Esiti di Gioco): Metriche standard inclusi tassi di vittoria, accuratezza delle espulsioni, completamento dei compiti e sopravvivenza.
• Livello 2 (Traiettorie Comportamentali): Metriche derivate dalle traiettorie ricostruite, come copertura spaziale, efficienza dei compiti, tassi di uccisione e utilizzo dei tempi di recupero.
• Livello 3 (Verifica delle Affermazioni): Il contributo principale. Questo livello verifica la coerenza tra gli enunciati di discussione di un agente e la sua traiettoria di verità fondamentale.

2.3 Pipeline di Verifica delle Affermazioni

La pipeline del Livello 3 opera in due fasi:

1. Estrazione delle Affermazioni: Un LLM analizza gli enunciati di discussione liberi in affermazioni strutturate e verificabili. Sono definiti cinque tipi di affermazioni:
   • Posizione/Rotta: Affermazioni su dove si trovava un giocatore.
   • Avvistamento: Affermazioni sull'avere visto un altro giocatore.
   • Attività: Affermazioni su compiti, spostamenti o attese.
   • Accusa: Sospettare che un giocatore sia un'Anatra.
   • Difesa: Prendere le difese di un giocatore.
2. Verifica delle Affermazioni: Ogni affermazione viene controllata contro la traiettoria di verità fondamentale ricostruita dell'agente per la finestra temporale rilevante. I verdetto includono Vero, Falso, Stanza Errata, Quasi Vero (parzialmente vero) o Non Verificabile.

Questa pipeline opera quattro specifici modi di fallimento dell'ancoraggio:

1. Allucinazione Spaziale: Affermare una posizione o un avvistamento che contraddice la propria traiettoria.
2. Accusa Non Supportata: Accusare un giocatore senza prove ancorate (distinguendo tra l'accuratezza dell'accusa e il suo ancoraggio).
3. Collasso dell'Inganno: Un'Anatra che produce bugie facilmente falsificabili (ad esempio, affermare di aver visto un giocatore morto) piuttosto che inganni sottili e "quasi veri".
4. Incoerenza Linguaggio-Azione: Attività o rotte dichiarate che confliggono con le azioni registrate.

La pipeline è stata validata contro annotazioni umane, raggiungendo un'precisione del 99,5% e un richiamo del 98,7% nell'estrazione e nella verifica delle affermazioni.

3. Configurazione Sperimentale e Risultati

Gli autori hanno valutato tre VLM all'avanguardia (GPT-5.5, GEMINI-3.1-PRO, CLAUDE-OPUS-4.7) su 270 partite sia in contesti omogenei (tutti gli agenti con lo stesso modello) che in contesti avversariali cross-modello (Oche contro Anatre di modelli diversi).

Risultati Chiave

• Divario tra Risultato e Ancoraggio: Elevati tassi di vittoria non implicano un ragionamento ancorato. Ad esempio, GPT-5.5 ha raggiunto un tasso di vittoria dell'81,1% come Oca, ma ha comunque allucinato il 16,4% delle sue affermazioni spaziali e ha fatto il 54,5% delle sue accuse senza prove ancorate.
• Allucinazioni Sistematiche: Anche gli agenti più forti allucinano una frazione sostanziale di affermazioni spaziali verificabili. Il tasso di allucinazione spaziale aggregato su tutti i modelli è stato del 15,1% (circa 1 su 7 affermazioni).
• Accuse Infondate: Il tasso aggregato di accuse non supportate è stato del 53,5%. Più della metà di tutte le accuse è stata fatta senza alcuna prova che l'accusatore avrebbe potuto effettivamente osservare, indipendentemente dal fatto che l'accusa fosse casualmente corretta.
• Collasso dell'Inganno: Le Anatre hanno mostrato un tasso di inganno del 22,1%. Crucialmente, la sofisticazione dell'inganno è stata vicina allo zero; le bugie erano "piattamente falsificabili" (ad esempio, affermare di essere in una stanza dove il registro mostra che l'agente era altrove) piuttosto che sottili.
• Divario nella Rilevazione delle Bugie: Anche quando un'Anatra raccontava una bugia verificabile, l'equipaggio (Oche) non è riuscito a espellerla in circa il 25% dei casi (tasso medio di espulsione dopo una bugia del 75,2%), indicando un divario tra le prove disponibili e la capacità deduttiva dell'equipaggio.

Tutti e tre i modelli hanno condiviso lo stesso profilo qualitativo di fallimento, differendo principalmente per grado piuttosto che per tipo.

4. Significato e Contributi

Il paper rivendica i seguenti contributi:

1. Ambiente QUACK: Un ambiente di deduzione sociale multimodale open-source con osservabilità parziale e registri completamente riproducibili, che permette la ricostruzione di traiettorie di verità fondamentale per gli agenti.
2. Valutazione a Tre Livelli: Un framework che va oltre i tassi di vittoria per misurare le traiettorie comportamentali e la coerenza a livello di enunciato, affrontando direttamente l'"ancoraggio" del linguaggio degli agenti.
3. Pipeline di Verifica delle Affermazioni: Un metodo per verificare automaticamente le affermazioni degli agenti contro stati del mondo ricostruiti, operazionalizzando quattro modi di fallimento qualitativi in quantità misurabili.
4. Evidenza Empirica di Fallimento: Dimostrazione che anche i VLM all'avanguardia mostrano fallimenti sistematici e diagnosticabili nell'ancoraggio in compiti di ragionamento sociale che sono invisibili alle metriche standard basate sul risultato.

Implicazioni più Ampie

Gli autori sostengono che l'ancoraggio è un asse distinto di capacità nei contesti linguistici multi-agente che non è catturato dal successo nel compito e richiede una misurazione diretta. Essi ipotizzano che i giochi di deduzione sociale servano come uno strumento unico per studiare la generazione ancorata perché combinano forti incentivi per affermazioni verificabili (e bugie) con uno stato del mondo completamente recuperabile – una combinazione rara nei compiti linguistici aperti.

Il lavoro è inquadrato come diagnostico, mirando a esporre quando gli agenti fanno affermazioni non ancorate per facilitare il rilevamento e la mitigazione, piuttosto che per ottimizzare gli agenti all'inganno. Gli autori rilasciano il motore, il framework e i registri per supportare la riproduzione indipendente e il scrutinio dell'ancoraggio degli agenti.