Social Gym and SPaRTan: Benchmarking and Improving LLM Social Reasoning via Multi-Agent Game Tournaments

Riepilogo Tecnico: Social Gym e SPARTAN

Problematica

Gli agenti basati su Large Language Model (LLM) sono sempre più impiegati in contesti sociali multi-agente che richiedono cooperazione, negoziazione e adattamento. Tuttavia, la misurazione e il miglioramento di queste abilità sociali affrontano tre criticità fondamentali nelle valutazioni esistenti:

1. Benchmark Statici: Molte valutazioni si affidano a questionari statici sulla teoria della mente (es. FANToM, ToMi) che producono punteggi riproducibili ma non riescono a testare comportamenti sostenuti su più turni.
2. Giudizio Soggettivo: Le valutazioni interattive aperte (es. SOTOPIA) valutano le abilità multi-turno ma si affidano allo scoring tramite "LLM-as-judge", il quale è soggetto a bias di posizione, verbosità e auto-esaltazione, rendendo i risultati rumorosi e soggettivi.
3. Ambito Limitato: Lavori recenti che utilizzano ricompense verificabili mirano spesso a singoli giochi o domini isolati, fallendo nel catturare l'ampiezza dell'intelligenza sociale attraverso diverse strutture di interazione.

Esiste un vuoto per un framework di valutazione che sia simultaneamente multi-turno, ampio nella copertura dei domini e verificabile (determinato dalle regole di interazione piuttosto che dal giudizio soggettivo). Inoltre, rimane da chiarire se gli LLM possano migliorare le proprie capacità di ragionamento sociale senza aggiornamenti dei parametri (cambiamenti dei pesi).

Metodologia

Social Gym: Un Benchmark Verificabile

Gli autori introducono Social Gym, un ambiente composto da 21 giochi sociali multi-agente progettati per testare il ragionamento sociale attraverso cinque categorie:

1. Giochi in Forma Normale (6): Giochi a matrice iterata con informazione completa e assenza di comunicazione (es. Dilemma del Prigioniero, Pollo).
2. Giochi Economici (3): Allocazione di risorse su più round che richiede ragionamento strategico (es. Bene Comune, Centopiede).
3. Giochi di Bluff (4): Giochi con stato nascosto che richiedono rappresentazione errata o inferenza (es. Liar's Dice, Coup).
4. Deduzione di Ruolo Nascosto (6): Giochi con assegnazione di ruoli segreti che richiedono un dialogo per l'identificazione di alleati/nemici (es. Werewolves, Resistance, Spyfall).
5. Strategia Sociale (2): Giochi a informazione completa che si basano sulla formazione di alleanze e reputazione (es. Survivor).

Caratteristiche Architetturali Chiave:

• Esiti Verificabili: Ogni gioco ha un esito deciso algoritmicamente (vittoria/sconfitta/punteggio), eliminando la necessità di giudici LLM.
• Osservabilità Parziale: Un livello di visibilità filtra i messaggi in scope Pubblico, Privato del Team o Privato, costringendo gli agenti a eseguire il ragionamento della Teoria della Mente.
• Torneo Elo Unificato: Un fit di massima verosimiglianza di Bradley-Terry genera tabelle di win-rate per singolo gioco e una classifica trasversale, permettendo un ranking oggettivo dei modelli attraverso diverse strutture sociali.

SPARTAN: Miglioramento di Sé Senza Training

Per affrontare la questione se gli LLM possano migliorare senza aggiornamenti dei pesi, gli autori propongono SPARTAN (Self-Play and Reflect-Transfer), un ciclo in tre fasi:

1. Play (Gioco): Il modello gioca $N$ partite di self-play di un gioco specifico $G$, generando traiettorie.
2. Reflect (Riflessione): Il modello analizza le proprie traiettorie e gli esiti per generare un manuale strategico (playbook) in prima persona e trasferibile (coprendo inganno, rilevamento, persuasione, ecc.). Fondamentalmente, il playbook è istruito per essere agnostico rispetto al gioco (senza riferimenti a numeri di giochi specifici).
3. Transfer (Trasferimento): Il playbook generato viene preposto al system prompt dell'agente per i giochi successivi.

Questo approccio funziona come un "in-context fine-tuning" dove i "dati di training" sono il gameplay del modello stesso e i "pesi appresi" sono regole in linguaggio naturale.

Risultati Chiave

Risultati di Benchmarking (Social Gym)

• Inversioni della Classifica: Sebbene GPT-5-mini domini la classifica generale (1110 Elo), nessun modello eccelle uniformemente in tutti i giochi o ruoli. I ranking invertono bruscamente; ad esempio, Qwen3-32B si posiziona primo nel gioco specifico "Chicken" (1328 Elo) ma ultimo in "Werewolves" (817 Elo) tra i sette modelli valutati.
• Asimmetria dei Ruoli: Nei giochi con ruolo nascosto, i modelli spesso si comportano diversamente nei ruoli di minoranza/inganno (Alt) rispetto ai ruoli di maggioranza/cooperazione (Main). In generale, il ruolo di minoranza è strutturalmente più facile da vincere contro un pool misto di avversari, ma questo vantaggio si inverte nel self-play a capacità corrispondente per i modelli più forti.
• Limitazioni dei Modelli: I modelli più piccoli (es. Qwen2.5-3B) mostrano un "effetto pappagallo", parafrasando frequentemente l'interlocutore precedente invece di generare argomentazioni indipendenti, contribuendo a prestazioni inferiori.

Valutazione di SPARTAN

Gli autori hanno valutato SPARTAN su quattro assi: iterazione entro il gioco, trasferimento tra giochi diversi, trasferimento multi-gioco e distillazione cross-modello.

1. Iterazione entro il Gioco (GPT-5-mini):

   • L'iniezione di un playbook ($R_1$) aumenta significativamente il tasso di vittoria della parte strutturalmente più debole (Alt) in giochi asimmetrici (es. in Werewolves il win rate di Alt è passato dal 23% al 36%).
   • Al contrario, la parte strutturalmente più forte (Main) vede spesso un declino delle prestazioni quando dotata dello stesso playbook.
   • I guadagni sono non monotoni; la maggior parte del miglioramento avviene a $R_1$, mentre i round successivi ($R_2$–$R_4$) ridistribuiscono piuttosto che accumulare i guadagni.

2. Trasferimento Cross-Game e Multi-Game:

   • I playbook generati da un gioco (es. Werewolves) si trasferiscono efficacemente alla parte più debole di altri giochi a ruolo nascosto (es. Spyfall, Resistance), migliorando spesso i win rate di +7 a +27 punti percentuali.
   • I playbook multi-gioco (addestrati su più fonti) non superano costantemente i playbook a gioco singolo, suggerendo che un singolo gioco di addestramento correlato fornisce un segnale sufficiente per il trasferimento.

3. Distillazione Cross-Modello:

   • I playbook generati da GPT-5-mini riescono a distillarsi in modelli studenti più deboli (es. Qwen3-4B, GPT-4o-mini), aumentando le loro prestazioni nei ruoli strutturalmente più deboli (es. Spie in Resistance) di +13 a +24 punti percentuali.
   • L'effetto è dipendente dal ruolo, non dallo studente: il playbook aiuta il modello che gioca il ruolo svantaggiato, indipendentemente dalla capacità base dello studente.

4. Dipendenza dalla Capacità (Qwen3-32B):

   • Quando applicato all'open-weights Qwen3-32B, SPARTAN fallisce ampiamente nel migliorare le prestazioni in giochi di deduzione sociale complessi (Werewolves, Spyfall).
   • L'unica eccezione è il Dilemma del Prigioniero, dove il playbook prescrive un'azione discreta (tradire nell'ultimo round) che il modello può eseguire.
   • Nei giochi basati molto sul dialogo, Qwen3-32B non riesce a rompere il comportamento da pappagallo; il processo di riflessione spesso codifica il comportamento da pappagallo nel playbook invece di eliminarlo.

Significato e Rivendicazioni

Il paper rivendica due contributi primari:

1. Social Gym fornisce una base riproducibile e verificabile per misurare il ragionamento sociale degli LLM senza dipendere da giudici LLM soggettivi. Rivela che l'abilità sociale non è una singola capacità scalare ma dipende fortemente dalla struttura dell'interazione, dal ruolo e dalla categoria di gioco.
2. SPARTAN dimostra che gli LLM possono migliorare le prestazioni sociali senza aggiornamenti dei parametri estraendo strategie trasferibili dal self-play. Tuttavia, questo miglioramento è dipendente dalla capacità e dipendente dalla struttura: eleva efficacemente i ruoli strutturalmente più deboli in giochi complessi per modelli ad alta capacità, ma fallisce per i modelli che mancano della capacità di ragionamento necessaria per elaborare traiettorie sociali a lungo orizzonte o per rompere i pattern da pappagallo.

Gli autori concludono che Social Gym e SPARTAN offrono un framework per separare le proprietà strutturali dei contesti sociali dai fallimenti specifici del modello (es. debolezza nel bluff, scarsa tracciabilità delle coalizioni). Suggeriscono che questo ambiente sia un banco di prova naturale per la futura ricerca sul Reinforcement Learning con Ricompense Verificabili (RLVR), consentendo l'addestramento di abilità di ragionamento sociale su larga scala senza l'uso di giudici LLM.

Limitazioni Riconosciute:

• Validità Esterna: Tutti i giochi hanno regole fisse e criteri di vittoria/sconfitta, il che potrebbe non catturare pienamente le interazioni sociali del mondo reale come la costruzione della fiducia a lungo termine.
• Dimensione del Campione: I risultati si basano su circa 30 giochi per condizione, producendo intervalli di confidenza di circa ±18 punti percentuali.
• Assenza di Controllo Placebo: Lo studio manca di un controllo con "placebo-playbook" per separare completamente gli effetti del contenuto dalle perturbazioni generiche del prompt, sebbene i pattern strutturali suggeriscano che gli effetti siano guidati dal contenuto.
• Vincoli di Riflessione: La riflessione è limitata alla prosa in linguaggio naturale all'interno del system prompt, priva di strumenti di recupero esterno o di ragionamento strutturato.