Technische Samenvatting: Social Gym en SPARTAN

Probleemstelling

Large Language Model (LLM) agenten worden steeds vaker ingezet in multi-agent sociale omgevingen die samenwerking, onderhandeling en aanpassing vereisen. Het meten en verbeteren van deze sociale vaardigheden stuit echter op drie kritieke beperkingen in bestaande evaluaties:

1. Statische Benchmarks: Veel evaluaties vertrouwen op statische 'theory-of-mind'-vragenlijsten (bijv. FANToM, ToMi) die reproduceerbare scores produceren, maar falen in het testen van aanhoudend gedrag over meerdere beurten heen.
2. Subjectieve Beoordeling: Open-ended interactieve evaluaties (bijv. SOTOPIA) beoordelen vaardigheden over meerdere beurten, maar vertrouwen op 'LLM-as-judge' scoring, wat gevoelig is voor biases zoals positie, verbositeit en zelfversterking, waardoor resultaten ruisachtig en subjectief zijn.
3. Beperkte Omvang: Recente werken die gebruikmaken van verifieerbare beloningen richten zich vaak op geïsoleerde enkelvoudige spellen of domeinen, waardoor ze er niet in slagen de breedte van sociale intelligentie over verschillende interactiestructuren te vangen.

Er is een gat voor een evaluatiekader dat tegelijkertijd multi-turn is, een brede domeindekking heeft en verifieerbaar is (bepaald door interactieregels in plaats van subjectieve beoordeling). Bov�gens blijft het onduidelijk of LLM's hun sociale redeneercapaciteiten kunnen verbeteren zonder parameterupdates (wijzigingen in de gewichten).

Methodologie

Social Gym: Een Verifieerbare Benchmark

De auteurs introduceren Social Gym, een omgeving bestaande uit 21 multi-agent sociale spellen ontworpen om sociaal redeneren te testen over vijf categorieën:

1. Normal-Form Games (6): Iteratieve matrixspellen met volledige informatie en geen communicatie (bijv. Prisoner's Dilemma, Chicken).
2. Economic Games (3): Multi-round middelenallocatie die strategisch redeneren vereist (bijv. Public Goods, Centipede).
3. Bluffing Games (4): Games met een verborgen staat die misrepresentatie of inferentie vereisen (bijv. Liar's Dice, Coup).
4. Hidden-Role Deduction (6): Games met geheime roltoewijzingen die dialoog-gebaseerde identificatie van bondgenoten/vijanden vereisen (bijv. Werewolves, Resistance, Spyfall).
5. Social Strategy (2): Games met volledige informatie die rusten op alliantievorming en reputatie (bijv. Survivor).

Belangrijkste Architecturale Kenmerken:

• Verifieerbare Uitkomsten: Elk spel heeft een algoritmisch besliste uitkomst (winst/verlies/score), waardoor een LLM-beoordelaar overbodig is.
• Partiële Observabiliteit: Een zichtbaarheidslaag filtert berichten in Public, Team-Private of Private scopes, waardoor agenten gedwongen worden tot Theory-of-Mind redeneren.
• Unified Elo Tournament: Een Bradley-Terry maximum-likelihood fit genereert winrate-tabellen per spel en een cross-game leaderboard, wat een objectieve rangschikking van modellen over diverse sociale structuren mogelijk maakt.

SPARTAN: Training-Vrije Zelfverbetering

Om aan te pakken of LLM's kunnen verbeteren zonder gewichtsupdates, stellen de auteurs SPARTAN voor (Self-Play and Reflect-Transfer), een driefasige loop:

1. Play: Het model speelt $N$ self-play games van een specifiek spel $G$, waarbij trajecten worden gegenereerd.
2. Reflect: Het model analyseert zijn eigen trajecten en uitkomsten om een eerste-persoons, overdraagbaar strategisch handboek (playbook) te genereren (dekking van misleiding, detectie, overtuiging, etc.). Cruciaal is dat het handboek instructies krijgt om game-agnostisch te zijn (geen verwijzingen naar specifieke spelnummers).
3. Transfer: Het gegenereerde handboek wordt voorafgevoegd aan de system prompt van de agent voor daaropvolgende games.

Deze aanpak functioneert als "in-context fine-tuning", waarbij de "trainingsdata" de eigen gameplay van het model is en de "geleerde gewichten" natuurlijke taalregels zijn.

Belangrijkste Resultaten

Benchmarking Resultaten (Social Gym)

• Leaderboard Inversies: Hoewel GPT-5-mini bovenaan het algemene leaderboard staat (1110 Elo), blinkt geen enkel model uniform uit in alle games of rollen. Rangschikkingen keren scherp om; bijvoorbeeld staat Qwen3-32B op eerste plaats in het specifieke spel "Chicken" (1328 Elo) maar op laatste plaats in "Werewolves" (817 Elo) onder de zeven geëvalueerde modellen.
• Rol-Asymmetrie: In hidden-role games presteren modellen vaak anders op minderheids/misleidende rollen (Alt) versus meerderheids/coöperatieve rollen (Main). Over het algemeen is de minderheidsrol structureel makkelijker te winnen tegen een gemengde pool van tegenstanders, maar dit voordeel keert om bij matched-capability self-play voor sterkere modellen.
• Modelbeperkingen: Kleinere modellen (bijv. Qwen2.5-3B) vertonen een "parroting effect", waarbij ze vaak de vorige spreker parafraseren in plaats van onafhankelijke argumenten te genereren, wat bijdraagt aan een lagere prestatie.

SPARTAN Evaluatie Resultaten

De auteurs evalueerden SPARTAN over vier assen: binnen-game iteratie, cross-game transfer, multi-game transfer en cross-model distillatie.

1. Within-Game Iteration (GPT-5-mini):

   • Het injecteren van een playbook ($R_1$) verhoogt de winrate van de structureel zwakkere zijde (Alt) in asymmetrische games aanzienlijk (in Werewolves steeg de winrate van de Alt-rol van 23% naar 36%).
   • Omgekeerd ziet de structureel sterkere zijde (Main) vaak een daling in prestaties wanneer zij worden uitgerust met hetzelfde playbook.
   • De winst is niet-monotoon; het grootste deel van de verbetering vindt plaats bij $R_1$, waarbij opeenvolgende ronden ($R_2$–$R_4$) de winst herverdelen in plaats van accumuleren.

2. Cross-Game en Multigame Transfer:

   • Playbooks gegenereerd uit één game (bijv. Werewolves) transfereren effectief naar de zwakkere zijde van andere hidden-role games (bijv. Spyfall, Resistance), wat de winrates vaak met +7 tot +27 procentpunten verbetert.
   • Multigame playbooks (getraind op meerdere bronnen) presteren niet consistent beter dan single-game playbooks, wat suggereert dat een enkele gerelateerde trainingsgame voldoende signaal biedt voor transfer.

3. Cross-Model Distillatie:

   • Door GPT-5-mini gegenereerde playbooks distilleren succesvol naar zwakkere studentmodellen (bijv. Qwen3-4B, GPT-4o-mini), wat hun prestaties op structureel zwakkere rollen (bijv. Spies in Resistance) verhoogt met +13 tot +24 procentpunten.
   • Het effect is rol-afhankelijk, niet student-afhankelijk: het playbook helpt welk model ook de benadeelde rol speelt, ongeacht de basiscapaciteit van de student.

4. Capaciteitsafhankelijkheid (Qwen3-32B):

   • Wanneer toegepast op het open-source model Qwen3-32B, faalt SPARTAN grotendeels om de prestaties in complexe sociale deductiegames (Werewolves, Spyfall) te verbeteren.
   • De enige uitzondering is het Prisoner's Dilemma, waar het playbook een discrete actie voorschrijft (defecteren in de laatste ronde) die het model kan uitvoeren.
   • In discussie-zware games faalt Qwen3-32B om het "parroting"-gedrag te doorbreken; het reflectieproces codificeert het parroting vaak in het playbook in plaats van het te elimineren.

Betekenis en Claims

Het paper claimt twee primaire bijdragen:

1. Social Gym biedt een reproduceerbare, verifieerbare basis voor het meten van de sociale redeneercapaciteit van LLM's zonder afhankelijk te zijn van subjectieve LLM-beoordelaars. Het onthult dat sociale bekwaamheid geen enkele scalaire capaciteit is, maar sterk afhankelijk is van de interactiestructuur, de rol en de game-categorie.
2. SPARTAN demonstreert dat LLM's hun sociale prestaties kunnen verbeteren zonder parameterupdates door overdraagbare strategieën te extraheren uit self-play. Echter, deze verbetering is capaciteitsafhankelijk en structuurafhankelijk: het tilt effectief structureel zwakkere rollen in complexe games op voor high-capacity modellen, maar faalt voor modellen die niet over de redeneercapaciteit beschikken om langdurige sociale trajecten te verwerken of parroting-patronen te doorbreken.

De auteurs concluderen dat Social Gym en SPARTAN een framework bieden om de structurele eigenschappen van sociale settings te scheiden van modelspecifieke tekortkomingen (bijv. zwakke misleiding, slecht coalitie-tracking). Ze suggeren dat deze omgeving een natuurlijke testomgeving is voor toekomstig onderzoek naar Reinforcement Learning met Verifieerbare Beloningen (RLVR), wat het trainen van sociale redeneervaardigheden op schaal mogelijk maakt zonder LLM-beoordelaars.

Erkende Beperkingen:

• Externe Validiteit: Alle games hebben vaste regels en win/verlies-criteria, wat de real-world sociale interacties zoals langdurige vertrouwensopbouw mogelijk niet volledig vangt.
• Steekproefomvang: De resultaten zijn gebaseerd op ongeveer 30 games per conditie, wat leidt tot betrouwbaarheidsintervallen van ongeveer ±18 procentpunten.
• Geen Placebo-Controle: De studie mist een placebo-playbook controle om de effecten van de inhoud volledig te onderscheiden van generieke prompt-perturbaties, hoewel structurele patronen suggereren dat de effecten inhoud-gestuurd zijn.
• Reflectie-beperkingen: De reflectie is beperkt tot natuurlijke taalproza binnen de system prompt, zonder externe retrieval of gestructureerde redeneertools.