Technische Samenvatting: SCENE – Herkennen van Sociale Normen en Sancties in Groepschats

Probleemstelling

Online groepschats functioneren op impliciete gedragspatronen (normen) die niet expliciet worden vermeld, maar worden afgedwongen via sociale sancties wanneer ze worden geschonden. Hoewel Large Language Model (LLM)-agenten steeds vaker in sociale contexten worden ingezet, blijft hun vermogen om deze verborgen normen af te leiden, te herkennen wanneer ze worden gesanctioneerd voor overtreding, en hun gedrag dienovereenkomstig aan te passen, grotendeels onontgonnen terrein. Bestaande benchmarks richten zich vaak op dyadische interacties met expliciete doelen (bijv. Sotopia) of statische, eenmalige oordelen (bijv. SocialIQa), en slagen er niet in de dynamische, multi-partij aard van normafleiding in de echte wereld vast te leggen, waarbij agenten moeten leren van observatie en reactie in plaats van van expliciete instructie.

Methodologie

De auteurs introduceren SCENE, een benchmark ontworpen om impliciete normafleiding en gedragsadaptatie in multi-partij chatomgevingen te evalueren.

1. Scenario-Generatie en Taxonomie

SCENE genereert synthetische maar interactueel plausibele groepschatscenario's op basis van een vijf-tupel structuur $\tau = (e, n, \ell, s, p)$:

• Gebeurtenis ($e$): De context van de chat (bijv. examenuitslagen, bugrapporten, evenementenplanning).
• Norm ($n$): Een verborgen impliciete norm die gedrag regelt (bijv. "donkere humor-register" versus "affiliatieve ondersteuning"). Normen zijn georganiseerd in tegenstellende paren om te testen of modellen zich aanpassen aan de lokale context of vertrouwen op standaard assistent-gedrag.
• Elicitor ($\ell$): De trigger die het subject-agent in de positie plaatst om te handelen (bijv. expliciet worden aangesproken, een open vloer).
• Sanctie ($s$): De modus van sociale sanctie die door de groep wordt gebruikt bij een overtreding (bijv. stil negeren, corrigerende reacties, expliciete aanwijzing).
• Precedent ($p$): Of het subject een eerdere overtreding-en-sanctiecyclus observeert voordat het handelt.

Het systeem filtert 21.952 geldige tupels uit een Cartesisch product van 13 gebeurtenissen, 14 normen, 7 elicitors, 6 sanctiemodi en 2 precedentstaten.

2. Tweestaps Generatiepijplijn

Om ervoor te zorgen dat het subject-agent niet voortijdig wordt blootgesteld aan de norm, vindt generatie plaats in twee fasen met behulp van LLM's:

1. Norm-blinde Fase: Genereert het chatraamwerk (setting, deelnemers, context) zonder de norm te noemen.
2. Norm-bewuste Fase: Vult verborgen velden in, waaronder de specifieke norm, gedragsinstructies voor scriptgedreven persona's en sanctiescripts.

3. Runtime en Agenten

• Subject-agent: Het model dat wordt geëvalueerd, geïnitieerd met een briefing in de ik-vorm maar onwetend van de evaluatie of de verborgen norm.
• Scriptgedreven Persona's: 3–4 door LLM-aangedreven agenten die de groep simuleren. Ze worden beperkt door de verborgen norm en krijgen de instructie om overtredingen te sanctioneren met de toegewezen specifieke modus.
• Orchestrator: Beheert beurtwisseling en beëindigingsvoorwaarden.
• Actieruimte: Agenten kunnen een bericht sturen, reageren met een emoji, of stil blijven. Deze beperkte ruimte richt de evaluatie op interactievorm in plaats van feitelijke inhoud.

4. Evaluatiemetrics

SCENE evalueert drie kerncapaciteiten met behulp van gedragsmaten die zijn afgeleid van het chattranscript:

• Reparatiesnelheid: De frequentie waarmee het subject een "gezichtredende reparatie" uitvoert (excuses, intrekking of registerwissel) binnen 1–3 beurten na een sanctie.
• Adaptatie (evidence-afhankelijk): Gemeten via Spearman's $\rho$ tussen het aantal eerdere normdemonstraties ($X$) en de snelheid van daaropvolgende overtredingen ($Y$). Een negatieve correlatie geeft aan dat de agent leert van waargenomen groepsgedrag.
• Compliance onder Tegenstrijdige Normen: Test of het model kan schakelen tussen conflicterende normen (bijv. formeel versus informeel aanspreken) of of het terugvalt op een vaste stijl.

Er wordt post-hoc een Fidelity Audit uitgevoerd om ervoor te zorgen dat scriptgedreven persona's de norm naleefden en sancties leverden zoals bedoeld, waarbij ongeldige episodes worden gefilterd.

Belangrijkste Resultaten

De auteurs evalueerden zes frontier- en open-weight modellen (Claude Opus 4.7, Gemini 3.1 Pro, Qwen2.5-72B, Llama 3.3-70B, Mistral 3.1 en Gemma 2-27B) over 6.000 episodes.

1. Responsiviteit op Sancties: Frontier closed modellen presteerden aanzienlijk beter dan open-weight modellen. Claude Opus 4.7 behaalde een reparatiesnelheid van 84,3% en Gemini 3.1 Pro behaalde 79,7%. Open-weight modellen bleven aanzienlijk achter (variërend van 57,6% tot 71,9%). Directe aanwijzingen leidden tot hogere reparatiesnelheden dan parodische spot.
2. Normadaptatie: Alleen de twee frontier-modellen vertoonden statistisch significante negatieve Spearman-correlaties ($\rho \approx -0,33$ en $-0,24$), wat aangeeft dat ze succesvol overtredingen verminderden na het observeren van eerdere demonstraties. Open-weight modellen vertoonden correlaties die niet te onderscheiden waren van nul, wat wijst op een gebrek aan evidence-afhankelijke adaptatie.
3. Standaardvoorkeuren: Modellen vertoonden sterke standaardgedragspatronen die lokale normen overroepen. Bijvoorbeeld, alle modellen schonden normen voor formeel aanspreken aanzienlijk vaker dan informele, wat wijst op een bias op klasseniveau naar informele registers.
4. Fideliteit: De scriptgedreven persona's slaagden er in de overgrote meerderheid van de episodes in om de beoogde tests te realiseren, waarbij slechts 2,1% van de episodes overtredingen door scriptgedreven persona's bevatte.

Betekenis en Claims

Het artikel positioneert SCENE als een noodzakelijke stap richting dynamische, interactieve evaluatie van sociale LLM-capaciteiten, verdergaand dan statische Theory of Mind (ToM)-benchmarks die redenering in de derde persoon testen.

• Adaptatie in de Ik-vorm: De auteurs betogen dat echte sociale intelligentie bij agenten niet gaat over het beantwoorden van vragen over mentale toestanden, maar over het aanpassen van gedrag in real-time op basis van waargenomen sancties.
• Kloof in Capaciteiten: De resultaten benadrukken een aanzienlijke kloof tussen frontier closed modellen en open-weight modellen in sociale adaptatie, wat suggereert dat huidige open-weight modellen moeite hebben impliciete sociale regels uitsluitend uit interactie af te leiden.
• Beperkingen: De auteurs erkennen dat SCENE een smalle vorm van sociale adaptatie test binnen korte, synthetische, alleen tekstuele episodes. Het meet geen algemeen moreel oordeel, langdurig gemeenschapslidmaatschap of het vermogen om conflicterende overlappende normen te hanteren die in echte groepen voorkomen.
• Risico's: Het artikel merkt op dat verbeterde normafleiding sociale manipulatie kan faciliteren of agenten in staat kan stellen giftig groepsgedrag na te bootsen als het lokale register dit beloont, met de nadruk op de noodzaak van openbaarmaking en beheersing van implementatie.

Kortom, SCENE biedt een gecontroleerde omgeving om te meten of LLM's de kamer kunnen "lezen", herkennen wanneer ze sociaal zijn gecorrigeerd, en hun gedrag dienovereenkomstig aanpassen, wat aantoont dat hoewel frontier-modellen beginnen dit onder de knie te krijgen, dit vermogen nog niet universeel is binnen het veld.