💬 NLP

LoSoNA: A Benchmark for Local Social Norm Adaptation in Group Conversations

Dit artikel introduceert LoSoNA, een benchmark die is ontworpen om het vermogen van op LLM gebaseerde agenten te evalueren om impliciete lokale sociale normen in groepschats met meerdere deelnemers af te leiden en zich daaraan aan te passen, waarbij wordt onthuld dat hoewel expliciete prompting de prestaties voor topmodellen zoals Gemini 3.1 Pro en Claude Fable 5 verbetert, de meeste modellen nog steeds moeite hebben met deze taak onder naïeve prompting.

Oorspronkelijke auteurs: Mateusz Winiarek, Maksymilian Bilski, Mateusz Jacniacki

Gepubliceerd 2026-06-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mateusz Winiarek, Maksymilian Bilski, Mateusz Jacniacki

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe groep vrienden binnenloopt bij een koffiebar. Je kent hen niet, maar je hoort hen praten. Na een paar minuten merk je een patroon op: wanneer iemand slecht nieuws deelt, biedt de groep geen knuffels of woorden als "Wat erg voor je" aan. In plaats daarvan vragen ze onmiddellijk: "Wat is het plan om het op te lossen?" of "Heb je de handleiding al gecheckt?"

Als je zou inspringen en een warm, generiek "Wat vervelend om te horen" zou bieden, zou je je ongemakkelijk kunnen voelen omdat je de ongeschreven regel van de groep hebt gemist. Dit paper, LoSoNA, is een test om te zien of AI-chatbots deze verborgen regels kunnen ontdekken door simpelweg te luisteren, zonder dat ze expliciet zijn verteld wat de regels zijn.

Hier is een uitsplitsing van de belangrijkste punten van het paper met behulp van eenvoudige analogieën:

1. Het Probleem: Het "Ongeschreven Regelboek"

In het echte leven heeft elke groep zijn eigen "lokale sociale normen". Dit zijn de ongeschreven regels over hoe je handelt, spreedt en reageert.

De bewering van het paper: De meeste AI-modellen zijn als beleefde toeristen die altijd het "standaard" beleefde ding zeggen (zoals een generiek "Het spijt me"). Ze hebben moeite om te merken wanneer een specifieke groep een andere, verborgen regel heeft (zoals "geef alleen praktisch advies").
Het doel: De onderzoekers wilden zien of een AI als een lokale bewoner kon handelen in plaats van als een toerist. Kon de AI naar de geschiedenis van de groep luisteren, de verborgen regel ontdekken en de gedragingen aanpassen om erbij te passen?

2. De Test: Het "Mysteriefeestje"

De onderzoekers hebben een benchmark gecreëerd genaamd LoSoNA (Local Social Norm Adaptation). Zie het als een mysterieus feestspel voor AI.

De Opzet: De AI krijgt een transcript (een chatlog) van een groepsgesprek. De andere mensen in de chat volgen een geheime regel (bijv. "We gebruiken nooit emoji's" of "We antwoorden alleen met 'Ja' of 'Nee'").
De Valstrik: De AI wordt niet verteld wat de regel is. De AI ziet alleen de chat.
De Uitdaging: De chat eindigt met een vraag (de "elicitor"). De AI moet reageren.
- Als de AI een generiek, beleefd antwoord geeft, faalt hij (omdat hij de regel niet heeft opgemerkt).
- Als de AI een antwoord geeft dat overeenkomt met de vreemde, verborgen stijl van de groep, wint hij.

Analogie: Stel je voor dat je op een dinerfeest bent waar iedereen met de handen eet, maar niemand er een woord over zegt. Als je een vork pakt omdat je geleerd hebt wat "goed manieren" zijn, slaag je niet voor de test. Als je merkt dat iedereen met de handen eet en je hetzelfde doet, slaag je wel.

3. Het Experiment: Het Proberen van Verschillende "Hints"

De onderzoekers testten 8 verschillende AI-modellen (zoals GPT-5.5, Claude, Gemini, etc.) onder vier verschillende "instructie"-scenario's om te zien hoe ze presteerden:

Naïef: "Reageer gewoon op het laatste bericht." (Geen hints).
Alleen Elicitor: "Reageer alleen op het laatste bericht, negeer de rest."
Stijladaptatie: "Probeer de toon en stijl van de groep te matchen."
Norm-geïnformeerd: "Er is mogelijk een verborgen patroon of regel in deze chat. Probeer het te vinden en volg het op."

4. De Resultaten: Sommige AI's Haalden Het, Anderen Niet

De resultaten waren een mix van "goed gedaan" en "nog steeds aan het leren".

De Strijd: Wanneer ze geen hints kregen (Naïef), faalden de meeste AI-modellen jammerlijk. Ze bleven generieke, beleefde antwoorden geven die de verborgen regels van de groep braken. Het was alsof de AI een blinddoek droeg.
De Doorbraak: Wanneer de onderzoekers de "Norm-geïnformeerde" hint gaven (de AI vertelden om naar een patroon te zoeken), werden sommige modellen plotseling erg goed in dit werk.
- Gemini 3.1 Pro en Claude Fable 5 werden de "kampioenen"; ze sprongen van falen naar het goed hebben van ongeveer 80-84% van de antwoorden. Ze waren als studenten die, zodra ze te horen kregen "zoek naar het patroon", direct het puzzelstukje konden oplossen.
- Andere Modellen: Sommige modellen (zoals Mistral) werden zelfs slechter wanneer ze de hint kregen. Het is alsof de hint hen in de war bracht, waardoor ze te veel gingen nadenken en fouten maakten in antwoorden die ze standaard wel goed hadden gekregen.

5. Wat Dit Betekent (en Wat Het Niet Betekent)

Wat het bewijst: Het paper laat zien dat AI kan leren zich aan te passen aan lokale groepsgedragingen als je het de juiste duwt geeft. Het bewijst dat AI niet alleen een robot is die altijd hetzelfde beleefde ding zegt; het kan een "kameleon" zijn die zijn gedrag aanpast aan de menigte.
Wat het niet bewijst: Het paper is zeer voorzichtig in de opmerking dat dit een beperkte test is. Het betekent niet dat de AI "sociaal intelligent" is in de menselijke zin, of dat het diepe menselijke emoties begrijpt. Het betekent alleen dat de AI een patroon in een chatlog kan herkennen en dit kan kopiëren voor één enkele reactie.
De Beperking: De test gebruikt verzonnen chatscenario's, geen echte menselijke gesprekken. Ook kijelt de test slechts naar één enkele reactie, niet naar een langdurige vriendschap.

Samenvatting

LoSoNA is een rapportcijfer voor AI op het vermogen om "de kamer te lezen" (de sfeer te proeven).

Zonder hulp: De meeste AI's zijn ongevoelig voor de toon en houden vast aan hun standaard beleefde scripts.
Met een hint: De slimste AI's kunnen de geheime handdruk van de groep ontdekken en er perfect bij passen.
De kernboodschap: We komen dichter bij AI die kan opgaan in menselijke groepen, maar het heeft nog steeds een beetje begeleiding nodig om te stoen met een "robot-toerist" en te beginnen als een "local" te handelen.

Technische Samenvatting: LoSoNA – Een Benchmark voor Lokale Sociale Normadaptatie in Groepsgesprekken

1. Probleemdefinitie

Online groepschats opereren onder "lokale sociale normen"—impliciete, evoluerende gedragsregels die specifiek zijn voor een kleine groep en zelden expliciet worden benoemd. Hoewel Large Language Models (LLM's) steeds vaker worden ingezet in sociale contexten, blijft hun vermogen om deze onuitgesproken, contextspecifieke normen te herkennen en zich eraan aan te passen grotendeels onverkend.

Bestaande benchmarks schieten vaak tekort in het adresseren van deze specifieke capaciteit:

Dyadisch versus Multi-party: De meeste sociale benchmarks (bijv. Sotopia) richten zich op dyadische (tweepersoons) interacties met expliciete private doelen.
Expliciet versus Impliciet: Veel Theory of Mind (ToM) benchmarks vragen modellen om vragen te beantwoorden over mentale toestanden of om expliciete instructies op te volgen, in plaats van het model te vereisen een regel te infereren uit observatie en deze toe te passen in een enkele beurt.
Generiek versus Lokaal: Standaard assistentgedrag neigt vaak naar universele beleefdheid of generieke behulpzaamheid, wat de specifieke, gelokaliseerde normen van een groep kan schenden (bijv. een groep die de voorkeur geeft aan droge, diagnostische reacties boven emotionele steun).

De kernuitdaging is bepalen of een LLM-agent een verborgen lokale norm kan afleiden uit een gesprekstranscript en zijn single-turn respons kan aanpassen om aan die norm te voldoen, waarbij hij zichzelf onderscheidt van een generieke assistent.

2. Methodologie

De LoSoNA Benchmark

LoSoNA is een benchmark die is ontworpen om lokale sociale normadaptatie in multi-party chats te evalueren. Het bestaat uit drie hoofdonderdelen: een scenario-generatie taxonomie, een evaluatieprotocol en een scoresysteem.

Scenario Constructie:

Structuur: Elk scenario is een tuple $\tau = (e, n)$ , waarbij $e$ een eventtype is (bijv. reageren op exameresultaten, bugrapporten) en $n$ een impliciete lokale sociale norm (bijv. het vermijden van excuses, beknopte antwoorden, niet-affiliatieve steun).
Transcript: Het scenario voorziet een subject-agent van een multi-turn chattranscript tussen niet-subject deelnemers. Deze deelnemers demonstreren de verborgen norm door hun interacties.
Elicitor: Een laatste bericht (de "elicitor") wordt gegenereerd om een respons af te dwingen waarbij lokaal aangepast gedrag kan worden onderscheiden van generiek gedrag.
Controlemechanisme: Om te garanderen dat de taak inferentie vereist in plaats van standaardgedrag, gebruikten de auteurs een "no-demonstration" controle. Ze filterden scenario's uit waar een baseline-assistent (Gemini 3 Pro Preview) zonder de precedent te zien natuurlijk aan de norm zou voldoen. De uiteindelijke benchmarkset bevat alleen scenario's waar een generieke respons waarschijnlijk de norm zou schenden.
Synthetische aard: Scenario's zijn synthetisch maar ontworpen om interactioneel plausibel te zijn. De dataset bevat 38 door mensen gecureerde scenario's afkomstig uit 17 eventtypes en 22 normtypes.

Evaluatieprotocol:

Subject Modellen: Acht frontier en open-weight modellen werden geëvalueerd: OpenAI GPT-5.5, Claude Opus 4.8, Claude Fable 5, Gemini 3.1 Pro, Qwen2.5-72B-Instruct, Llama 3.3-70B-Instruct, Mistral Medium 3.1, en Gemma 3-27B-IT.
Prompting Condities: Modellen werden getest onder vier condities om het effect van expliciete instructie te meten:
1. Naive: Geen speciale instructies; het model fungeert als een groepslid.
2. Elicitor_only: Geïnstrueerd om alleen te reageren op het laatste bericht, waarbij eerdere beurten alleen als context worden gebruikt.
3. Style_adaptation: Subtiel geïnstrueerd om in de lokale context, toon en gewoonten te passen.
4. Norm_informed: Expliciet verteld dat een herhaald lokaal patroon of norm relevant kan zijn.
Beoordeling: Respons wordt gescoord door een vaste LLM-judge (Gemini 3.1 Pro Preview bij temperatuur 0). De judge ontvangt het transcript, de elicitor, de verborgen norm-label, en voorbeelden van compliant en breaching responsen. Het geeft een boolean compliance-label output.
Metriek: De primaire metriek is accuracy-at-3, gedefinieerd als de meerderheidsstem over drie gesamplede responsen per scenario en conditie.

3. Belangrijkste Resultaten

Baseline Prestaties:
Onder naive prompting blijkt de benchmark moeilijk. De meeste modellen scoorden onder de 37% accuracy-at-3.

Gemini 3.1 Pro: 36,8%
Claude Fable 5: 47,4% (hoogst in naive)
Laagste presteerders: Nabij de 21–24% (bijv. Mistral Medium 3.1, Gemma 3-27B).
Observatie: Naive prompting blijft beperkt; modellen hebben de neiging terug te vallen op generieke assistentgedragingen die vaak de lokale normen schenden.

Effect van Prompting:
Expliciet prompten voor normbewustzijn (norm_informed) leverde zeer variabele resultaten op tussen de modellen:

Significante Winsten:
- Gemini 3.1 Pro: Verbeterde met 47,4 procentpunten (bereikte 84,2%). Het herstelde 75% van de naive mislukkingen zonder regressies te introduceren.
- Claude Fable 5: Verbeterde met 34,2 procentpunten (bereikte 81,6%). Het herstelde 70% van de naive mislukkingen zonder regressies.
Matige Winsten:
- Claude Opus 4.8 en Gemma 3-27B verbeterden met ~10,5 punten.
- Llama 3.3-70B verbeterde met 7,9 punten.
Verwaarloosbare of Negatieve Winsten:
- GPT-5.5: Toonde weinig verandering.
- Qwen2.5-72B: Onveranderd.
- Mistral Medium 3.1: Daalde met 10,5 punten, waarbij het regressies introduceerde in 38% van de scenario's waar het voorheen slaagde.

Conclusie over Prompting: Expliciete norm-bewuste prompting is niet uniform voordelig. Het legt significante verschillen bloot in het vermogen van modellen om hints te gebruiken zonder compliant responsen te verstoren.

4. Belangrijkste Bijdragen

LoSoNA Benchmark: Een nieuw evaluatiekader dat specifiek gericht is op de inferentie en toepassing van impliciete lokale sociale normen in multi-party chats.
Differentiatie van Bestaand Werk: In tegen tegenstelling tot Sotopia (dyadisch, doelgericht) of SocialIQa (vignette-gebaseerde oordeelsvorming), vereist LoSoNA een single-turn respons vanuit het perspectief van een groepslid zonder expliciete doelinstructies, waarbij de focus ligt op gedragsadaptatie in plaats van doelvoltooiing of geloofredenering.
Empirisch Bewijs van Variabiliteit: De studie demonstreert dat hoewel sommige frontier modellen (Gemini 3.1 Pro, Claude Fable 5) effectief kunnen adapteren aan lokale normen wanneer ze geprompt worden, anderen worstelen of zelfs regressie vertonen, wat wijst op een gebrek aan robuustheid in sociale adaptatie over de huidige generatie LLM's.
Synthetische Data Curatie: Een methodologie voor het generen en cureren van synthetische scenario's die lokale normadaptatie isoleren van generiek assistentgedrag.

5. Betekenis en Beperkingen

Betekenis:
Het artikel stelt dat LoSoNA bijdraagt aan de oproep om de sociale capaciteiten van LLM's te evalueren door een specifieke, implementatie-relevante vaardigheid te testen: het infereren van lokale conversatienormen uit precedenten en het gebruiken daarvan in real-time interactie. Het gaat verder dan "Theory of Mind" als het beantwoorden van vragen over mentale toestanden, en focust in plaats daarvan op "functionele ToM"—het aanpassen van gedrag op basis van geïnfereerde sociale regels.

Beperkingen:

Omvang: De benchmark meet een nauwe capaciteit (single-turn adaptatie) en claimt geen algemene sociale intelligentie, moreel oordeel of langdurig groepslidmaatschap te meten.
Synthetische Data: Scenario's zijn synthetisch en Engelstalig. Real-world chats bevatten overlappende normen, media, edits en privéberichten, die hier geabstraheerd zijn.
Screening Bias: De "no-demonstration" screening gebruikte een Gemini 3 Pro Preview baseline. Bijgevolg moeten de resultaten voor Gemini-familie modellen met de wetenschap dat de dataset is gefilterd om scenario's uit te sluiten waarin een Gemini default assistent van nature zou slagen.
Judge Bias: Het gebruik van een LLM-judge (Gemini 3.1 Pro) introduceert potentieel model-familie bias, met name voor het Gemini subject model. Echter, menselijke audits (85% overeenstemming) en cross-judge validatie met Claude Opus 4.8 suggereren dat de belangrijkste kwalitatieve patronen standhouden.
Schaal: De geaccepteerde set bevat slechts 38 scenario's, waardoor per-norm en per-event breakdowns eerder diagnostisch dan statistisch robuust zijn.

Brede Impact:
De auteurs merken op dat verbeterde norminferentie ervoor kan zorgen dat AI-agenten geloofwaardiger kunnen passeren als menselijke deelnemers, wat potentieel sociale engineering of adaptatie aan schadelijke lokale normen kan faciliteren. Dit onderstreept de noodzaak voor openbaarmaking en implementatiecontroles naarmate groepschat-agenten meer capabel worden.