💬 NLP

LoSoNA: A Benchmark for Local Social Norm Adaptation in Group Conversations

Questo articolo introduce LoSoNA, un benchmark progettato per valutare la capacità degli agenti basati su LLM di inferire e adattarsi alle norme sociali locali implicite nelle chat di gruppo multiparte, rivelando che, sebbene il prompting esplicito migliori le prestazioni per i modelli di punta come Gemini 3.1 Pro e Claude Fable 5, la maggior parte dei modelli fatica ancora in questo compito sotto un prompting ingenuo.

Autori originali: Mateusz Winiarek, Maksymilian Bilski, Mateusz Jacniacki

Pubblicato 2026-06-15

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Mateusz Winiarek, Maksymilian Bilski, Mateusz Jacniacki

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di entrare in un nuovo gruppo di amici in un caffè. Non li conosci, ma senti parlare. Dopo qualche minuto, noti uno schema: ogni volta che qualcuno condivide una brutta notizia, il gruppo non offre abbracci o un "mi dispiace tanto". Invece, chiedono immediatamente: "Qual è il piano per risolvere la situazione?" o "Hai controllato il manuale?".

Se intervenissi offrendo un caloroso e generico "Mi dispiace molto per quello che è successo", potresti sentirti a disagio perché hai mancato la regola non scritta del gruppo. Questo articolo, LoSoNA, è un test per vedere se i chatbot AI riescono a intuire queste regole nascoste semplicemente ascoltando, senza che gli vengano spiegate.

Ecco una scomposizione dei punti chiave dell'articolo utilizzando analogie semplici:

1. Il Problema: Il "Libro delle Regole Non Scritte"

Nella vita reale, ogni gruppo ha le proprie "norme sociali locali". Queste sono le regole non scritte su come comportarsi, parlare e reagire.

L'affermazione dell'articolo: La maggior parte dei modelli AI sono come turisti educati che dicono sempre la cosa "standard" e cortese (come un generico "mi dispiace"). Faticano a notare quando un gruppo specifico ha una regola diversa e nascosta (come "offrire solo consigli pratici").
L'obiettivo: I ricercatori volevano vedere se un'IA potesse agire come un locale invece che come un turista. L'IA sarebbe stata in grado di ascoltare la cronologia del gruppo, capire la regola nascosta e cambiare il proprio comportamento per adattarsi?

2. Il Test: La "Festa Misteriosa"

I ricercatori hanno creato un benchmark chiamato LoSoNA (Local Social Norm Adaptation). Pensatelo come un gioco di festa a mistero per l'IA.

L'impostazione: All'IA viene fornita una trascrizione (un registro di chat). Le altre persone nella chat seguono una regola segreta (ad esempio, "Non usiamo mai emoji" o "Rispondiamo solo con 'Sì' o 'No'").
La trappola: All'IA non viene detta la regola. Vede solo la chat.
La sfida: La chat termina con una domanda (l'elicitaore). L'IA deve rispondere.
- Se l'IA dà una risposta generica e cortese, fallisce (perché non ha notato la regola).
- Se l'IA dà una risposta che corrisponde allo stile strano del gruppo, vince.

Analogia: Immagina di essere a una cena dove tutti mangiano con le mani, ma nessuno dice una parola al riguardo. Se tiri fuori una forchetta perché ti è stato insegnato il "buon modo", fallisci il test. Se noti che tutti usano le mani e fai lo stesso, superi il test.

3. L'Esperimento: Provare Diversi "Suggerimenti"

I ricercatori hanno testato 8 diversi modelli AI (come GPT-5.5, Claude, Gemini, ecc.) sotto quattro diversi scenari di "istruzione" per vedere come si comportavano:

Naive (Naïve): "Rispondi solo all'ultimo messaggio". (Nessun suggerimento).
Elicitor Only (Solo Elicitatore): "Rispondi solo all'ultimo messaggio, ignora il resto".
Style Adaptation (Adattamento dello Stile): "Cerca di abbinare il tono e lo stile del gruppo".
Norm Informed (Informato sulla Norma): "Potrebbe esserci un modello o una regola nascosta in questa chat. Cerca di trovarla e di seguirla".

4. I Risultati: Alcune AI ci sono riuscite, altre no

I risultati sono stati un misto di "ottimo lavoro" e "ancora in fase di apprendimento".

La difficoltà: Quando ricevevano nessun suggerimento (Naive), la maggior parte dei modelli AI falliva miseramente. Continuavano a dare risposte generiche e cortesi che rompevano le regole nascoste del gruppo. Era come se l'IA indossasse una benda sugli occhi.
La svolta: Quando i ricercatori hanno dato il suggerimento "Norm Informed" (dicendo all'IA di cercare un modello), alcuni modelli sono diventati improvvisamente molto bravi.
- Gemini 3.1 Pro e Claude Fable 5 sono diventati i "campioni", passando dal fallimento a dare circa l'80-84% delle risposte corrette. Erano come studenti che, una volta detto loro "cerca il modello", potevano risolvere istantaneamente l'enigma.
- Altri Modelli: Alcuni modelli (come Mistral) sono in realtà peggiorati quando ricevevano il suggerimento. È come se il suggerimento li avesse confusi, portandoli a pensare troppo e a sbagliare risposte che avrebbero dato correttamente per impostazione predefinita.

5. Cosa Significa (e Cosa Non Significa)

Cosa dimostra: L'articolo mostra che l'IA può imparare ad adattarsi ai comportamenti dei gruppi locali se le si dà la giusta spinta. Dimostra che l'IA non è solo un robot che dice sempre la stessa cosa cortese; può essere un "camaleonte" che cambia il proprio comportamento in base alla folla.
Cosa NON dimostra: L'articolo è molto attento a dire che questo è un test ristretto. Non significa che l'IA sia "socialmente intelligente" nel senso umano, o che comprenda le profonde emozioni umane. Significa solo che può individuare un modello in un registro di chat e copiarlo per una singola risposta.
Il Limite: Il test utilizza scenari di chat inventati, non conversazioni umane reali. Inoltre, il test considera solo una singola risposta, non una lunga amicizia.

Riassunto

LoSoNA è una pagella per l'IA sulla sua capacità di "leggere la stanza".

Senza aiuto: La maggior parte delle IA è sorda ai toni e si attiene ai propri script di cortesia predefiniti.
Con un suggerimento: Le IA più intelligenti possono capire il saluto segreto del gruppo e integrarsi perfettamente.
Il punto chiave: Ci stiamo avvicinando a un'IA che può fondersi con i gruppi umani, ma ha ancora bisogno di un po' di guida per smettere di essere un "turista robotico" e iniziare ad agire come un "locale".

Riassunto Tecnico: LoSoNA – Un Benchmark per l'Adattamento ai Norme Sociali Locali nelle Conversazioni di Gruppo

1. Definizione del Problema

Le chat di gruppo online operano sotto "norme sociali locali" — regole di condotta implicite ed evolutive, specifiche per un piccolo gruppo, che raramente vengono enunciate esplicitamente. Sebbene i Large Language Models (LLM) siano sempre più impiegati in contesti sociali, la loro capacità di riconoscere e adattarsi a queste norme non scritte e specifiche del contesto rimane ampiamente inesplorata.

I benchmark esistenti spesso non riescono ad affrontare questa specifica capacità:

Diadico vs. Multi-party: La maggior parte dei benchmark sociali (es. Sotopia) si concentra su interazioni diadiche (a due persone) con obiettivi privati espliciti.
Esplicito vs. Implicito: Molti benchmark sulla Teoria della Mente (ToM) chiedono ai modelli di rispondere a domande sugli stati mentali o di seguire istruzioni esplicite, piuttosto che richiedere al modello di inferire una regola dall'osservazione e applicarla in un singolo turno.
Generico vs. Locale: Il comportamento standard di un assistente spesso decade verso una cortesia universale o una generica disponibilità, il che può violare le norme specifiche e localizzate di un gruppo (ad esempio, un gruppo che preferisce risposte asciutte e diagnostiche rispetto al supporto emotivo).

La sfida centrale è determinare se un agente LLM possa inferire una norma sociale locale nascosta da una trascrizione di conversazione e adattare la propria risposta a turno singolo per conformarsi a tale norma, distinguendosi da un assistente generico.

2. Metodologia

Il Benchmark LoSoNA

LoSoNA è un benchmark progettato per valutare l'adattamento alle norme sociali locali in chat multi-party. Consiste in tre componenti principali: una tassonomia di generazione degli scenari, un protocollo di valutazione e un sistema di punteggio.

Costruzione degli Scenari:

Struttura: Ogni scenario è una tupla $\tau = (e, n)$ , dove $e$ è un tipo di evento (es. reagire ai risultati di un esame, segnalazioni di bug) e $n$ è una norma sociale locale implicita (es. evitamento delle scuse, risposte concise, supporto non affiliativo).
Trascrizione: Lo scenario fornisce a un agente soggetto una trascrizione di una chat multi-turno tra partecipanti non soggetti. Questi partecipanti dimostrano la norma nascosta attraverso le loro interazioni.
Elicitatore: Viene generato un messaggio finale (l'"elicitatore") per forzare una risposta in cui il comportamento localmente adattato possa essere distinto dal comportamento generico.
Meccanismo di Controllo: Per garantire che il compito richieda inferenza piuttosto che un comportamento predefinito, gli autori hanno utilizzato un controllo "senza dimostrazione". Hanno filtrato gli scenari in cui un assistente di base (Gemini 3 Pro Preview) avrebbe naturalmente rispettato la norma senza vedere il precedente. Il set finale del benchmark contiene solo scenari in cui una risposta generica porterebbe probabilmente a violare la norma.
Natura Sintetica: Gli scenari sono sintetici ma progettati per essere interazionale-plausibili. Il dataset contiene 38 scenari curati da esseri umani tratti da 17 tipi di eventi e 22 tipi di norme.

Protocollo di Valutazione:

Modelli Soggetto: Sono stati valutati otto modelli frontier e open-weight: OpenAI GPT-5.5, Claude Opus 4.8, Claude Fable 5, Gemini 3.1 Pro, Qwen2.5-72B-Instruct, Llama 3.3-70B-Instruct, Mistral Medium 3.1 e Gemma 3-27B-IT.
Condizioni di Prompting: I modelli sono stati testati in quattro condizioni per misurare l'effetto dell'istruzione esplicita:
1. Naive: Nessuna istruzione speciale; il modello agisce come membro del gruppo.
2. Elicitor_only: Istruito a rispondere solo all'ultimo messaggio, usando i turni precedenti solo come contesto.
3. Style_adaptation: Debilmente istruito per adattarsi al contesto locale, al tono e alle abitudini.
4. Norm_informed: Esplicitamente informato che un pattern locale ripetuto o una norma potrebbero essere rilevanti.
Giudizio: Le risposte sono valutate da un giudice LLM fisso (Gemini 3.1 Pro Preview con temperatura 0). Il giudice riceve la trascrizione, l'elicitore, l'etichetta della norma nascosta e gli esempi di risposte conformi e violanti. Restituisce un'etichetta di conformità booleana.
Metriche: La metrica primaria è l'accuracy-at-3, definita come il voto di maggioranza su tre risposte campionate per scenario e condizione.

3. Risultati Chiave

Prestazioni Baseline:
Sotto il prompting naive, il benchmark si rivela difficile. La maggior parte dei modelli ha ottenuto un punteggio inferiore al 37% di accuracy-at-3.

Gemini 3.1 Pro: 36,8%
Claude Fable 5: 47,4% (il più alto in modalità naive)
Prestazioni più basse: Vicino al 21–24% (es. Mistral Medium 3.1, Gemma 3-27B)
Osservazione: Il prompting naive rimane limitato; i modelli tendono a ricadere in comportamenti da assistente generico che spesso violano le norme locali.

Effetto del Prompting:
Il prompting esplicito per la consapevolezza della norma (norm_informed) ha prodotto risultati altamente variabili tra i modelli:

Guadagni Significativi:
- Gemini 3.1 Pro: È migliorato del 47,4% (raggiungendo l'84,2%). Ha recuperato il 75% dei suoi fallimenti nella modalità naive senza introdurre regressioni.
- Claude Fable 5: È migliorato del 34,2% (raggiungendo l'81,6%). Ha recuperato il 70% dei fallimenti nella modalità naive senza regressioni.
Guadagni Moderati:
- Claude Opus 4.8 e Gemma 3-27B sono migliorati di circa 10,5 punti.
- Llama 3.3-70B è migliorato di 7,9 punti.
Guadagni Trascurabili o Negativi:
- GPT-5.5: Non ha mostrato cambiamenti significativi.
- Qwen2.5-72B: Invariato.
- Mistral Medium 3.1: È sceso di 10,5 punti, introducendo regressioni nel 38% degli scenari in cui precedentemente aveva avuto successo.

Conclusione sul Prompting: Il prompting esplicito della consapevolezza della norma non è uniformemente benefico. Esso espone differenze significative nella capacità dei modelli di utilizzare gli indizi senza interrompere risposte altrimenti conformi.

4. Contributi Chiave

Benchmark LoSoNA: Un nuovo framework di valutazione che mira specificamente all'inferenza e all'applicazione di norme sociali locali implicite nelle chat di gruppo multi-party.
Differenziazione dal Lavoro Esistente: A differenza di Sotopia (diadico, orientato agli obiettivi) o SocialIQa (giudizio basato su vignette), LoSoNA richiede una risposta a turno singolo dalla prospettiva di un membro del gruppo senza istruzioni esplicite sugli obiettivi, concentrandosi sull'adattamento comportamentale piuttosto che sul completamento di obiettivi o sul ragionamento sulle credenze.
Evidenza Empirica di Variabilità: Lo studio dimostra che, mentre alcuni modelli frontier (Gemini 3.1 Pro, Claude Fable 5) possono adattarsi efficacemente alle norme locali quando istruiti, altri faticano o addirittura regrediscono, evidenziando una mancanza di robustezza nell'adattamento sociale tra l'attuale generazione di LLM.
Curatela di Dati Sintetici: Una metodologia per generare e curare scenari sintetici che isolano l'adattamento alle norme locali dal comportamento dell'assistente generico.

5. Significato e Limitazioni

Significato:
L'articolo sostiene che LoSoNA contribuisce alla richiesta di valutare le capacità sociali degli LLM testando una competenza specifica e rilevante per l'impiego: inferire le norme conversazionali locali dai precedenti e usarle in un'interazione in tempo reale. Si sposta oltre la "Teoria della Mente" intesa come risposta a domande sugli stati mentali, concentrandosi sulla "ToM funzionale": adattare il comportamento basandosi su regole sociali inferite.

Limitazioni:

Ambito: Il benchmark misura una capacità ristretta (adattamento a turno singolo) e non pretende di misurare l'intelligenza sociale generale, il giudizio morale o l'appartenenza a una comunità a lungo termine.
Dati Sintetici: Gli scenari sono sintetici e solo in lingua inglese. Le chat del mondo reale coinvolgono norme sovrapposte, media, modifiche e messaggi privati, che qui sono astratti.
Bias di Screening: Lo screening "senza dimostrazione" utilizzato come baseline era un Gemini 3 Pro Preview. Di conseguenza, i risultati per i modelli della famiglia Gemini dovrebbero essere interpretati con la consapevolezione che il dataset è stato filtrato per escludere scenari in cui un assistente di base Gemini avrebbe naturalmente avuto successo.
Bias del Giudice: L'uso di un giudice LLM (Gemini 3.1 Pro) introduce un potenziale bias della famiglia del modello, in particolare per il modello soggetto Gemini. Tuttavia, gli audit umani (85% di accordo) e la validazione incrociata con Claude Opus 4.8 suggeriscono che i principali pattern qualitativi siano validi.
Scala: Il set accettato contiene solo 38 scenari, rendendo le analisi per singola norma o evento diagnostiche piuttosto che statisticamente robuste.

Impatti Più Ampi:
Gli autori osservano che un migliore inferimento delle norme potrebbe permettere agli agenti IA di passare in modo più convincente come partecipanti umani, facilitando potenzialmente l'ingegneria sociale o l'adattamento a norme locali dannose. Ciò sottolinea la necessità di controlli di disclosure e di deployment man mano che gli agenti di chat di gruppo diventano più capaci.