Riepilogo Tecnico: SCENE – Riconoscimento delle Norme Sociali e Sanzione nelle Chat di Gruppo

Enunciato del Problema

Le chat di gruppo online operano secondo pattern comportamentali impliciti (norme) che non sono esplicitamente dichiarati ma vengono fatti rispettare attraverso sanzioni sociali quando vengono violate. Sebbene gli agenti basati su Modelli Linguistici di Grandi Dimensioni (LLM) siano sempre più impiegati in contesti sociali, la loro capacità di inferire queste norme nascoste, riconoscere quando vengono sanzionate per averle violate e adattare di conseguenza il proprio comportamento rimane in gran parte inesplorata. I benchmark esistenti si concentrano spesso su interazioni diadiche con obiettivi espliciti (ad es. Sotopia) o su giudizi statici e una tantum (ad es. SocialIQa), non riuscendo a catturare la natura dinamica e multipartecipativa dell'inferenza delle norme nel mondo reale, dove gli agenti devono imparare dall'osservazione e dalla reazione piuttosto che da istruzioni esplicite.

Metodologia

Gli autori introducono SCENE, un benchmark progettato per valutare l'inferenza di norme implicite e l'adattamento comportamentale in ambienti di chat multipartecipativi.

1. Generazione degli Scenari e Tassonomia

SCENE genera scenari di chat di gruppo sintetici ma interazionalmente plausibili basati su una struttura a quintupla $\tau = (e, n, \ell, s, p)$:

• Evento ($e$): Il contesto della chat (ad es. risultati d'esame, segnalazione di bug, pianificazione di eventi).
• Norma ($n$): Una norma implicita nascosta che governa il comportamento (ad es. registro "umorismo oscuro" vs "supporto affiliativo"). Le norme sono organizzate in coppie opposte per verificare se i modelli si adattano al contesto locale o fanno affidamento su comportamenti predefiniti dell'assistente.
• Innesco ($\ell$): Il trigger che posiziona l'agente soggetto a intervenire (ad es. essere esplicitamente interpellati, un turno aperto).
• Sanzione ($s$): La modalità di sanzione sociale utilizzata dal gruppo in caso di violazione (ad es. ignorare in silenzio, reazioni correttive, richiamo esplicito).
• Precedente ($p$): Se il soggetto osserva un ciclo precedente di violazione e sanzione prima di agire.

Il sistema filtra 21.952 quintuple valide da un prodotto cartesiano di 13 eventi, 14 norme, 7 inneschi, 6 modalità di sanzione e 2 stati di precedente.

2. Pipeline di Generazione in Due Fasi

Per garantire che l'agente soggetto non venga esposto alla norma prematuramente, la generazione avviene in due fasi utilizzando LLM:

1. Fase alla Norma Ignara: Genera l'impalcatura della chat (ambientazione, partecipanti, contesto) senza menzionare la norma.
2. Fase Consapevole della Norma: Compila i campi nascosti, inclusa la norma specifica, le istruzioni comportamentali per le personalità scriptate e gli script di sanzione.

3. Esecuzione e Agenti

• Agente Soggetto: Il modello in valutazione, inizializzato con un briefing in prima persona ma ignaro della valutazione o della norma nascosta.
• Personalità Scriptate: 3–4 agenti guidati da LLM che simulano il gruppo. Sono vincolati dalla norma nascosta e istruiti a sanzionare le violazioni utilizzando la specifica modalità assegnata.
• Orchestratore: Gestisce l'alternanza dei turni e le condizioni di terminazione.
• Spazio delle Azioni: Gli agenti possono inviare un messaggio, reagire con un'emoji o rimanere in silenzio. Questo spazio limitato focalizza la valutazione sulla forma interazionale piuttosto che sul contenuto fattuale.

4. Metriche di Valutazione

SCENE valuta tre capacità fondamentali utilizzando metriche comportamentali derivate dalla trascrizione della chat:

• Tasso di Riparazione: La frequenza con cui il soggetto esegue una "riparazione salvagente" (scuse, ritrattazione o cambio di registro) entro 1–3 turni dopo una sanzione.
• Adattamento (Dipendente dall'Evidenza): Misurato tramite il coefficiente di correlazione di Spearman $\rho$ tra il numero di dimostrazioni precedenti della norma ($X$) e il tasso di violazioni successive ($Y$). Una correlazione negativa indica che l'agente sta imparando dal comportamento osservato del gruppo.
• Conformità sotto Norme Opposte: Verifica se il modello può passare tra norme conflittuali (ad es. trattamento formale vs informale) o se ricade in uno stile fisso.

Viene eseguita un'Audit di Fedeltà a posteriori per garantire che le personalità scriptate abbiano aderito alla norma e abbiano erogato le sanzioni come previsto, filtrando gli episodi non validi.

Risultati Chiave

Gli autori hanno valutato sei modelli all'avanguardia e open-weight (Claude Opus 4.7, Gemini 3.1 Pro, Qwen2.5-72B, Llama 3.3-70B, Mistral 3.1 e Gemma 2-27B) su 6.000 episodi.

1. Risposta alle Sanzioni: I modelli chiusi all'avanguardia hanno superato significativamente i modelli open-weight. Claude Opus 4.7 ha raggiunto un tasso di riparazione del 84,3%, mentre Gemini 3.1 Pro ha raggiunto il 79,7%. I modelli open-weight hanno mostrato un ritardo significativo (variante dal 57,6% al 71,9%). I richiami diretti hanno elicito tassi di riparazione più elevati rispetto alla presa in giro parodica.
2. Adattamento alle Norme: Solo i due modelli all'avanguardia hanno mostrato correlazioni negative di Spearman statisticamente significative ($\rho \approx -0,33$ e $-0,24$), indicando che hanno ridotto con successo le violazioni dopo aver osservato dimostrazioni precedenti. I modelli open-weight hanno mostrato correlazioni indistinguibili dallo zero, suggerendo una mancanza di adattamento dipendente dall'evidenza.
3. Pregiudizi Predefiniti: I modelli hanno esibito forti comportamenti predefiniti che hanno sovrascritto le norme locali. Ad esempio, tutti i modelli hanno violato le norme di trattamento formale significativamente più spesso di quelle informali, suggerendo un pregiudizio di classe verso registri informali.
4. Fedeltà: Le personalità scriptate hanno implementato con successo i test intesi nella stragrande maggioranza degli episodi, con solo il 2,1% degli episodi contenenti violazioni da parte delle personalità scriptate.

Significato e Affermazioni

Il documento posiziona SCENE come un passo necessario verso la valutazione dinamica e interazionale delle capacità sociali degli LLM, andando oltre i benchmark statici di Teoria della Mente (ToM) che testano il ragionamento in terza persona.

• Adattamento in Prima Persona: Gli autori sostengono che la vera intelligenza sociale negli agenti non consiste nel rispondere a domande sugli stati mentali, ma nell'adattare il comportamento in tempo reale basandosi sulle sanzioni osservate.
• Divario nelle Capacità: I risultati evidenziano un divario sostanziale tra i modelli chiusi all'avanguardia e i modelli open-weight nell'adattamento sociale, suggerendo che i modelli open-weight attuali faticano a inferire regole sociali implicite dalla sola interazione.
• Limitazioni: Gli autori riconoscono che SCENE testa una forma ristretta di adattamento sociale all'interno di episodi brevi, sintetici e basati solo sul testo. Non misura il giudizio morale generale, l'appartenenza a lungo termine a una comunità o la capacità di gestire norme sovrapposte e conflittuali presenti nei gruppi reali.
• Rischi: Il documento nota che un'inferenza delle norme migliorata potrebbe facilitare l'ingegneria sociale o permettere agli agenti di rispecchiare comportamenti tossici di gruppo se il registro locale lo premia, sottolineando la necessità di disclosure e controlli di deployment.

In sintesi, SCENE fornisce un ambiente controllato per misurare se gli LLM possono "leggere la stanza", riconoscere quando sono stati socialmente corretti e adattare di conseguenza il proprio comportamento, rivelando che, sebbene i modelli all'avanguardia stiano iniziando a padroneggiare questo aspetto, la capacità non è ancora universale nel settore.