BANGLASOCIALBENCH: A Benchmark for Evaluating Sociopragmatic and Cultural Alignment of LLMs in Bangladeshi Social Interaction

1. Il Problema

I Large Language Models (LLM) hanno dimostrato una straordinaria fluidità multilingue, ma la semplice competenza grammaticale non garantisce un uso linguistico socialmente appropriato, specialmente nelle lingue ad alto contesto come il Bengalese (Bangla).
In queste culture, il significato è plasmato non solo da cosa viene detto, ma da come, a chi e in quale contesto viene detto. Il Bangla presenta sfide specifiche:

• Sistema Pronominale a Tre Livelli: L'uso di apni (formale/rispettoso), tumi (neutro/familiare) e tui (intimo/infantile) codifica direttamente gerarchia sociale, distanza relazionale e intimità.
• Terminologia Cinofila Complessa: I termini di parentela variano in base alla linea di discendenza (paterna vs materna) e al contesto religioso (Musulmano vs Hindu).
• Norme Sociali: Le interazioni quotidiane sono governate da script culturali che richiedono indizi pragmatici sottili (es. rifiuto indiretto, ospitalità insistente).

Le valutazioni esistenti si basano spesso su fatti culturali o domande dichiarative tradotte, fallendo nel testare la capacità dei modelli di inferire ruoli sociali e adattare dinamicamente le scelte linguistiche in scenari interattivi realistici.

2. Metodologia: BANGLASOCIALBENCH

Gli autori introducono BANGLASOCIALBENCH, il primo benchmark progettato per valutare la competenza sociopragmatica nel contesto bengalese, basato su 1.719 istanze scritte e verificate da madrelingua bengalesi.

Struttura del Dataset

Il benchmark copre tre domini principali:

1. Termini di Addressamento (Address Terms):
   • Pronomiale: Scelta tra apni/tumi/tui basata su età, genere, setting (famiglia, ufficio, ospedale) e tono.
   • Nominale: Uso di termini di parentela (es. mama, chacha) e titoli onorifici, con attenzione alle variazioni religiose (Musulmano/Hindu).
2. Ragionamento Cinofilo (Kinship Reasoning): Puzzle logici a più hop che richiedono di dedurre relazioni familiari complesse (es. "chi è il figlio della sorella di mio padre?"), testando la capacità di ragionamento strutturale sulla genealogia bengalese.
3. Usi Sociali (Social Customs): Scenari realistici che richiedono la selezione della risposta culturalmente appropriata tra opzioni grammaticalmente corrette ma pragmaticamente errate (es. come rifiutare cibo in modo educato, come gestire un'offerta ospitale).

Creazione e Validazione

• Framework Teorico: Le istanze sono costruite seguendo il modello SPEAKING di Hymes (Setting, Participants, End, Key, ecc.) per garantire che il contesto sociopragmatico sia esplicito.
• Processo di Annotazione: Sei annotatori nativi hanno creato le istanze da zero (evitando il leakage dai dati di training degli LLM).
• Controllo Qualità: Ogni istanza è stata annotata da due persone indipendenti. L'accordo inter-annotatore (Cohen's κ) è stato alto (0.82 globale), con procedure di adjudication per risolvere le discrepanze.
• Criteri di Valutazione: Per l'addressamento pronominale, sono accettate sia la risposta primaria che quella secondaria (se culturalmente accettabile), riflettendo la variabilità pragmatica.

3. Esperimenti e Risultati

Sono stati valutati 12 LLM moderni (6 closed-source e 6 open-weight) in modalità zero-shot, utilizzando prompt interamente in bengalese.

Performance Generale

• Le prestazioni variano significativamente per dominio e dimensione del modello. Il Ragionamento Cinofilo è il compito più difficile (accuratezza da 31,88% per LLaMA 3 8B a 92,46% per Gemini 2.5 Flash).
• Esiste una correlazione positiva tra la scala del modello e le prestazioni, ma anche i modelli più avanzati mostrano lacune sistemiche.

Pattern di Fallimento Sistematici

1. Eccessiva Formalità (Over-politeness): La maggior parte dei modelli tende a scegliere la forma più formale (apni) anche in contesti informali o di gerarchia discendente (es. un anziano che parla a un adolescente), fallendo nell'uso di tumi o tui. Gli errori di "sotto-cortesia" sono rari.
2. Conflazione Religiosa nei Termini Cinofili: I modelli mostrano un'asimmetria significativa nel sostituire termini di parentela tra contesti religiosi. Tendono a sostituire termini associati ai Musulmani con termini Hindu in contesti esplicitamente o implicitamente Hindu, ma meno frequentemente il contrario.
3. Rigidità Probabilistica: L'analisi delle log-probabilità rivela che i modelli assegnano una massa di probabilità quasi totale a una singola opzione anche in situazioni ambigue dove gli umani riconoscono due risposte valide (es. tumi e tui sono entrambi accettabili). Questo indica una mancanza di calibrazione nella variabilità sociopragmatica.
4. Fattori Contestuali: Gli errori sono concentrati nelle interazioni Elder→Younger e in setting informali, suggerendo che i modelli faticano a gestire le gerarchie sociali discendenti e l'intimità.

4. Contributi Chiave

1. Nuovo Benchmark: Introduzione di BANGLASOCIALBENCH, che sposta il focus dalla conoscenza fattuale statica al comportamento sociale situato.
2. Analisi delle Fallacie Sistemiche: Dimostrazione che i fallimenti sociopragmatici non sono casuali ma strutturati, guidati da variabili come età, setting e identità religiosa.
3. Identificazione di Bias Culturali: Evidenziazione di come i modelli tendano a strategie conservative ("safe defaults") e di come confondano le tradizioni religiose nella terminologia cinofila.
4. Framework Metodologico: Applicazione del modello SPEAKING di Hymes e degli script culturali (NSM) per la creazione di dati di valutazione culturalmente radicati.

5. Significato e Implicazioni

Questo lavoro evidenzia che la competenza culturale negli LLM non è un problema di "conoscenza" ma di ragionamento contestuale.

• Limiti Attuali: I modelli attuali, pur essendo fluenti, mancano di una vera comprensione delle dinamiche sociali umane, rischiando di produrre output grammaticalmente corretti ma socialmente offensivi o goffi.
• Direzioni Future: Per migliorare l'allineamento culturale, sarà necessario un curatela dei dati mirata e un fine-tuning basato su principi culturali, non solo su statistiche linguistiche.
• Rilevanza Globale: Il benchmark offre un modello per valutare altre lingue ad alto contesto e sistemi di onorifici complessi, sottolineando l'importanza di valutare le interazioni sociali reali piuttosto che la semplice capacità di recupero di fatti.

In sintesi, BANGLASOCIALBENCH dimostra che per un'interazione sociale autentica, gli LLM devono imparare a "leggere tra le righe" delle gerarchie sociali e delle norme culturali, una capacità che attualmente rimane un punto debole strutturale.