BANGLASOCIALBENCH: A Benchmark for Evaluating Sociopragmatic and Cultural Alignment of LLMs in Bangladeshi Social Interaction

Probleemstelling

Grote Taalmodellen (LLMs) hebben indrukwekkende meertalige vlotheid bereikt, maar vlotheid garandeert niet dat taalgebruik sociaal en cultureel gepast is. Dit probleem is vooral acuut in hoge-context talen zoals het Bengaals (Bangla), waar communicatieve competentie afhankelijk is van de gevoeligheid voor sociale hiërarchie, relationele rollen en interactienormen die direct in de taal zijn gecodeerd.

Het Bengaals beschikt over een drieledig systeem van tweede-persoonsvoornaamwoorden (apni, tumi, tui) dat respect, intimiteit en sociale afstand encodeert. Foutieve keuze kan, ondanks grammaticale correctheid, als grof of sociaal beledigend worden ervaren. Bestaande evaluaties focussen vaak op feitelijke kennis (feitenoverdracht) of vertaalde prompts, waardoor ze falen om te testen of modellen dynamisch kunnen redeneren over sociale rollen en contextuele nuances in echte interacties. Er is een gebrek aan benchmarks die "cultuurdik" (culturally thick) zijn, waarbij cultuur wordt gezien als een dynamisch proces in sociale interactie in plaats van statische kennis.

Methodologie

De auteurs introduceren BANGLASOCIALBENCH, het eerste benchmark voor het evalueren van sociopragmatische competentie in het Bengaals.

1. Dataset Constructie:

• Omvang: 1.719 door mensen geschreven en geverifieerde instances.
• Domeinen: De benchmark bestaat uit drie domeinen:
  • Bengaalse Aanprijzingsvormen (Address Terms): Testt het gebruik van voornaamwoorden (apni/tumi/tui) en naamwoorden op basis van kinship (verwantschap) en sociale titels.
  • Kinship Redenering: Testt de redeneercapaciteit over complexe familierelaties (bijv. "de zoon van de broer van de moeder"), waarbij onderscheid wordt gemaakt tussen vaderlijke en moederszijde en religieuze contexten (Moslim vs. Hindoe).
  • Sociale Gewoontes: Testt de keuze van gepaste reacties in dagelijkse situaties (bijv. gastvrijheid, weigering, complimenten) gebaseerd op gedeelde culturele scripts.
• Ontwerp: Prompts zijn gebaseerd op het SPEAKING-model van Hymes (Setting, Participants, Ends, Key, etc.) om de sociopragmatische context expliciet te maken zonder directe lexische hints.
• Validatie: Alle items zijn geschreven door native sprekers uit Bangladesh, met een hoge inter-annotator overeenstemming (Cohen's κ = 0,82).

2. Evaluatie Protocol:

• Modellen: 12 hedendaagse LLMs werden getest (6 gesloten-bron zoals GPT-4o, Gemini, Claude; 6 open-weight zoals LLaMA, Gemma, Qwen).
• Setting: Zero-shot evaluatie (geen fine-tuning of in-context voorbeelden) uitsluitend in het Bengaals.
• Meting:
  • Voor voornaamwoorden: Een antwoord is correct als het overeenkomt met de primaire of secundaire (sociaal acceptabele) vorm.
  • Voor kinship en sociale gewoontes: Exacte match op meerkeuzevragen.

Belangrijkste Bijdragen

1. BANGLASOCIALBENCH: Een nieuw, cultureel verankerd benchmark dat sociopragmatische competentie evalueert via gesitueerd sociaal gedrag in plaats van statische kennis.
2. Systematische Foutanalyse: Het paper demonstreert dat sociopragmatische fouten in LLMs niet willekeurig zijn, maar systematisch en afhankelijk zijn van variabelen zoals leeftijdshierarchie en setting.
3. Ontdekking van Culturele Misalignering: Het onthult specifieke patronen van culturele misalignering, waaronder overmatig formalisme, probabilistische rigiditeit en het verwarren van kinship-terminologie over religieuze grenzen heen.

Resultaten

De evaluatie van de 12 modellen leverde de volgende inzichten op:

• Prestatieverschillen: Prestaties variëren sterk per domein. Kinship Redenering bleek het moeilijkst (bereik: 31,88% tot 92,46%), terwijl Sociale Gewoontes en Aanprijzingsvormen iets beter werden beheerst. Grotere modellen (zoals Gemini 2.5 Flash en Claude Sonnet 4) presteerden over het algemeen beter, maar zelfs de beste modellen vertoonden significante fouten.
• Systematische Over-Hoofdelijkheid (Over-politeness): De meeste modellen vertonen een asymmetrie in fouten: ze kiezen veel vaker voor de meest formele vorm (apni) dan nodig is, zelfs in informele contexten of bij ouderen die jongeren aanspreken. Onder-hoofdelijkheid (te informeel zijn) is zeldzaam. Dit suggereert een conservatieve strategie om veilig te spelen.
• Religieuze Misalignering: Modellen vertonen een sterke tendens om kinship-terminologie te verwarren tussen religieuze contexten. Bijvoorbeeld, in een expliciet of impliciet Hindoe-context kiezen ze vaak voor termen die geassocieerd worden met de Moslimcultuur (en vice versa, zij het minder vaak). Dit wijst op een gebrek aan nuance in het redeneren over culturele identiteit.
• Probabilistische Rigiditeit: Analyse van log-probabiliteiten toont aan dat modellen, zelfs bij sociopragmatisch ambiguïteit (waar twee antwoorden acceptabel zijn), bijna 100% van de waarschijnlijkheid toekennen aan één enkel antwoord. Ze falen in het modelleren van de variatie die door mensen wordt erkend.

Significantie

De studie benadrukt dat culturele competentie voor LLMs meer vereist dan alleen taalkundige vlotheid; het vereist een diep begrip van sociale hiërarchie en context.

• Beperkingen van Bestaande Evaluaties: Het paper toont aan dat benchmarks die zich richten op feitelijke kennis of vertaalde prompts, de echte uitdagingen van meertalige sociale interactie maskeren.
• Toekomstige Richting: Om deze gaten te dichten, is gerichte data-curatie en cultuurgewijde fine-tuning nodig. Modellen moeten leren om niet alleen "correct" te zijn, maar ook sociaal en cultureel gepast te reageren.
• Algemene Toepassing: Hoewel specifiek voor het Bengaals, biedt de methodologie (gebruik van sociopragmatische cues en culturele scripts) een blauwdruk voor het evalueren van andere hoge-context talen en culturen waar sociale hiërarchie linguïstisch gecodeerd is.

Kortom, BANGLASOCIALBENCH levert het eerste harde bewijs dat huidige LLMs systematisch falen in het navigeren door de complexe sociale en culturele nuances van het dagelijkse leven in Bangladesh, wat een belangrijke stap is voor de ontwikkeling van echt meertalige en cultureel bewuste AI.