AmchiBias: Measuring Stereotypical Bias in Goan Identity Groups with a Minimal Pair Dataset in English and Konkani

Technische Samenvatting: AmchiBias

Probleemstelling
Sociaal-culturele stereotiepe bias in Natural Language Processing (NLP) wordt voornamelijk geëvalueerd op nationaal niveau, waarbij de rijke subnationale sociaal-culturele structuren vaak over het hoofd worden gezien. Bestaande benchmarks, die grotendeels Euro-Amerikaans of pan-Indiaans zijn (bijv. dekkend voor Hindi en Engels), falen erin de hyperlokale identiteiten en de unieke historische contexten van specifieke regio's te vatten. Goa, India, vormt een kritieke casestudy: de samenleving is gestratificeerd door kruisende dimensies van kaste, religie, taal en herkomst, gevormd door 450 jaar Portugese koloniale overheersing. Deze geschiedenis heeft geleid tot onderscheidende stereotiepe associaties voor Goaanse identiteitsgroepen die niet overeenkomen met bredere pan-Indische categorieën. Bovendien lijdt de Konkani-taal, ondanks dat het de officiële taal van Goa is, onder ernstige schaarste aan middelen door koloniale onderdrukking en post-onafhankelijkheid linguïstische druk, waardoor het zonder toegewijde bronnen voor bias-evaluatie is achtergebleven.

Methodologie
De auteurs introduceren AmchiBias, de eerste benchmark-dataset ontworpen om de sociaal-culturele stereotiepe bias voor Goaanse identiteitsgroepen te meten. De constructie van de dataset volgt een rigoureuze pijplijn:

• Datasetcompositie: AmchiBias bestaat uit 313 minimale zinnenparen over acht sociaal-culturele dimensies: Kaste, Taal, Beroep, Religie, Herkomst, Regio, Leeftijd en Geslacht. Het dekt 37 verschillende identiteitsgroepen, gecategoriseerd in "hyperlokale Goaanse groepen" (bijv. Tarvottis, Mundkars, Gulfies) en "pan-Indisch herkenbare groepen" (bijv. Katholieken, Hindoes, Kshatriya's).
• Bilinguale Parallelliteit: De dataset is beschikbaar in zowel Engels (Romeins schrift) als Devanagari Konkani. Zinnen werden met behulp van LLM gegenereerd in het Engels, gevalideerd door inheemse Goaanse annotatoren voor culturele authenticiteit, en vervolgens vertaald naar het Konkani met beoordeling door moedertaalsprekers.
• Minimal Pair Design: Volgens de CrowS-Pairs methodologie bestaat elk tuple uit een stereotiepe zin en een tegen-stereotiepe zin waarbij alleen de identiteitsmarkerende tokens verschillen.
• Aanpak van Specifieke Uitdagingen: De auteurs implementeerden specifieke controles voor het "beroepsidentiteit-koppelingprobleem", waarbij beroepstermen in de Goanese cultuur onscheidbaar zijn van identiteit. Contextuele markers werden geneutraliseerd om ervoor te zorgen dat het bias-signaal de identiteit reflecteert in plaats van beroepskennis.
• Evaluatiekader: Vijf meertalige encoder-modellen werden geëvalueerd: mBERT, XLM-RoBERTa, MuRIL, IndicBERT-v1 en IndicBERT-v2. De evaluatie maakte gebruik van de PLL-word-l2r metriek (een pseudo-log-likelihood score aangepast voor multi-token woorden) om het aandeel zinnenparen te meten waarbij het model de stereotiepe voltooiing verkiest. Daarnaast werd een Language Modeling Score (LMS) aangepast om onderscheid te maken tussen een gebrek aan bias en een gebrek aan taalcompetentie.

Belangrijkste Resultaten
De evaluatie leverde onderscheidende bevindingen op met betrekking tot de prestaties van modellen in het Engels versus het Konkani:

1. Taalverschil: In het Engels vertoonden alle vijf de modellen systematische stereotiepe associaties met Goaanse identiteitsgroepen, met bias-scores variërend van 50,2% tot 62,3%. In contrast hiermee scoorden modellen die in het Konkani werden bevraagd nabij toeval (49,2%–53,4%), wat geen consistente voorkeur voor stereotiepe inhoud toonde.
2. Taalcompetentie versus Culturele Kennis: De Language Modeling Score (LMS) onthulde dat de near-chance bias-scores in het Konkani niet te wijten waren aan een afwezigheid van bias, maar aan een gebrek aan taalbegrip. Algemene meertalige modellen (mBERT, XLM-RoBERTa) vertoonden een lage LMS in het Konkani, wat duidt op taal-incompetentie. Echter, India-specifieke modellen (IndicBERT-v2), die Konkani in hun pretraining-data hebben, behaalden een hoge LMS (91,4%) maar vertoonden nog steeds near-chance bias-scores (49,2%). Deze dissociatie suggereert dat hoewel deze modellen de taal begrijpen, ze niet beschikken over de specifieke Goaanse culturele kennis die in hun pretraining-data is gecodeerd.
3. Hyperlokaal versus Pan-Indiaans Bias: In het Engels vertoonden modellen met een sterke Indiase taaldekking (MuRIL, IndicBERT-v2) significant hogere bias-scores voor pan-Indisch herkenbare groepen vergeleken met hyperlokale Goanese groepen. Dit geeft aan dat het Engelse bias-signaal pan-Indische pretraining-associaties reflecteert in plaats van werkelijke, granulaire Goanese culturele kennis.
4. Tokenisatie-effecten: Hoewel tokenisatie-fragmentatie negatief correleerde met bias-scores in het Engels, hield deze relatie niet stand in het Konkani. Het falen om bias te detecteren in het Konkani wordt toegeschreven aan de afwezigheid van culturele kennis in de pretraining-data in plaats van de kwaliteit van de tokenisatie.

Betekenis en Bijdragen
Het artikel levert drie primaire bijdrages:

1. AmchiBias Dataset: Het biedt de eerste bilinguale benchmark voor het meten van stereotypen in Goanese identiteitsgroepen over acht sociaal-culturele dimensies, waarmee een kritiek gat in de evaluatie van low-resource meertalige NLP wordt gedicht.
2. Empirisch Bewijs van Culturele Gaten: De studie toont aan dat zelfs modellen getraind op Indiase talen niet beschikken over echte Goanese culturele competentie, maar in plaats daarvan vertrouwen op pan-Indische associaties wanneer ze in het Engels worden bevraagd.
3. Methodologische Inzicht: Door taalcompetentie te ontkoppelen van bias-detecteerbaarheid met behulp van LMS, tonen de auteurs aan dat near-chance bias-scores in low-resource talen kunnen voortkomen uit een gebrek aan culturele verankering in de pretraining-data, en niet alleen uit linguïstische onbekwaamheid.

De auteurs concluderen dat hun bevindingen benadrukken dat er een kritieke behoefte is aan regionale, cultuurspecifieke en postkoloniale perspectieven in de NLP-bias-evaluatie, met name voor low-resource talen waar hyperlokale gemeenschapsidentiteiten momenteel onderbelicht blijven. Ze merken expliciet op dat hun werk niet generaliseert naar autoregressieve generatieve modellen, aangezien hun evaluatiekader rust op encoder-only architecturen.