💬 NLP

How do datasets, developers, and models affect biases in a low-resourced language?: The Case of the Bengali Language

Dit artikel toont empirisch aan dat sentimentanalysemodellen voor de low-resource Bengaalse taal aanhoudende gender-, religie- en nationaliteitsgebonden vertekeningen vertonen, ongeacht of ze zijn gebouwd op meertalige of eentalige architecturen, en benadrukt hoe de combinatie van diverse datasets en voorgeöefende modellen inconsistenties kan introduceren die epistemische onrechtvaardigheid in sociotechnische systemen verergeren.

Oorspronkelijke auteurs: Dipto Das, Shion Guha, Bryan Semaan

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dipto Das, Shion Guha, Bryan Semaan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren menselijke gevoelens te begrijpen (zoals geluk, verdriet of boosheid) door hem duizenden zinnen te tonen die in het Bengaals zijn geschreven. Je wilt dat de robot eerlijk is voor iedereen, ongeacht of ze man of vrouw zijn, Hindoe of moslim, of uit Bangladesh of India komen.

Dit artikel is als een "rapport" voor 38 verschillende versies van die robot. De onderzoekers vroegen zich af: Waar komt de onrechtvaardigheid van de robot vandaan? Komt het uit de boeken die hij las (de datasets), de leraar die hem onderwees (de ontwikkelaars), of het brein waarmee hij werd gebouwd (het vooraf getrainde model)?

Hier is de uiteenzetting van hun bevindingen met eenvoudige analogieën:

1. De Opzet: De Robot, De Bibliotheek en De Leraren

De Robots (Modellen): De onderzoekers begonnen met twee "basisbreinen". Het ene was een generalist (mBERT) die 104 talen kent maar geen expert is in een van hen. Het andere was een specialist (BanglaBERT) die alleen Bengaals kent en specifiek was getraind op Bengaalse boeken.
De Bibliotheken (Datasets): Ze vonden 19 verschillende verzamelingen van Bengaalse zinnen (datasets) op internet. Denk hierbij aan verschillende bibliotheken. Sommige bibliotheken waren gevuld met nieuws, sommige met sociale mediaberichten en sommige met romans.
De Leraren (Ontwikkelaars): Deze bibliotheken waren georganiseerd door verschillende mensen. De onderzoekers probeerden uit te vinden wie deze leraren waren (hun geslacht, religie en nationaliteit) om te zien of de persoonlijke vooroordelen van de leraren aan de robots werden doorgegeven.

2. Het Experiment: De "Smaaktest"

De onderzoekers gaven de robots een speciale "smaaktest". Ze voerden hen paren zinnen aan die precies hetzelfde betekenden, maar verschillende woorden gebruikten om identiteit aan te geven.

Voorbeeld: De ene zin gebruikte een woord voor "water" dat gebruikelijk is in India, en de andere gebruikte een woord voor "water" dat gebruikelijk is in Bangladesh.
Het Doel: Als de robot eerlijk is, zou hij beide zinnen dezelfde "gevoelsscore" moeten geven. Als hij aan de ene een hoge score geeft (positief) en aan de andere een lage score (negatief), is hij vooroordeelsvol.

3. De Resultaten: Wat Vonden Ze?

A. De Robots Hebben Vooroordelen (Het "Echo-kamer" Effect)
De studie vond dat de meeste robots onrechtvaardig waren.

Geslacht: 61% van de robots gaf zinnen over mannen de voorkeur boven zinnen over vrouwen. Slechts 24% gaf vrouwen de voorkeur.
Religie: 61% van de robots gaf moslim-identiteiten de voorkeur, terwijl 24% Hindoe-identiteiten de voorkeur gaf.
Nationaliteit: 50% van de robots gaf Bangladeshi-identiteiten de voorkeur, terwijl 26% Indiase identiteiten de voorkeur gaf.

B. De Leraren Maken Niet Uit (De "Geest in de Machine")
Je zou kunnen denken: "Als de leraar een man is, zal de robot seksistisch zijn." De onderzoekers onderzochten dit, maar ze vonden geen duidelijke link.

Hoewel de meeste makers van de datasets mannen, moslims en uit Bangladesh waren, kopieerden de robots niet zomaar hun specifieke vooroordelen.
De Conclusie: De vooroordelen kwamen niet van de specifieke persoon die de data typte. Het kwam voort uit de interactie tussen de data en het brein van de robot.

C. Het Brein Is Belangrijker Dan De Bibliotheek (De "Specialist versus Generalist")
Dit was de meest verrassende bevinding.

De Specialist Robot (BanglaBERT) was over het algemeen eerlijker en minder vooroordeelsvol dan de Generalist Robot (mBERT).
De Analogie: Stel je een generalist-robot voor als een toerist die probeert een cultuur te begrijpen door een paar reisbrochures in vele talen te lezen. Ze krijgen de basisbeginselen, maar missen de nuances. De specialist-robot is als een lokale die opgroeide met het spreken van de taal; zij begrijpen de subtiele culturele verschillen beter.
Echter, geen enkele bibliotheek was perfect. Zelfs de beste datasets hadden vooroordelen op sommige gebieden. Als een dataset eerlijk was wat betreft geslacht, kon hij onrechtvaardig zijn wat betreft religie.

4. Het Grote Plaatje: Het Is Een Kettingreactie

Het artikel stelt dat vooroordelen niet zomaar een "bug" in één stukje code zijn. Het is een kettingreactie.

Denk hierbij aan een estafettewedstrijd.
De eerste loper (het vooraf getrainde model) begint met enkele inherente vooroordelen.
De tweede loper (de dataset) voegt hun eigen smaak toe.
Wanneer ze de stok doorgeven (fine-tuning), is het eindresultaat een mengsel van beide.
Soms kan een "goede" dataset een "slecht" model repareren. Soms kan een "slechte" dataset een "goed" model verpesten.

5. Waarom Dit Belangrijk Is (De "Epistemische Onrechtvaardigheid")

De auteurs gebruiken een verfijnde term genaamd Epistemische Onrechtvaardigheid. In eenvoudige termen betekent dit dat de robot de stemmen van bepaalde mensen onterecht diskwalificeert.

Als een robot denkt dat een zin geschreven door een Bangladeshi persoon "negatief" is, alleen omdat ze een specifiek lokaal woord voor "water" gebruikten, zegt de robot: "Jouw manier van spreken is verkeerd of slecht."
Dit is onrechtvaardig omdat het de taal van één groep behandelt als de "standaard" en die van anderen als "onjuist", waardoor oude sociale verdeeldheid wordt versterkt.

Samenvatting

Het artikel concludeert dat we om vooroordelen in talen met beperkte middelen zoals het Bengaals te herstellen, niet alleen de mensen die de data maakten de schuld kunnen geven. We moeten kijken naar het hele systeem:

Gebruik niet alleen alles-in-één modellen: Gespecialiseerde modellen (zoals BanglaBERT) lijken lokale cultuur beter te hanteren dan algemene modellen.
Geen enkele dataset is perfect: Elke bibliotheek heeft enige vorm van vooroordeel, dus we moeten voorzichtig zijn met welke we kiezen.
De combinatie is cruciaal: De vooroordelen komen voort uit hoe het model en de data met elkaar mengen, niet alleen uit het een of het ander.

De onderzoekers roepen op tot meer "audits" (controles en tegenwichten) om ervoor te zorgen dat deze digitale tools de gemeenschappen die ze moeten dienen niet per ongeluk kwetsen.

Technische Samenvatting: Hoe Datasets, Ontwikkelaars en Modellen Bias Beïnvloeden in een Taal met Beperkte Hulpbronnen

Probleemstelling
Sociotechnische systemen, met name in Natural Language Processing (NLP), vertonen vaak identiteitsgebonden vooroordelen die specifieke sociale groepen marginaliseren. Hoewel algoritmische audits een standaardmethode zijn geworden voor het detecteren van deze vooroordelen, richt het bestaande onderzoek zich voornamelijk op westerse contexten en talen met veel hulpbronnen. Hierdoor blijven talen met beperkte hulpbronnen, zoals het Bengaals (gesproken door meer dan 260 miljoen mensen), onderbelicht. Bengaalse gemeenschappen staan voor complexe historische en koloniale krachten die gender, religieuze (Hindoe versus Moslim) en nationale (Bangladeshi versus Indiaas) identiteiten vormgeven. Deze identiteiten komen vaak zowel expliciet als impliciet tot uiting via taalkundige normen, zoals dialectvariaties (Bangal versus Ghoti) en woordkeuzes.

Het kernprobleem dat wordt aangepakt is de "dwaling van AI-functionaliteit", waarbij systemen worden verondersteld correct te functioneren op basis van benchmarkprestaties, waardoor wordt gemaskeerd hoe vooroordelen ontstaan uit de interactie van meerdere technische componenten. Specifiek ontbreekt er begrip over hoe de combinatie van voorgeöefende modellen, datasets voor fijnafstemming en de demografische achtergronden van datasetontwikkelaars gezamenlijk bias vormen in downstream sentimentanalyse (BSA)-modellen voor het Bengaals.

Methodologie
De auteurs voerden een uitgebreide algoritmische audit uit waarbij 38 fijnafgestemde sentimentanalyse-modellen betrokken waren. De methodologie verliep in vier belangrijke fasen:

Datasetidentificatie en enquête onder ontwikkelaars: De onderzoekers identificeerden 19 Bengaalse Sentimentanalyse (BSA)-datasets via Google Dataset Search. Ze namen contact op met de ontwikkelaars van deze datasets om demografische informatie (geslacht, religie, nationaliteit) te verzamelen via een online enquête; er werden reacties ontvangen van 12 datasets. Om anonimiteit te waarborgen, werden de datasets geanonimiseerd (D1–D19).
Modelselectie en fijnafstemming: Twee voorgeöefende taalmodellen werden geselecteerd: mBERT (een meertalig model getraind op 104 talen) en BanglaBERT (een model dat specifiek is voorgeöefend op Bengaalse corpora). Elke van de 19 BSA-datasets werd gebruikt om beide modellen fijn af te stemmen, wat resulteerde in 38 verschillende fijnafgestemde modellen.
Bias-evaluatie: De auteurs maakten gebruik van de Bengali Identity Bias Evaluation Dataset (BIBED), die zinsparen bevat die semantisch identiek zijn maar verschillen in identiteitsmarkeringen (geslacht, religie, nationaliteit), hetzij expliciet (directe vermeldingen) hetzij impliciet (taalkundige normen, dialecten, verwantschapsaanduidingen).
Statistische analyse: De audit maakte gebruik van statistische vergelijkingen om bias te evalueren:
- Nominale classificatie: De $\chi^2$ -toets werd gebruikt om de relatie te beoordelen tussen identiteitscategorieën en sentimentclassificatie (positief/negatief/neutraal).
- Sentimentscores: Gekoppelde t-toetsen of Wilcoxon-tekensomtoetsen werden gebruikt om de gemiddelde sentimentscores (0 tot 1) te vergelijken die aan verschillende identiteitsgroepen werden toegekend.
- Kwantificering: De Positive Classification Rate (PCR) werd berekend om demografische pariteit te meten en de Pairwise Comparison Metric (PCM) om het gemiddelde verschil in sentimentscores tussen identiteitsparen te kwantificeren.

Belangrijkste bijdragen

Empirische audit van NLP met beperkte hulpbronnen: Deze studie biedt een van de eerste systematische audits van Bengaalse sentimentanalyse, waarbij wordt voorbijgegaan aan ingezette tools om de oorsprong van vooroordelen te traceren over de hele pijplijn (datasets, ontwikkelaars, modellen).
Interactieanalyse: Het daagt de notie uit dat vooroordelen uitsluitend in modellen of datasets zitten, en toont aan hoe bias ontstaat uit de interactie tussen voorgeöefende architecturen en data voor fijnafstemming.
Demografie van ontwikkelaars versus modelbias: Het onderzoekt de correlatie tussen de demografische achtergronden van datasetontwikkelaars en modelbias, een dimensie die vaak wordt over het hoofd gezien in technische audits.
Methodologische vergelijking: Het artikel vergelijkt de effectiviteit van verschillende statistische toetsen en metrieken (nominale versus continue scores) bij het detecteren van subtiele vooroordelen in contexten met beperkte hulpbronnen.

Resultaten
De studie leverde verschillende significante bevindingen op met betrekking tot de verdeling en oorzaken van bias:

Verspreiding van bias: Een meerderheid van de 38 fijnafgestemde modellen vertoonde significante vooroordelen.
- Geslacht: 61% van de modellen kende hogere sentimentscores toe aan mannelijke identiteiten, terwijl 24% vrouwelijke identiteiten bevoordeelde.
- Religie: 61% van de modellen bevoordeelde Moslim-identiteiten (of bijbehorende taalkundige stijlen), terwijl 24% Hindoe-identiteiten bevoordeelde.
- Nationaliteit: 50% van de modellen bevoordeelde Bangladeshi-identiteiten, vergeleken met 26% dat Indiaase identiteiten bevoordeelde.
Demografie van ontwikkelaars: Hoewel de meeste datasetontwikkelaars zichzelf identificeerden als mannelijk, Moslim en Bangladeshi, toonden statistische toetsen (p-waarden > 0,05) geen significant verband aan tussen de demografische achtergronden van de ontwikkelaars en de richting van de bias in de resulterende modellen.
Interactie model-dataset:
- Taal-specifiek voordeel: BanglaBERT produceerde over het algemeen minder bevooroordeelde fijnafgestemde modellen in vergelijking met het meertalige mBERT, wat suggereert dat taal-specifieke vooringeschooling een mitigatievoordeel biedt.
- Dataset-instabiliteit: Geen enkele dataset was vrij van bias. Datasets die goed presteerden in één identiteitsdimensie vertoonden vaak aanzienlijke vooroordelen in andere.
- Contextuele verschuivingen: Dezelfde dataset kon bias in tegengestelde richtingen induceren, afhankelijk van het gebruikte basismodel (bijvoorbeeld: D1 induceerde vrouwelijke bias met mBERT maar mannelijke bias met BanglaBERT).
Metrische gevoeligheid: De studie vond dat het analyseren van continue sentimentscores aanzienlijk meer bevooroordeelde modellen identificeerde (bijvoorbeeld 85% voor geslacht) dan het analyseren van nominale sentimentcategorieën (24% voor geslacht), wat het belang benadrukt van het gebruik van numerieke metrieken voor rigoureuze audits.

Betekenis en claims
Het artikel claimt dat het bereiken van rechtvaardigheid in NLP-systemen complex is en niet kan worden opgelost door simpelweg een specifiek model of dataset te selecteren. In plaats daarvan is bias een product van de sociotechnische infrastructuur, waaronder het hergebruik van voorgeöefende modellen en de recombinatie van datasets.

De auteurs kaderen hun bevindingen door de lens van epistemische onrechtvaardigheid, en betogen dat taaltechnologieën systematisch het getuigenis van gemarginaliseerde groepen kunnen diskwalificeren door hen lagere sentimentscores toe te kennen of hun taalkundige normen verkeerd te interpreteren. Zij betogen dat, hoewel meertalige modellen (mBERT) generalisatie bieden, ze vaak de nadelen voor talen met beperkte hulpbronnen verergeren door onderscheidende dialecten en stijlen te vermengen.

De studie pleit voor het decoloniseren van NLP door erkenning te geven aan de ondervertegenwoordiging van diverse stemmen bij het creëren van datasets en te pleiten voor "achterwaartse uitlijning" – het beoordelen en reguleren van systemen om te voorkomen dat risico's op misuitlijning worden verergerd – in plaats van uitsluitend te vertrouwen op voorwaartse uitlijningstraining, wat vanwege schaarste aan data misschien niet haalbaar is. Tot slot benadrukken de auteurs de noodzaak van algoritmische audits in contexten met beperkte hulpbronnen om transparantie te bevorderen, waarde-misuitlijningen aan te pakken en meer inclusieve AI-regelgeving te stimuleren.