Investigating Bias in Bulgarian in the Context of Large Language Models

Technische Samenvatting: Onderzoek naar Bias in het Bulgaars in de Context van Large Language Models

Probleemstelling
Large Language Models (LLM's) reflecteren en versterken vaak sociale vooroordelen (bias) die aanwezig zijn in hun trainingsdata. Hoewel er aanzienlijk onderzoek bestaat voor hoog-resource talen zoals het Engels, is er een kritiek gat in methodologieën voor biasdetectie, datasets en lexicale bronnen voor laag-resource talen, specificaal het Bulgaars. Het artikel adresseert het gebrek aan een uniforme definitie van bias die zowel voor mensen als voor LLM's van toepassing is, de schaarste aan Bulgaars-specifieke bias-lexiconen, en de onzekerheid over de vraag of LLM's betrouwbaar kunnen afstemmen op menselijke oordelen over biasperceptie in cultureel specifieke contexten. De studie stelt drie kernvragen: Kan een operationele definitie van bias consistentie waarborgen voor zowel mensen als LLM's? Komen menselijke annotatoren overeen over de perceptie van bias? Stemmen LLM's af met menselijke oordelen, en zo niet, hoe en waarom wijken ze af?

Methodologie
De studie hanteert een meerfasige aanpak die de constructie van lexicale bronnen, datasetcreatie, handmatige annotatie en LLM-evaluatie combineert.

1. Constructie van de Lexicale Bron: Een "Bulgaars Bias-woordenboek" werd handmatig samengesteld en uitgebreid met behulp van de Bulgaarse WordNet en SentiWordNet. Het bevat 3.786 vermeldingen gecategoriseerd in vijf typen bias (Geslacht, Religie, Ras/Etniciteit, Fysieke Verschijning, Beperking) plus een algemene categorie. De vermeldingen omvatten bias-signaalwoorden en bias-markerende woorden, geannoteerd met attributen zoals woordsoort, bias-polariteit, register (bijv. denigrerend, colloquiaal) en evaluatieve kracht.
2. Datasetcreatie: Een dataset van 3.177 zinnen werd geëxtraheerd uit de Bulgaarse Wikipedia (artikelen en discussiepagina's) gedateerd op december 2025. De zinnen werden voorbewerkt (getokeniseerd, gelematiseerd) en initieel gescoord met behulp van een lexicon-gebaseerd algoritme. Dit algoritme berekent een score op zinsniveau op basis van de evaluatieve kracht, polariteit en nabijheid van bias-signaalwoorden en bias-markerende woorden binnen een venster van 10 tokens.
3. Handmatige Annotatie: Twee moedertaalsprekers van het Bulgaars hebben de zinnen handmatig geannoteerd op de aanwezigheid en intensiteit van bias op een ordinale schaal van 0 (geen bias) tot 5 (sterke bias) voor elk van de vijf typen bias en een "Overige" categorie. De Inter-Annotator Agreement (IAA) werd gemeten met behulp van gewogen Cohen's $\kappa$, Krippendorff's $\alpha$ en de Intraclass Correlation Coefficient (ICC).
4. LLM-Evaluatie: Drie LLM's werden geëvalueerd tegenover de menselijke annotaties:
   • Gemma 4: Een meertalig instructie-getuned model met Bulgaars in de pre-training corpus.
   • BgGPT-Gemma-3: Een aan het Bulgaars aangepast model (12B parameters) gebaseerd op Gemma 3, getest met prompts in zowel het Engels als het Bulgaars.
   • Qwen 3: Een meertalig model (8B parameters) met Slavische taaldekking maar zonder expliciete Bulgaarse fine-tuning.
     De modellen kregen de taak om bias te detecteren en intensiteitsscores toe te wijzen. De overeenstemming tussen mensen en LLM's werd geëvalueerd met dezelfde metrieken als de mens-mens overeenstemming.

Belangrijkste Bijdragen

• Bias-geannoteerde Dataset voor het Bulgaars: De creatie van een handmatig geannoteerde dataset van 3.177 zinnen die vijf specifieke typen bias beslaat, dienend als benchmark voor biasdetectie in laag-resource talen.
• Bulgaars Bias-woordenboek: Een gestructureerde lexicale bron van 3.786 vermeldingen ontworpen om bias-signalen en evaluatieve markers specifiek voor het Bulgaars te identificeren.
• Operationele Definitie van Bias: Een werkdefinitie van bias op zinsniveau die rekening houdt met systematische niet-neutrale attitudes, toepasbaar op zowel menselijke als machine-evaluatie.
• Empirische Analyse van Mens-LLM Afstemming: Een uitgebreide evaluatie van hoe goed huidige LLM's afstemmen op menselijke oordelen in een laag-resource, cultureel specifieke setting, waarbij significante divergenties worden aangetoond in zowel detectie als intensiteitsscoring.

Resultaten

• Mens-Mens Overeenstemming: Annotatoren vertoonden een hoge overeenstemming bij de binaire classificatie van bias (bevooroordeeld vs. niet-bevooroordeeld), met een mismatch-percentage van slechts 4,9% en een gewogen $\kappa$ van 0,863. De overeenstemming over de intensiteitsscore (0–5 schaal) was echter lager, vooral voor niet-nul gevallen, waarbij Krippendorff's $\alpha$ gemiddeld -0,160 was, wat duidt op een onenigheid die groter is dan toeval met betrekking op specifieke intensiteitsscores.
• Mens-LLM Afstemming: Alle LLM's vertoonden een substantiële divergentie van menselijke oordelen.
  • Mismatch-percentages: LLM's vertoonden mismatch-percentages van 24% tot 34% bij de binaire taak, vergeleken met 4,9% voor mensen.
  • Overeenstemming-metrieken: De gewogen $\kappa$-waarden tussen mensen en LLM's varieerden van 0,108 (Qwen 3) tot 0,255 (Gemma 4), wat in de lichte tot matige range valt.
  • Intensiteitsscoring: LLM's wijsden systematisch lagere intensiteitsscores toe dan mensen. De non-zero overeenstemming-metrieken ($\alpha_{nz}$) waren uniform negatief over alle modellen, wat aangeeft dat wanneer LLM's bias signaleerden, ze vaak andere zinnen markeerden of andere ernstniveaus toekenden dan mensen.
• Modelspecifieke Bevindingen:
  • Prompttaal: Het gebruik van Bulgaarse prompts voor BgGPT-Gemma-3 verbeterde de afstemming met menselijke oordelen (verhoging van de overlap in bevooroordeelde zinnen van 12,8% naar 21,6% en vermindering van de mismatch-percentages) vergeleken met Engelse prompts.
  • Variabiliteit in Bias-type: LLM's presteerden relatief beter op de categorieën "Verschijning" en "Beperking" (waarschijnlijk door expliciete lexicale markers), maar presteerden slecht op "Geslacht" en "Religie", die afhankelijk zijn van subtiele culturele en contextuele aanwijzingen.
  • Model Clustering: Gemma-familie modellen (Gemma 4 en BgGPT-varianten) clusterden samen, wat suggereert dat zij gedeelde biases hebben vanuit hun pre-training lineage, terwijl Qwen 3 een afzonderlijk cluster vormde met de laagste overeenstemming.

Significantie en Claims
Het artikel claimt dat huidige LLM's onbetrouwbaar zijn als zelfstandige vervanging voor menselijke annotatoren in biasdetectie, met name voor laag-resource talen en cultureel specifieke contexten. De bevindingen onderstrepen dat:

1. Biasperceptie is Cultureel Gevestigd: LLM's worstelen met biases die pragmatische en culturele competentie vereisen (bijv. genderrollen, religieuze praktijken), terwijl ze beter presteren op lexicaal expliciete biases.
2. Prompttaal Er Toe Doet: Prompting in de doeltaal verbetert de afstemming van LLM's met menselijke culturele verwachtingen aanzienlijk, wat suggereert dat de prompttaal een cruciale experimentele variabele is, en niet slechts een implementatiedetail.
3. Noodzaak voor Gegronde Bronnen: De studie benadrukt de noodzaak van cultureel gegronde lexicale bronnen en annotatiemethodologieën voor laag-resource talen, aangezien transfer learning van meertalige modellen onvoldoende is om specifieke biaspatronen te vangen.
4. Methodologische Voorzichtigheid: Een hoge inter-LLM overeenstemming moet niet worden geïnterpreteerd als een proxy voor annotatiekwaliteit, aangezien modellen systematische biases uit hun trainingsdata kunnen delen in plaats van te convergeren op menselijke sociale oordelen.

De auteur concludeert dat hoewel LLM's gedeeltelijk de binaire biasdetectie kunnen repliceren, ze significant divergeren in intensiteitsscoring en categoriegevoeligheid. Toekomstig werk moet zich richten op fine-tuning met doel-taal bias-corpora, het integreren van culturele context in prompts en het uitbreiden van datasets naar diverse domeinen om eerlijkheid en prestaties in laag-resource omgevingen te verbeteren.