Location Not Found: Exposing Implicit Local and Global Biases in Multilingual LLMs

Titel: Location Not Found: Het blootleggen van impliciete lokale en globale vooroordelen in meertalige LLM's

1. Het Probleem

Meertalige Large Language Models (LLM's) hebben de vloeiendheidskloof tussen talen aanzienlijk verkleind. Echter, deze vooruitgang blootlegt een nieuw risico: impliciete vooroordelen die over talen heen kunnen verspreiden. Bestaande evaluaties verwarren vaak twee verschillende capaciteiten:

1. Linguïstische Vloeiendheid: Het vermogen om vloeiende tekst te genereren in een doeltaal.
2. Lokalisatie: Het vermogen om generaties te verankeren in de relevante realiteit van de sprekers in specifieke regio's (locales).

Het paper stelt dat wanneer een gebruiker een vraag stelt in een bepaalde taal (bijv. Frans), het model niet automatisch de juiste culturele context (bijv. Frankrijk vs. Haïti) kiest. In plaats daarvan neigt het model naar een "standaardrealiteit", vaak de Amerikaanse norm, zelfs als de vraag in een andere taal wordt gesteld. Bestaande benchmarks testen vaak expliciete kennis (bijv. "Wat is de hoofdstad van Peru?") of vragen om expliciete context, waardoor ze de impliciete voorkeuren van het model maskeren.

2. Methodologie: LocQA

Om deze impliciete vooroordelen te meten, stellen de auteurs LocQA (Localized QA) voor. Dit is een diagnostische benchmark ontworpen om de "default priors" van modellen te testen.

• Dataset: LocQA bevat 2.156 vragen in 12 talen (waaronder Engels, Spaans, Frans, Hindi, etc.) die verwijzen naar 49 verschillende regio's.
• Vraagtype: De vragen zijn semantisch invariant maar locaal ambigu. Ze bevatten geen expliciete verwijzing naar een land of regio, alleen de taal zelf.
  • Voorbeeld: "Wat is het noodnummer?" of "Wanneer begint het belastingjaar?".
  • Realiteit: Het antwoord varieert per regio (bijv. 911 in de VS, 112 in veel Europese landen, 000 in Australië).
• Doel: Door te analyseren welk antwoord het model kiest zonder expliciete context, wordt de impliciete bias van het model blootgelegd.

Evaluatiemetrics:
De auteurs definiëren twee kernmetrieken om bias te kwantificeren:

1. Global Bias ($B_{US}$): Meet de mate waarin modellen neigen naar Amerikaanse normen, zelfs bij vragen in niet-Engelse talen. Dit wordt berekend als het verschil tussen de waargenomen frequentie van US-antwoorden en de verwachte frequentie op basis van de dataset.
2. Regional Bias ($B_R$): Meet intra-talige vooroordelen. Het analyseert welke regio's binnen een taal (bijv. Spanje vs. Mexico bij Spaans) over- of ondervertegenwoordigd zijn. De auteurs gebruiken een "lift"-metriek om afwijkingen van een neutrale verdeling te meten.

Evaluatie-Setup:

• 32 modellen werden getest (zowel open-weight als proprietary, inclusief GPT-4o, Gemini, Claude, Qwen, etc.).
• Evaluatie gebeurde in zero-shot modus (alleen de vraag als input).
• Een geautomatiseerde pipeline (LLM-as-a-Judge) werd gebruikt om antwoorden te analyseren op "vermelding van antwoorden" en "framing stijl".

3. Belangrijkste Resultaten

De studie identificeerde twee structurele vormen van bias:

A. Global Bias (US-Centriciteit)

• Er is een aanhoudende VS-bias in bijna alle geteste modellen. Zelfs wanneer modellen in niet-Engelse talen worden gevraagd, geven ze vaak Amerikaanse antwoorden.
• De gemiddelde $B_{US}$ score is 0,24, wat betekent dat Amerikaanse antwoorden in de output (50%) veel vaker voorkomen dan in de grondwaarheid (26%).
• Anatomie van de Bias: De bias manifesteert zich op verschillende manieren:
  • Intrusion: Het model geeft het juiste lokale antwoord, maar voegt gratuit de Amerikaanse norm toe als context.
  • Erasure: Het lokale antwoord wordt volledig overschreven door de Amerikaanse norm.
  • Selection: In ambiguïteit kiest het model systematisch de Amerikaanse optie.

B. Regional Bias (Demografische Kansrekening)

• Binnen een taal fungeert het model als een "demografische kansrekening-machine". Regio's met een grotere bevolking hebben een veel hogere kans om vertegenwoordigd te worden dan kleinere regio's.
• Voorbeeld: Bij Spaanse vragen wordt vaak Mexico of Spanje gekozen, terwijl landen zoals Honduras of Bolivia systematisch worden genegeerd ("erased").
• Er is een sterke logaritmische correlatie ($R^2 = 0.41$) tussen de bevolkingsgrootte en de bias-score. Modellen schalen met de orde van grootte van de bevolking, niet met het absolute aantal.

C. De "Cultural Alignment Tax" (Invloed van Instruction Tuning)
Een cruciale bevinding is het effect van instruction tuning (het aanpassen van modellen voor instructie-opvolging):

• Global Bias neemt toe: Instruction-tuned modellen vertonen een hogere US-bias dan hun base-versies. De poging om "helpzaam" te zijn, leidt ertoe dat modellen de VS als universeel referentiepunt gebruiken.
• Regional Bias neemt af: Instruction-tuned modellen tonen minder regionale vertekening. Ze lijken meer antwoorden te geven (answer multiplicity), waardoor ze de dominantie van één specifieke regio verdunnen.
• Conclusie: Alignment-training maakt modellen diverser in het aantal opties, maar introduceert tegelijkertijd een nieuwe bias waarbij de VS als de "standaard" voor die diversiteit fungeert.

D. Persistentie van Bias bij Capabele Modellen
Zelfs bij modellen met hoge nauwkeurigheid (>70%) blijft de US-bias bestaan. Wanneer deze modellen fouten maken, zijn die fouten vaker US-gecentreerd dan willekeurig. Dit weerlegt het idee dat "schaalvergroting" (grotere modellen) vanzelf leidt tot betere multiculturele representatie.

4. Belangrijke Bijdragen

1. LocQA Benchmark: Een gevalideerde diagnostische suite van 2.156 vragen in 12 talen en 49 regio's, specifiek ontworpen om impliciete prioriteiten van LLM's te isoleren.
2. Dual-Metric Framework: Een nieuwe methode om impliciete vooroordelen te kwantificeren via twee assen: Global Bias (VS-centrisch) en Regional Bias (geografische rechtvaardigheid).
3. Empirisch Bewijs voor Alignment Bias: Het aantonen dat instruction tuning de regionale bias vermindert maar de globale US-bias verergert, wat wijst op een "Cultural Alignment Tax".

5. Significantie en Conclusie

Het paper concludeert dat taalkundige vloeiendheid niet voldoende is als proxy voor culturele en lokale gronding. Voor LLM's om werkelijk globaal bruikbaar te zijn, moet de gemeenschap overstappen van "meertalige modellering" naar "multiculturele en multi-regionale modellering".

De auteurs pleiten ervoor dat "locale" wordt behandeld als een distincte facet die expliciet moet worden meegenomen in training en evaluatie. Zonder dit risico men dat LLM's, ondanks hun vermogen om elke taal vloeiend te spreken, een homogene, door de VS gedomineerde realiteit blijven projecteren, waardoor de kennis en normen van kleinere regio's en minderheden worden gewist.