Regional Bias in Large Language Models

Technische Samenvatting: Regionale Bias in Large Language Models

Probleemstelling
Hoewel Large Language Models (LLM's) de informatieverwerking hebben getransformeerd, vertonen ze hardnekkige biases die vooroordelen in de samenleving weerspiegelen en versterken. Hoewel gender- en raciale biases goed gedocumenteerd zijn, blijft regionale (geografische) bias — waarbij modellen systematische voorkeuren of fouten vertonen op basis van de locatie van een gebruiker of de geografische context van een zoekopdracht — aanzienlijk onderbelicht. Deze vorm van bias kan leiden tot onrechtvaardige behandeling, systematische uitsluiting van specifieke regio's (met name niet-Westerse en Global South-gemeenschappen), en ongelijkheid in de toegang tot kritieke diensten in domeinen zoals onderwijs, gezondheidszorg en handel. Bestaand onderzoek mist uitgebreide kaders om deze bias systematisch te meten en te kwantificeren over meerdere state-of-the-art LLM's heen.

Methodologie
De studie introduceert FAZE (Framework for Analysing Zonal Evaluation), een op prompts gebaseerd evaluatiekader dat is ontworpen om gedragsmatige regionale bias te kwantificeren. De methodologie bestaat uit de volgende componenten:

• Dataset Constructie: Een gecureerde dataset van 100 contextueel neutrale prompts is samengesteld. Deze prompts presenteren scenario's met een gedwongen keuze (bijv. werving, veiligheidsscreening, reisadvies) waarbij twee regio's betrokken zijn. Cruciaal is dat de scenario's symmetrisch zijn ontworpen, waarbij geen legitieme culturele, juridische of contextuele factoren aanwezig zijn die rationeel een voorkeur voor de ene regio boven de andere zouden rechtvaardigen.
• Model Selectie: Tien prominente LLM's werden geëvalueerd, variërend in architectuur en trainingsbenadering: GPT-3.5, GPT-4o, Gemini 1.5 Flash, Gemini 1.0 Pro, Claude 3 Opus, Claude 3.5 Sonnet, Llama 3, Gemma 7B, Mistral 7B en Vicuna-13B.
• Evaluatieprotocol: Elk model werd tegen alle 100 prompts getest via directe chat-interfaces (of LMSYS wanneer directe toegang niet beschikbaar was) tussen juli en september 2024. De evaluatie legde het standaardgedrag vast (default, single-run behavior) zonder de system prompts of generatieparameters aan te passen.
• Classificatie en Scoring: Responsies werden gecategoriseerd in twee groepen:
  • Unknown: Het model weigerde te kiezen, erkende onvoldoende informatie of stelde dat de opties even geldig waren.
  • Non-Unknown: Het model koos een specifieke regio of uitte een voorkeur ondanks de neutraliteit van de prompt.
  • De FAZE-score wordt berekend op een 10-puntsschaal met de formule: $FAZE = \frac{N_{total} - N_{unknown}}{N_{total}} \times 10$. Hogere scores duiden op een sterkere neiging tot ongegronde regio-specifieke oordelen.

Belangrijkste Bijdragen

1. FAZE Framework: Het artikel introduceert FAZE, een lichtgewicht, gedragsmatig screeningskader dat de neigingen van gebruikersgerichte regionale commitment onder gecontroleerde neutrale omstandigheden vastlegt. Het biedt een reproduceerbare, interpreteerbare en model-agnostische basis voor vergelijkende analyse.
2. Systematische Empirische Evaluatie: De studie biedt de eerste systematische vergelijking van regionale bias over tien diverse, state-of-the-art LLM's, waarbij de stap wordt gezet van theoretische discussies naar empirische meting.
3. Identificatie van Variantie: Het onderzoek toont aan dat regionale bias niet uniform is over modellen, maar aanzienlijk varieert op basis van modelarchitectuur, distributies van trainingsdata en alignment-strategieën.

Resultaten
De evaluatie van 1.000 responsies onthulde substantiële variatie in bias-niveaus:

• Hoge Bias: GPT-3.5 vertoonde de hoogste bias met een score van 9,5, waarbij in 95 van de 100 prompts een specifieke regio werd gekozen. Llama 3 volgde met een score van 7,8.
• Medium Bias: Modellen zoals Gemma 7B (6,9), Vicuna-13B (6,0) en GPT-4o (5,8) vertoonden matige tendensen; ze weigerden soms te kiezen, maar gaven vaak regio-specifieke antwoorden.
• Lage Bias: Claude 3.5 Sonnet behaalde de laagste score van 2,5, gevolgd door Mistral 7B (2,6) en Gemini 1.5 Flash (3,1). Deze modellen onthielden zich overwegend van het maken van regio-specifieke selecties, waarbij ze vaak de gelijkwaardigheid van opties erkenden of het gebrek aan voldoende informatie benadrukten.
• Dispariteit: Er is een bijna 3,8-voudig verschil tussen de meest bevooroordeelde (GPT-3.5) en de minst bevooroordeelde (Claude 3.5 Sonnet) modellen.

Betekenis en Claims
Het artikel claimt dat regionale bias de betrouwbaarheid, eerlijkheid en inclusiviteit van LLM-outputs in real-world, cross-culturele toepassingen betekenisvol kan ondermijnen. De bevindingen suggereren dat:

• Geografische bias geen inherent kenmerk is van modelomvang, maar sterk wordt gevormd door de distributie van trainingsdata, alignment-doelstellingen en post-training strategieën.
• Recente frontier-modellen (bijv. Claude 3.5 Sonnet) vooruitgang tonen in het verminderen van ongegronde regionale favoritisme, waarschijnlijk door alignment-strategieën en zorgvuldige data-curatie.
• Echter, aanhoudende medium- tot hoge bias in veelgebruikte systemen (zoals GPT-3.5) benadrukt dat geografische eerlijkheid een actieve uitdaging blijft.

De auteurs positioneren dit werk als een stap naar het ontwikkelen van taalmodellen die diverse geografische perspectieven respecteren. Ze benadrukken dat FAZE dient als een screening-niveau metriek om systematische tendensen te highlighten, waarbij zij opmerken dat toekomstig werk de diversiteit van prompts moet uitbreiden, meertalige scenario's moet incorporeren en gerichte debiasing-interventies moet evalueren. De studie erkent expliciet beperkingen, waaronder de vaste set prompts, de single-run evaluatie en de binaire aard van de classificatie, waarbij de resultaten worden gepresenteerd als een momentopname van modelgedrag tijdens de evaluatieperiode (juli–september 2024).