Leveraging Wikidata for Geographically Informed Sociocultural Bias Dataset Creation: Application to Latin America

Dit artikel introduceert LatamQA, een dataset van meer dan 26.000 meervoudige keuzevragen in het Spaans en Portugees, afgeleid van Wikidata en Wikipedia, om de geografische en culturele bias van grote taalmodellen ten opzichte van Latijns-Amerika te kwantificeren en te onthullen dat deze modellen vaak beter presteren voor Iberische Spaanse cultuur dan voor die van Latijns-Amerika.

De kern

Stel je voor dat je een groep zeer slimme, maar nogal vooroordeelvolle robotgeesten hebt. Deze robots (we noemen ze Large Language Models of LLM's) zijn opgeleid met enorme hoeveelheden kennis uit de "Noordelijke wereld" (Europa en Noord-Amerika). Ze weten alles over de Eiffeltoren of de Super Bowl, maar als je ze vraagt over een traditioneel Latijns-Amerikaans feest of een lokale slangterm uit Chili, kijken ze je vaak met lege ogen aan. Ze zijn alsof iemand die alleen in Parijs heeft gewoond, denkt dat hij de hele wereld kent.

De auteurs van dit paper willen dit probleem oplossen, specifiek voor Latijns-Amerika. Ze hebben een nieuw testinstrument gebouwd, een soort "Cultuur-Quiz", om te zien hoe goed deze robots de lokale gewoonten, verhalen en tradities van Latijns-Amerika begrijpen.

Hier is hoe ze dat hebben gedaan, uitgelegd in simpele termen:

1. De Bibliotheek van de Wereld (Wikipedia & Wikidata)

Stel je voor dat Wikipedia een gigantische bibliotheek is, en Wikidata is het super-slimme indexsysteem dat alle boeken in die bibliotheek met elkaar verbindt. De onderzoekers hebben niet zelf duizenden vragen bedacht (dat zou te lang duren en te duur zijn). In plaats daarvan hebben ze een robot-schrijver ingezet om automatisch duizenden vragen te halen uit de Wikipedia-artikelen over Latijns-Amerika.

Ze hebben echter niet zomaar alles gepakt. Ze hebben een sociaal-wetenschappelijke filter gebruikt.

• De analogie: Stel je voor dat je een grote emmer met stenen en goud wilt hebben. De meeste artikelen zijn gewoon stenen (bijvoorbeeld een lijst met alle voetbalclubs of een statistiek over een speler). De onderzoekers wilden alleen het goud: de artikelen die echt iets te maken hebben met cultuur, zoals eten, feestdagen, lokale dialecten, verhalen en symbolen. Ze hebben een "goudzoeker" (een gespecialiseerde AI) ingezet om de goudklompjes eruit te halen.

2. Het Bouwen van de Quiz (LatamQA)

Uit deze goudklompjes hebben ze een enorme quiz gemaakt: LatamQA.

• Het bevat meer dan 26.000 vragen.
• Het dekt 20 landen in Latijns-Amerika.
• De vragen zijn in het Spaans en Portugees (de talen van de regio), maar ook vertaald naar het Engels om te testen of de robots het beter doen in hun "moedertaal" of in het Engels.

De vragen zijn als volgt: "Wat is de betekenis van dit specifieke liedje in Mexico?" of "Welke maagden worden er in Brazilië geëerd?" Het zijn geen moeilijke wiskundige puzzels, maar vragen die je zou verwachten van iemand die echt in die cultuur leeft.

3. De Testresultaten: Wat hebben ze ontdekt?

Toen ze deze quiz aan de verschillende robotgeesten gaven, kwamen ze tot drie interessante ontdekkingen:

• De "Grootte" maakt uit, maar niet alles: Net als bij mensen, hoe "groot" en slim de robot is (hoeveel kennis hij heeft opgeslagen), hoe beter hij scoort. Maar zelfs de slimste robots hebben moeite met de kleinere landen.
• De "Moedertaal" is koning: De robots presteerden veel beter als de vragen in het Spaans of Portugees stonden dan in het Engels. Het is alsof je iemand in het Frans vraagt over de Franse cultuur; hij begrijpt de nuances beter dan als je het in het Chinees vraagt.
• Het "Iberische" vooroordeel: Dit is de meest opvallende ontdekking. De robots wisten veel meer over Spanje (Iberisch-Spaans) dan over Latijns-Amerika.
  • De analogie: Het is alsof je een robot vraagt over "Amerika". Hij denkt direct aan de Verenigde Staten en weet alles over New York, maar als je vraagt over Mexico of Argentinië, schudt hij met zijn hoofd. De robots zien "Spaans" vaak als "Spaans uit Spanje", en vergeten de rijke, diverse culturen van Latijns-Amerika.

4. Waarom is dit belangrijk?

Tot nu toe hadden we geen goede manier om te meten of robots vooroordelen hebben tegenover specifieke culturen. Deze quiz is als een spiegel die we voor de robots hebben gehouden.

Het laat zien dat als we AI-systemen alleen trainen op data uit de rijke, westerse wereld, ze "blind" blijven voor de rest van de wereld. Ze behandelen Latijns-Amerika als een één groot, vaag blok, terwijl het eigenlijk bestaat uit 20 unieke landen met elk hun eigen identiteit.

Kortom:
De onderzoekers hebben een gigantische, slimme quiz gebouwd met behulp van Wikipedia om te bewijzen dat onze slimme computers nog veel moeten leren over de echte wereld. Ze laten zien dat we niet kunnen vertrouwen op AI voor culturele kennis tenzij we specifiek trainen op die lokale kennis, anders blijven ze vastzitten in hun eigen, beperkte wereldbeeld.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Leveraging Wikidata for Geographically Informed Sociocultural Bias Dataset Creation: Application to Latin America" in het Nederlands.

Probleemstelling

Grote Taalmodellen (LLMs) vertonen aanzienlijke ongelijkheden en vooroordelen ten opzichte van verschillende culturele contexten. De meest prominente open-weight modellen zijn getraind op gegevens uit het "Global North" (voornamelijk Noord-Amerika en West-Europa) en vertonen vaak vooroordeelgedrag tegenover andere culturen. Er is een opvallend gebrek aan middelen om vooroordelen in niet-Engelse talen te detecteren, met name in Latijns-Amerika (LatAm). Hoewel veel Latijns-Amerikaanse landen een gedeelde taal (Spaans of Portugees) en culturele grondslag hebben, verschillen ze aanzienlijk in historische, sociale en culturele termen. Bestaande datasets groeperen landen vaak te grof, bestrijken slechts een paar landen, of zijn beperkt tot het Engels, waardoor de fijne nuances van lokale culturen verloren gaan.

Methodologie

De auteurs hebben een schaalbaar framework ontwikkeld om een dataset te creëren die is gebaseerd op Wikipedia-inhoud, de structuur van de Wikidata-entiteitsgrafiek en expertise uit de sociale wetenschappen.

1. Dataverzameling en Filtering:

• Bron: De dataset is afgeleid van Wikipedia-artikelen gerelateerd aan de categorieën "Cultura de [Land]" voor 20 Latijns-Amerikaanse landen (plus Spanje als referentiepunt).
• Sociologische Filters: Er zijn twee filters toegepast om de relevantie te verhogen:
  • Categorieniveau: Een socioloog heeft de subcategorieën handmatig gevalideerd om irrelevante categorieën (zoals algemene taalartikelen) te verwijderen.
  • Artikelniveau: Een handmatig gelabeld dataset van 500 artikelen werd gebruikt om een multilinguale Longformer-classifier te fine-tunen. Deze classifier sorteert artikelen in drie klassen: positief (cultuurrelevant), beschrijvend (technisch/lijstgebaseerd) en negatief (niet relevant). De classifier bereikte een precisie van 87,5% voor de positieve klasse.
• Cultuurelementen: Artikelen werden gekoppeld aan een taxonomie van 10 cultuurelementen (bijv. Toponiemen, Voedsel, Fictieve karakters, Dialecten, Religieuze vieringen) gebaseerd op het werk van Espindola en Vasconcellos (2006).

2. Generatie van Vragen en Antwoorden (Q/A):

• Generatie: Gefilterde Wikipedia-artikelen werden gebruikt om vragen en antwoorden te genereren met behulp van een LLM (Qwen3-Max en gpt-oss-120b).
• Prompt-strategie: Er werd gekozen voor een "General Cultural Exploration"-benadering, die vragen genereerde over culturele identiteit, symbolen, collectief geheugen en lokale praktijken.
• Validatie: De gegenereerde vragen werden kwantitatief gevalideerd op drie dimensies: symbolisch, sociale praktijken en sociale representaties/identiteit. 98% van de vragen scoorde relevant op minstens twee dimensies. Er werden geen hallucinaties gevonden in de antwoorden.
• Distractors: Voor de meerkeuzevragen (MCQ) werden plausibele foutieve antwoorden (distractors) gegenereerd door dezelfde LLM, gebruikmakend van strategieën zoals entiteitswisseling of tijdsruimtelijke verwarring.

3. Dataset Specifics (LatamQA):

• Omvang: De dataset bevat 26.213 artikelen die zijn omgezet in 23.499 unieke meerkeuzevragen.
• Talen: De vragen zijn oorspronkelijk in Spaans en Portugees, en vervolgens vertaald naar het Engels voor evaluatie.
• Afdeling: De dataset dekt 20 Latijns-Amerikaanse landen en Spanje.

Belangrijkste Bijdragen

1. Methodologie: Een schaalbare methode voor het creëren van geografisch geïnformeerde socioculturele Q/A-datasets door Wikipedia-categorieën, expert-curatie en LLM-generatie te combineren.
2. LatamQA Benchmark: Een nieuwe benchmark met bijna 24.000 MCQ's die de culturele kennis van LLMs in Latijns-Amerika test, beschikbaar in Spaans, Portugees en Engels.
3. Empirische Analyse: Een uitgebreide analyse van prestatievariaties tussen landen, prompt-talen en tussen Iberisch Spaans en Latijns-Amerikaans Spaans.

Resultaten

De auteurs hebben diverse LLMs (waaronder Llama, Mistral, Qwen, GPT-4.1 en regionale modellen zoals PatagonIA en LatamGPT) getest op de LatamQA-benchmark.

• Taalvoordeel: Modellen presteren over het algemeen beter in hun oorspronkelijke taal (Spaans of Portugees) dan in het Engels, wat in lijn is met eerdere bevindingen voor hoog-resourcetalen.
• Regionale Dispariteit: Er is een aanzienlijke discrepantie in prestaties tussen Latijns-Amerikaanse landen. Sommige landen (zoals Mexico en Brazilië) zijn "makkelijker" voor de modellen dan andere, wat wijst op ongelijk vertegenwoordiging in de trainingsdata.
• Iberisch vs. Latijns-Amerikaans Spaans: Alle geteste modellen presteerden significant beter op vragen over de Spaanse cultuur (Spanje) dan op vragen over Latijns-Amerikaanse cultuur. Dit bevestigt dat Iberisch Spaans beter in de trainingsdata is vertegenwoordigd.
• Modelgrootte: Prestaties verbeteren consistent naarmate de modelgrootte toeneemt (bijv. van Mistral-small naar Mistral-large), met een verbetering van 5-8% in nauwkeurigheid.
• Regionale Modellen:
  • PatagonIA (gespecialiseerd in Chileens Spaans) presteerde niet beter dan algemene modellen van vergelijkbare grootte.
  • LatamGPT (een Llama 3.1 70B met extra training op LatAm-data) had moeite met het volgen van het MCQ-formaat en presteerde slecht, zelfs op vragen die het direct beantwoordde.

Significantie

Dit werk benadrukt de noodzaak van lokaal gerichte datasetconstructie om culturele vooroordelen in AI te detecteren en te mitigeren. Het paper toont aan dat het simpelweg vertalen van bestaande benchmarks of het gebruik van algemene modellen onvoldoende is voor een nauwkeurige evaluatie van culturele kennis in Latijns-Amerika. De LatamQA-benchmark biedt een cruciaal hulpmiddel voor onderzoekers om de "culturele blindheid" van LLMs te kwantificeren en te werken aan modellen die de diversiteit binnen de regio beter respecteren. Het onderstreept ook dat "cultuur" niet uniform is; zelfs binnen een taalgebied zijn er subtiele, maar belangrijke verschillen die door huidige modellen worden gemist.