💬 NLP

Attributing Culture-Conditioned Generations to Pretraining Corpora

Dit onderzoek introduceert het MEMOed-framework om aan te tonen dat culturele vooroordelen in generatieve taalmodellen voortkomen uit memorisatie van onevenwichtige pretrainingsdata, waarbij frequent voorkomende culturen meer symbolen genereren dan minder voorkomende.

Oorspronkelijke auteurs: Huihan Li, Arnav Goel, Keyu He, Xiang Ren

Gepubliceerd 2026-04-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Huihan Li, Arnav Goel, Keyu He, Xiang Ren

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kern: Waarom AI soms "verkeerde" culturen uitvindt

Stel je voor dat een kunstmatige intelligentie (AI) een enorme bibliotheek heeft gelezen voordat hij begon met praten. Deze bibliotheek is zijn pre-training corpus (de verzameling teksten waarmee hij is getraind). Het probleem is dat deze bibliotheek niet eerlijk is samengesteld. Er staan duizenden boeken over Amerika en Europa in, maar slechts een paar pagina's over sommige andere culturen.

De onderzoekers van dit paper (Li, Goel, et al.) wilden weten: Waarom maakt de AI soms fouten over culturen? Bijvoorbeeld: Waarom noemt hij voor een Indiase maaltijd soms "pizza" of voor een Japanse kledingstuk "jeans"?

Ze hebben een nieuwe methode bedacht, genaamd MEMOED. Laten we dat uitleggen met een analogie.

De Analogie: De "Gedachtenkrant"

Stel je de AI voor als een student die een examen moet doen over de wereldcultuur. Maar in plaats van dat hij de hele wereld heeft bezocht, heeft hij alleen maar gekeken naar de krantenkoppen die hij in zijn klas heeft gezien.

De onderzoekers hebben de "gedachtenkrant" van de AI (zijn trainingsdata) onderzocht om te zien waar hij zijn antwoorden vandaan haalt. Ze ontdekten vier soorten antwoorden:

1. Het "Gedrukte" Antwoord (Memorized Association)

Dit is als een student die een feitelijke vraag beantwoordt omdat hij het woord in de krant heeft gelezen.

Voorbeeld: De AI zegt dat "Biryani" (een Indiase rijstschotel) bij India hoort.
Waarom? Omdat in de krant (de trainingsdata) "India" en "Biryani" heel vaak samen in dezelfde zin stonden. De AI heeft dit uit het hoofd geleerd.
Het probleem: Dit werkt alleen goed voor populaire culturen. Voor culturen die zelden in de krant stonden, heeft de AI niets uit het hoofd geleerd.

2. Het "Alledaagse" Antwoord (Diffuse Association)

Dit is als een student die geen idee heeft wat het antwoord is, dus hij zegt iets dat voor iedereen geldt.

Voorbeeld: De AI zegt dat voor een Braziliaans diner "kip" en "rijst" worden gegeten.
Waarom? Omdat "kip" en "rijst" in de krant overal stonden. Ze komen zo vaak voor, dat de AI denkt: "Ah, dit moet wel goed zijn voor iedereen."
Het gevolg: Het antwoord is niet per se fout, maar het is saai en niet specifiek genoeg. Het verdoezelt de echte cultuur.

3. Het "Verkeerde Land" Antwoord (Cross-Culture Generalization)

Dit is als een student die iets heeft geleerd over Land A, en dat dan per ongeluk op Land B toepast.

Voorbeeld: De AI zegt dat "Kimono" (Japans) bij Zuid-Korea hoort.
Waarom? Omdat in de krant "Japan" en "Zuid-Korea" vaak samen werden genoemd (bijvoorbeeld in een artikel over Aziatische mode). De AI denkt: "Oh, ze horen bij elkaar, dus Kimono hoort ook bij Korea."
Het probleem: De AI is te slim voor zijn eigen bestwil; hij maakt logische sprongen die niet kloppen.

4. Het "Vaag" Antwoord (Weak Association)

Dit is als een student die een woord niet kent, maar een groter woord gebruikt dat erop lijkt.

Voorbeeld: De AI zegt "jurk" in plaats van "Kimono".
Waarom? Hij heeft "Kimono" niet uit het hoofd geleerd, maar hij weet wel dat het een soort kleding is. Hij gebruikt dus een algemeen woord.

Wat hebben ze ontdekt?

De onderzoekers keken naar 110 verschillende culturen (vooral over eten en kleding) en gebruikten hun MEMOED-methode om te kijken welke van de bovenstaande antwoorden de AI gaf.

Hier zijn de belangrijkste bevindingen, vertaald naar simpele taal:

De "Rijke" vs. de "Arme" Bibliotheek:
Culturen die veel in de trainingsdata voorkomen (zoals de VS, India, Japan), krijgen vaak specifieke, correcte antwoorden (Type 1). Culturen die zelden voorkomen (de "lange staart"), krijgen bijna nooit specifieke antwoorden. De AI weet simpelweg niet genoeg over hen.
De "Luie" AI:
Als de AI niet weet wat de specifieke cultuur is, kiest hij voor het veiligste, meest voorkomende antwoord (Type 2). Hij zegt "kip" in plaats van een specifiek gerecht, omdat "kip" in zijn bibliotheek 1000 keer vaker voorkomt dan het specifieke gerecht. Hij is te lui om te zoeken naar het juiste antwoord.
De "Mix" van Culturen:
De AI is erg goed in het mixen van populaire culturen. Als hij iets weet over een populaire cultuur, probeert hij dat ook op een minder populaire cultuur toe te passen (Type 3). Dit komt doordat die culturen in de krant vaak samen werden genoemd.
Het Gevolg:
De AI is niet eerlijk. Hij geeft de "sterke" culturen veel aandacht en de "zwakke" culturen alleen maar algemene, saaie antwoorden of fouten. Hij herhaalt een klein aantal populaire woorden (zoals "pizza" of "jeans") in plaats van de echte diversiteit van de wereld te tonen.

Conclusie: Wat betekent dit voor ons?

Dit onderzoek laat zien dat de "bias" (vooroordeel) in AI niet per se komt omdat de AI "kwaad" is, maar omdat zijn bronmateriaal scheef is.

Als je een spiegel wilt die de wereld eerlijk weergeeft, moet je eerst de spiegel zelf (de trainingsdata) rechtzetten. Je kunt niet verwachten dat de AI de cultuur van een zeldzame stam in het Amazonegebied kent als er in zijn hele bibliotheek maar één zin over staat.

De onderzoekers hopen dat hun methode (MEMOED) helpt om te zien waar de AI zijn kennis vandaan haalt, zodat we de data kunnen verbeteren en de AI eerlijker en diverser kunnen maken.

Kort samengevat: De AI is als een student die alleen de populaire kranten heeft gelezen. Hij weet alles over New York, maar als je hem vraagt over een dorpje in Peru, zegt hij: "Wel, mensen eten daar vast ook brood en dragen kleding," omdat hij dat woord "brood" zo vaak heeft gezien. Hij moet meer lezen om de wereld echt te begrijpen.

Probleemstelling

Grote Taalmodellen (LLMs) vertonen in open-eindende generatietaken (zoals narratief schrijven of dialogen) vaak culturele vooroordelen. Ze tonen beperkte kennis en genereren gestandaardiseerde, voor de hand liggende antwoorden voor minder voorkomende culturen, terwijl ze rijkere kennis tonen voor westerse of dominant vertegenwoordigde culturen.

De kernhypothese van dit werk is dat deze bias voortkomt uit de onevenwichtige verdeling van culturen in de pretraining-corpora. Het paper onderzoekt hoe modellen entiteiten ("symbolen", zoals voedsel of kleding) associëren met culturen op basis van patronen in de trainingsdata. De auteurs stellen drie vragen:

Hoe kunnen we bepalen of een gegenereerd symbool voortkomt uit memorisatie van de associatie in de pretraining-data?
Als het geen memorisatie is, welke andere factoren drijven de associatie?
Hoe hangen deze associaties samen met frequentie-ongelijkheden in de pretraining-data?

Methodologie: Het MEMOED Framework

De auteurs introduceren MEMOED (MEMOrization from pretraining document), een raamwerk om te bepalen of een generatie voor een specifieke culturen voortkomt uit memorisatie van de pretraining-data.

1. Data en Model:

Model: OLMo-7B (een open-source model met toegankelijke pretraining-data).
Corpus: Dolma (een open corpus van drie biljoen tokens).
Scope: Generaties voor 110 culturen op de thema's "voedsel" en "kleding" (300 generaties per cultuur).

2. Identificatie van Memoratie (MEMOED Pipeline):
MEMOED analyseert pretraining-documenten om te zien of ze bijdragen aan de associatie tussen een cultuur ( $C$ ) en een symbool ( $S$ ). Een document wordt als "contributory" (bijdragend) beschouwd als:

Token/Sentence Distance: De tokens voor cultuur en symbool dicht bij elkaar voorkomen (binnen een bepaalde token-afstand of maximaal 2 zinnen).
Document Signal-to-Noise Ratio (dSNR): Een metriek die meet hoe dominant de target-cultuur is in het document ten opzichte van andere culturen.
- Global Relevance: dSNR $\ge$ 0 (de cultuur komt minstens even vaak voor als alle andere culturen samen in het document).
- Local Relevance: dSNR tussen -1 en 0, maar met een zeer korte sentence-afstand ( $\le$ 2).

3. Classificatie van Associaties:
Op basis van de "Contribution Score" (het percentage van de documenten waarin een symbool voorkomt dat bijdraagt aan een specifieke cultuur) en een Z-score-threshold (2.6), worden symbolen geclassificeerd in vier categorieën:

Memorized Association: Het symbool is sterk geassocieerd met de cultuur in de pretraining-data (hoge frequentie van co-occurrentie).
Diffuse Association: Symbolen die niet sterk aan één cultuur gebonden zijn, maar in >50% van de generaties voor alle culturen voorkomen (bijv. "kip", "broek"). Deze worden vaak gegenereerd door hun overweldigende frequentie in de data.
Cross-Culture Generalization: Een symbool dat is gememoriseerd voor Cultuur A, maar wordt gegenereerd voor Cultuur B (bijv. "Kimono" voor Korea).
Weak Association Generalization: Breder conceptuele symbolen die worden afgeleid van gememoriseerde symbolen of diffuse associaties (bijv. "gewaad" als generalisatie van "kimono").

Belangrijkste Resultaten

1. Memoratie is beperkt tot ondervertegenwoordigde culturen:
Er is een sterke positieve correlatie tussen het aantal documenten waarin een cultuur voorkomt in de pretraining-data en het aantal gememoriseerde symbolen die het model genereert.

Voor voedsel: 97 van de 110 culturen hebben minstens één gememoriseerd symbool.
Voor kleding: Slechts 45 van de 110 culturen hebben een gememoriseerd symbool.
Culturen in de "long-tail" (zeldzame in de data) missen voldoende supervisie om associaties te memoriseren, wat leidt tot diffuse of cross-culturele generalisaties.

2. Memoratie is niet beperkt tot culturele emblemen:
Hoewel MEMOED vaak overeenkomt met menselijke beoordelingen van culturele emblemen (F1-score 0.845 voor kleding), detecteert het ook associaties met veelgebruikte, maar niet-emblematische items (bijv. "business pak" voor Japan).

3. Diffuse associatie wordt gedreven door frequentie:
Symbolen met een diffuse associatie komen in de pretraining-data duizenden keren vaker voor dan gememoriseerde symbolen. Dit hoge frequentieverschil zorgt ervoor dat het model deze "veilige" symbolen prioriteert boven cultureel specifieke kennis tijdens het generatieproces.

4. Cross-culturele generalisatie van hoog naar laag frequentie:
Culturen die vaak voorkomen in de pretraining-data hebben hun gememoriseerde symbolen vaker "geleend" door andere culturen. Omgekeerd genereren zeldzame culturen vaker symbolen die oorspronkelijk tot een andere cultuur horen. Topic-modelling toont aan dat dit vaak gebeurt door gedeelde thema's in de trainingsdata (bijv. "islam" en "hijab" die Iran en Saoedi-Arabië verbinden).

5. Generalisatie is niet sterk gecorreleerd met memoratie:
Culturen zonder gememoriseerde symbolen genereren vaak symbolen die zijn afgeleid van hoge-frequentie symbolen (diffuse associatie). Er is geen sterke correlatie tussen het aantal gememoriseerde symbolen en het aantal generalisaties; culturen zonder memoratie zijn juist meer afhankelijk van generalisatie.

Bijdragen en Significantie

MEMOED Framework: Een nieuwe methode om generaties van LLMs terug te voeren naar specifieke patronen in de pretraining-data, waardoor het mogelijk wordt om te onderscheiden tussen echte kennis, memoratie en hallucinatie/generalisatie.
Inzicht in Bias-mechanismen: Het paper toont aan dat culturele bias niet alleen een kwestie is van "gebrek aan kennis", maar ook van "overgeneralisatie" van frequente symbolen en het "leunen" op diffuse associaties wanneer specifieke kennis ontbreekt.
Implicaties voor Mitigatie: De bevindingen suggereren dat het simpelweg toevoegen van data niet genoeg is; er is behoefte aan methoden die specifiek gericht zijn op het verbeteren van de kwaliteit en relevantie van pretraining-data voor zeldzame culturen, en op het verminderen van de dominantie van hoge-frequentie, cultureel neutrale symbolen.
Reproduceerbaarheid: Het werk is gebaseerd op volledig open-source modellen en data, wat een belangrijke stap is voor transparant onderzoek naar LLM-bias.

Kortom, dit paper levert een kwantitatief bewijs dat de pretraining-data-distributie direct de culturele vaardigheden van LLMs bepaalt, waarbij modellen geneigd zijn om te vertrouwen op wat ze het vaakst hebben gezien, ten koste van de diversiteit en authenticiteit van culturele kennis.