💬 NLP

Cultural Awareness is Represented but Not Decoded: Tracing Mythological Knowledge across 18 Open-Source LLMs

Dit artikel onderzoekt 18 open-source LLM's en stelt vast dat hoewel zij intern kennis over mythologische figuren uit diverse culturen representeren, hun onvermogen om consequent niet-dominante tradities op te halen voortkomt uit een decoder-readout-bias die deze representaties doet instorten naar tokens van dominante tradities, een beperking die verder wordt beïnvloed door de taal van de prompt.

Oorspronkelijke auteurs: Iaroslav Chelombitko, Ekaterina Chelombitko, Mika Hämäläinen

Gepubliceerd 2026-08-04

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Iaroslav Chelombitko, Ekaterina Chelombitko, Mika Hämäläinen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Culturele Glitch: Waarom AI Zeus kent maar Ukko vergeet

Stel je voor dat je een enorme, hightech bibliotheek binnenloopt die bijna elk boek bevat dat ooit op internet is geschreven. Deze bibliotheek wordt gerund door een superintelligente robot-bibliothecaris die elke enkele pagina heeft gelezen. Je vraagt de bibliothecaris: "Wie is de koning van de goden in Griekse verhalen?" De bibliothecaris roept direct: "Zeus!" Je vraagt: "Wie is de koning van de goden in Romeinse verhalen?" "Jupiter!" Je vraagt: "Wie is de koning van de goden in de Noordse mythologie?" "Thor!" De robot is perfect. Maar dan vraag je: "Wie is de oppergod van de hemel in de Finse mythologie?" De robot aarzelt, stampt en geeft uiteindelijk een fout antwoord, of zegt misschien zelfs: "Ik weet het niet."

Dit is niet zomaar een willekeurige fout; het is een patroon. De robot lijkt de "populaire" verhalen te kennen (Grieks, Romeins, Noordse), maar worstelt met de "minder bekende" verhalen (Fins, Slavisch, Egyptisch, Chinees). Dit gebeurt omdat de bibliotheek waar de robot van heeft geleerd, grotendeels gevuld was met Engelse boeken en Westerse verhalen. Maar hier is het grote mysterie: Vergeet de robot deze minder bekende goden echt, of kent hij ze wel maar weigert hij de juiste naam te noemen?

Om dit op te lossen, gebruiken wetenschappers speciale instrumenten om in het "brein" van de robot te kijken (wat eigenlijk een complex computerprogramma is genaamd een Large Language Model). Ze willen zien of de informatie verloren is gegaan in het geheugen (de "encoder") of dat het geheugen in orde is, maar het deel dat het antwoord spreekt (de "decoder") kapot is. Denk aan een student die een toets maakt. Als de student het verkeerde antwoord opschrijft, wist de student de feiten dan niet, of kende hij ze perfect maar werd hij zenuwachtig en schreef hij het verkeerde op? Dit artikel is een detectiveverhaal dat in het brein van de robot duikt om precies te ontdekken waar de culturele bias plaatsvindt.

Het Onderzoek: In het Brein van de Robot

De onderzoekers, Iaroslav en Ekaterina Chelombitko samen met Mika Hämäläinen, besloten 18 verschillende open-source AI-modellen te testen. Ze stelden niet zomaar willekeurige vragen; ze gebruikten een zeer slim, gestructureerd spel gebaseerd op oude folkloreboeken. Ze kozen 27 specifieke rollen uit een beroemde catalogus van mythen (zoals "De Opperste Hemelgod", "De Zonnegod" of "De Trickster") en vroegen de robots om de naam van het personage voor die rol te noemen in 10 verschillende culturen: Grieks, Romeins, Noordse, Fins, Oekraïens, Indiaas, Egyptisch, Chinees, Japans en Mesopotamisch.

Om te zien wat er binnenin de robot gebeurde, gebruikten ze vier verschillende "röntgen"-instrumenten:

Linear Probing: Een test om te zien of het interne geheugen van de robot de juiste culturele label bevat.
Logit Lens: Een manier om laag voor laag in de gedachten van de robot te kijken om te zien wanneer hij een beslissing neemt over een antwoord.
Activation Patching: Een "wat als"-experiment waarbij ze de interne gedachten van de robot van de ene cultuur naar de andere wisselen om te zien of het antwoord verandert.
Output Extraction: Simpelweg de robot de vraag stellen en zien wat hij daadwerkelijk zegt.

De Grote Ontdekking: Het Brein is Prima, de Mond is Kapot

De resultaten waren verrassend en zeer duidelijk. Toen de onderzoekers in het geheugen van de robot keken (de residual stream), ontdekten ze dat de robot de cultuur eigenlijk perfect kende.

Stel je voor dat het brein van de robot een enorme archiefkast is. Wanneer je vraagt naar een Finse god, tonen de interne bestanden van de robot duidelijk een map met het label "Finse Mythologie" met de juiste naam erin. Het "Linear Probe"-instrument kon deze map lezen met een hoge nauwkeurigheid (vaak tussen de 60% en 88% correct). De robot kende het verschil tussen een Griekse god en een Finse god.

Echter, wanneer de robot gevraagd werd te spreken, ging het mis.

Dit is de belangrijkste bevinding: De fout vindt plaats bij de "readout" (het uitlezen), niet bij de "representation" (de representatie). De robot kent het antwoord, maar wanneer hij probeert te spreken, reduceert hij de specifieke, unieke naam (zoals "Ukko" voor de Finse hemelgod) tot de meest populaire, standaardnaam (zoals "Zeus" of "Thor").

De onderzoekers noemen dit "Decoding Suppressed" (Onderdrukte Decodering). In hun studie van 18 modellen was dit het grootste probleem. Voor elk model gold dat in de meerderheid van de gevallen (tussen de 51% en 76% van de tijd) het interne geheugen van de robot correct was, maar het uiteindelijke antwoord dat hij gaf fout was. Het is alsof een student weet dat het antwoord "Fins" is, maar wanneer hij het opschrijft, schrijft zijn hand automatisch "Grieks" omdat dat is wat hij elke dag op het bureau van de leraar ziet liggen.

Wat ze Hebben Uitgesloten

Het artikel testte ook enkele andere ideeën om er zeker van te zijn dat ze gelijk hadden:

Het is niet zo dat de robot alleen maar "vertaling-georiënteerd" is: Sommige mensen dachten dat robots alles in hun hoofd naar het Engels vertalen en dan weer terug. Als dat waar zou zijn, zou de robot het culturele verschil in zijn brein niet eens weten. Maar de studie toonde aan dat het brein het verschil juist heel duidelijk weet.
Het is niet alleen een kwestie van modelgrootte: De onderzoekers controleerden of grotere modellen (met meer "hersencapaciteit") het probleem oplosten. Ze ontdekten dat hoewel grotere modellen iets beter werden, de kloof tussen "het antwoord weten" en "het antwoord geven" nooit verdween. Zelfs de grootste modellen hadden nog steeds deze bias.
Het is niet alleen een taalprobleem: Ze testten of de robot faalde omdat hij de inheemse taal (zoals Fins of Oekraïens) niet kon lezen. Ze ontdekten dat zelfs wanneer de robot de taal kon lezen, hij nog steeds de voorkeur gaf aan het "Engelse/Westerse" standaardantwoord. De bias zit in het besluitvormingsgedeelte van de robot, niet alleen in zijn vermogen om te lezen.

De Taalkundige Twist

Een van de meest interessante delen van de studie was het stellen van dezelfde vraag op twee manieren: in het Engels en in de inheemse taal van de cultuur (bijvoorbeeld vragen over Finse goden in het Engels versus vragen in het Fins).

Ze ontdekten dat het brein van de robot werkt als een schakelaar. Wanneer je in het Engels vraagt, gebruikt het een bepaalde set paden om het antwoord te bepalen. Wanneer je in het Fins vraagt, gebruikt het een iets andere set paden. Soms hielp vragen in de inheemse taal de robot om het juiste antwoord te geven, maar vaak koos de robot nog steeds voor de beroemde Westerse namen.

De onderzoekers ontdekten dat als je de robot dezelfde vraag in zowel het Engels als de inheemse taal stelt, en vervolgens het beste antwoord van beide neemt, je ongeveer 36% meer fouten kunt herstellen zonder de robot iets nieuws te leren. Het is alsoam heb je twee vrienden die het antwoord controleren; als de één "Zeus" zegt en de ander "Ukko", kun je het juiste antwoord kiezen.

De Conclusie: Fix de Mond, Niet het Brein

Het artikel concludeert dat het probleem niet is dat de AI niets weet over de Finse, Slavische of Egyptische mythologie. De AI kent ze wel. Het probleem is dat het deel van de AI dat tekst genereert, wordt "gegate" (belemmerd) door culturele standaarden. Het heeft de gewoonte om unieke, specifieke culturele details plat te slaan tot de meest voorkomende, dominante details die het in zijn trainingsdata ziet.

Dit betekent dat om culturele bias in AI aan te pakken, we niet alleen de robot meer boeken over Finse mythen moeten voeren (wat zou helpen bij het geheugen, maar dat geheugen is er al). In plaats daarvan moeten we het deel van de robot repareren dat spreekt. We moeten de robot leren dat het oké is om "Ukko" te zeggen in plaats van "Zeus", zelfs als het voelt alsof "Zeus" het veiligere, meer voorkomende antwoord is.

De studie suggereert dat de oplossing ligt in "readout"-interventies — het veranderen van hoe de robot zijn definitieve woorden selecteert — in plaats van simpelweg te proberen het hele brein van de robot opnieuw te trainen. Het is een herinnering aan het feit dat het bezitten van alle informatie door een machine niet betekent dat de machine je de waarheid zal vertellen; soms vertelt het je gewoon wat het denkt dat je wilt horen.

Technisch overzicht: Cultureel bewustzijn is gerepresenteerd maar niet gedecodeerd

Probleemstelling

Large Language Models (LLM's) vertonen een goed gedocumenteerde culturele bias, waarbij ze standaard uitgaan van Anglo-Amerikaanse of Westerse referentiekaders bij taken variërend van morele redeneringen tot named-entity recognition. Hoewel gedragsonderzoeken hebben vastgesteld dat modellen er niet in slagen cultureel specifieke kennis op te halen (bijv. het niet kunnen benoemen van de opperste hemelgod in de Finse of Slavische mythologie, terwijl ze Zeus of Thor wel betrouwbaar kunnen benoemen), hebben ze nog niet geïdentificeerd waar binnen het model deze fout optreedt.

De centrale onderzoeksvraag is of deze bias voortkomt uit een representatief falen (de interne staat van het model maakt geen onderscheid tussen culturen) of een decoderingsfout (het model maakt intern wel onderscheid tussen culturen, maar reduceert deze tot tokens van dominante tradities tijdens de outputgeneratie). Het oplossen van dit onderscheid is cruciaal omdat de twee regimes tegenovergestelde interventies vereisen: representatieve fouten vereisen nieuwe informatie tijdens de pretraining, terwijl decoderingsfouten wijzigingen in het readout-mechanisme vereisen.

Methodologie

De auteurs hebben 18 open-source LLM's (variërend van 1,2B tot 34B parameters over 8 architectuurfamilies, waaronder Llama, Gemma, Phi, Qwen, Yi, OLMo en Aya) geïnstrumenteerd met een parallel cross-cultureel substraat en vier mechanistische instrumenten.

1. Substraat: Parallel Cross-Cultureel Entiteitenset

Om een eerlijke vergelijking tussen culturen te garanderen, hebben de auteurs een dataset geconstrueerd op basis van de Thompson Motif-Index of Folk-Literature.

Structuur: 27 specifieke mythologische motieven (bijv. "opperste hemelgod", "diefstal van vuur") geëvalueerd over 10 culturen (Grieks, Romeins, Noors, Fins, Oekraïens, Indiaas, Egyptisch, Chinees, Japans, Mesopotamisch).
Ground Truth: Elk (motief, cultuur)-paar heeft een enkele canonieke "gold" entiteitsnaam, verankerd aan primaire teksten (bijv. Kalevala, Rig Veda) of moderne academische monografieën.
Prompting: Twee prompt-modi werden gebruikt:
- Contextueel: " ${name}` belichaamt de rol van `$ {description}." (Gebruikt voor extractie van de verborgen staat; het cultuurwoord ontbreeft om triviale kopieeracties te voorkomen).
- Chat: "Wat is in de ${culture}` mythologie de naam van de `$ {description}?" (Gebruikt voor outputgeneratie).

2. Mechanistische Instrumenten

De studie past vier complementaire metingen toe op elk (entiteit, model)-paar:

E1 Lineaire Probing: Een ridge-classifier wordt getraind op de residual stream om de 10-weg cultuurlabel te voorspellen. Dit test of culturele informatie lineair decodeerbaar is uit de interne representatie.
E2 Logit Lens: De finale norm en unembedding van het model worden toegepast op intermediaire verborgen staten om te bepalen op welke diepte de gold-token de top- $k$ continuaties binnengaat.
E3 Activation Patching: Residual streams van een bron-cultuur prompt worden gewisseld met een doel-cultuur prompt om de causale laag te identificeren waar de voorkeur van het model naar de naam van de broncultuur kantelt.
E4 Output Extractie: Greedy decoding van de chat-template om de werkelijke generatie-accuratesse te meten.

3. Decompositiekader

Door de uitkomst van de probe (E1) en de generatie-uitkomst (E4) te combineren, definiëren de auteurs een $2 \times 2$ decompositie:

Preserved (Behouden): Probe correct, Output correct.
Decoding-Suppressed (Gedecodeerd-onderdrukt): Probe correct, Output fout (de kernhypothese).
Representationally Flat (Representatief vlak): Probe fout, Output fout.
Surface Luck (Oppervlakkig geluk): Probe fout, Output correct.

Belangrijkste Resultaten

1. Decoding Suppression is Universeel (RQ1)

Over alle 18 modellen heen is de Decoding-Suppressed cel de dominante foutmodus, die 51–76% van de gevallen beslaat (gemiddeld 65%).

Bewijs: De lineaire probe bereikt consistent een hoge accuratesse (0,61–0,88), ruim boven de karakter-n-gram oppervlakte-baseline (0,60), wat aangeeft dat de residual stream culturen helder onderscheidt.
Contrast: Echter, de generatie-accuratesse is drastisch lager (0,09–0,43).
Conclusie: Het culturele onderscheid is aanwezig in de interne staat van het model, maar wordt niet uitgegeven door de decoder. De fout ligt bij de readout, niet bij de representatie.

2. Late Decoding en Causale Lokalisatie (RQ2 & RQ3)

Laag-gewijze Emergentie: De logit lens laat zien dat de gold-token pas in de laatste 12% van de lagen de top- $k$ voorspellingen binnengaat (mediaan diepte 0,96).
Causale Grens: Activation patching bevestigt dat het wisselen van de residual streams de voorkeur van het model alleen doet omslaan in het laatste kwart van het netwerk (mediaan diepte 0,89).
Implicatie: Het netwerk codeert cultuur vroeg (probe piekt in de eerste helft), maar de causale link naar de output-token wordt pas zeer laat gelegd, samenvallend met de unembedding-laag.

3. Schalingseffecten (RQ4)

Het vergroten van de modelgrootte binnen een familie (bijv. Llama 1.2B $\to$ 8B) verbetert zowel de probe-accuratesse als de generatie-accuratesse, maar sluit het gat niet.

De kloof krimpt slechts licht (bijv. van 0,70 naar 0,63 in Llama 3.x) maar blijft substantieel, zelfs op grotere schaal.
Dit suggereert dat het simpelweg schalen van parameters het probleem van decoding suppression niet oplost.

4. Taalkonditionele Readout (RQ5)

De fout wordt gestuurd door de taal van de prompt.

Ontkoppeling: Cross-language parafrases (Engelse query vs. Inheemse Taal query) zijn ongeveer 2x meer ontkoppeld dan binnen-taal parafrases ( $r_{cross} = 0,29$ vs $r_{within} = 0,57$ ).
Asymmetrie: De richting van de bias (voordeel voor Engels vs. Inheemse Taal) volgt de taal waarin de culturele canon vandaag de dag gedocumenteerd is (bijv. Grieks/Egyptisch bevoordeelt Engelse queries; Fins/Chinees bevoordeelt inheemse queries), in plaats van tokenizer-efficiëntie of modelcapaciteit.
Bilingue Ensemble: Het nemen van de disjunctie van de Engelse en Inheemse Taal outputs (zonder training) herstelt een extra +8% absolute accuratesse (+36% relatief), wat bevestigt dat de twee modi gedeeltelijk disjuncte subsets van dezelfde representatie ontsluiten.

Betekenis en Claims

Het artikel claimt een mechanistische herformulering van culturele bias in LLM's:

Representatie vs. Readout: De primaire locatie van culturele afvlakking is de unembedding-laag, niet de residual stream. De modellen "weten" de culturele verschillen (ze zijn lineair scheidbaar), maar falen om ze te "zeggen".
Implicaties voor Mitigatie: Interventies die gericht zijn op de encoder (bijv. voortgezette pretraining op ondervertegenwoordigde corpora) kunnen helpen bij de kleine minderheid van de "Representationally Flat" gevallen, maar zullen de dominante "Decoding-Suppressed" gevallen niet direct oplossen. Effectieve mitigatie moet zich richten op de readout (bijv. retrieval-augmented generation, instruction tuning op culturele QA, of bilingue ensembling).
Beperkingen: De bevindingen zijn vastgesteld op open-source modellen met white-box toegang. De auteurs merken op dat de dominantie van "Decoding-Suppressed" een conjectuur is voor closed-source modellen, hoewel de taalkonditionele readout-voorspelling (RQ5) hierop generaliseert omdat deze enkel op outputgedrag berust. Het substraat is beperkt tot folklore (Thompson motieven) waar parallelle gold-labels constructeerbaar zijn; de transfer naar andere domeinen (bijv. biomedische misconcepties) wordt voorgesteld als een toekomstige richting, maar wordt niet als resultaat van dit onderzoek geclaimd.

Samenvattend betogen het artikel dat culturele gelijkwaardigheid in wat een model zegt, niet afgelezen kan worden uit wat het weet; de twee divergeren bij de readout-fase, en dat is waar zowel de diagnose als de reparatie op gericht moeten worden.