Cultural Authenticity: Comparing LLM Cultural Representations to Native Human Expectations

Titel: Culturele Authenticiteit: Het Vergelijken van LLM-Cultuurrepresentaties met Verwachtingen van Inheemse Mensen

Auteurs: Erin MacMurray van Liemt, Aida Davani, Sinchana Kumbale, Neha Dixit, Sunipa Dev (Google Research)
Datum: 7 april 2026 (Preprint)

---

1. Het Probleem

Huidige evaluaties van Large Language Models (LLM's) op culturele representatie richten zich voornamelijk op twee proxies: culturele diversiteit (hoe breed het aanbod is) en feitelijke nauwkeurigheid (zijn de feiten correct?). Er bestaat echter een cruciale kloof in het beoordelen van culturele uitlijning (cultural alignment).

De kernvraag is niet alleen of een model feitelijke informatie over een cultuur heeft, maar of de gegenereerde inhoud de prioriteiten en percepties van de lokale bevolking weerspiegelt. Bestaande methoden gebruiken vaak top-down benaderingen (zoals Hofstede's dimensies of vooraf gedefinieerde surveys) die aannemen dat modellen een onderliggend "waarde-systeem" hebben dat vergelijkbaar is met dat van mensen. Dit paper stelt dat dit een onjuiste premisse is en dat modellen vaak een "toeristische blik" (tourist gaze) hebben: ze focussen op exotische, oppervlakkige markers in plaats van de diepgewortelde sociale prioriteiten die lokale bewoners belangrijk vinden.

2. Methodologie

De auteurs introduceren een mensgericht raamwerk om de uitlijning van LLM-generaties met lokale verwachtingen te evalueren. De studie bestaat uit twee fasen:

Fase 1: Het Etableren van een Menselijke Baseline (Study 1)

• Data: Gebruik van open-ended surveyantwoorden van 5.629 deelnemers uit 13 landen (focus op 9 landen: Brazilië, Frankrijk, Duitsland, India, Indonesië, Italië, Japan, Mexico, Zuid-Korea).
• Vraag: "Wanneer je aan je cultuur denkt, welke soorten culturele artefacten, praktijken of andere attributen vind je het belangrijkst?"
• Verwerking:
  • De open-ended antwoorden werden gemap naar een gestructureerde set van 11 culturele facetten (bijv. Architectuur, Keuken, Communicatie, Mode, Evenementen, Belangrijke Figuren, Performance & Kunst, Religieuze Rituelen, Sociale Praktijken, Sport, Waarden/Normen/Geloof/Moraal - VNBM).
  • Een geautomatiseerde classifier (Gemini 2.5 Flash) labelde de antwoorden, met een menselijke validatie die een precisie van 97% opleverde.
• Output: Een Cultural Importance Vector ($v_c$) per land. Dit is een vector van lengte 11 die de relatieve prioriteit aangeeft die de lokale bevolking aan elk facet toekent (som = 1.0). Dit dient als de "ground truth".

Fase 2: Meten van LLM-Representaties (Study 2)

• Modellen: Drie state-of-the-art LLM's: Gemini 2.5 Pro, GPT-4o, en Claude 3.5 Haiku.
• Prompting: De modellen kregen een gevarieerde set prompts (85 templates) per land, met syntactische diversificatie (actief/passief, imperatief, etc.) en verschillende use-cases (informatie zoeken, content generatie). Per land werden 425 antwoorden gegenereerd.
• Verwerking: Een autorater identificeerde welke van de 11 facetten in de antwoorden voorkwamen.
• Output: Een Cultural Representation Vector ($\hat{v}_{c,M}$) per model per land, gebaseerd op de genormaliseerde frequentie van facetten in de gegenereerde tekst.

Evaluatiemetrics

De uitlijning tussen de menselijke vector ($v_c$) en de modelvector ($\hat{v}_{c,M}$) werd gemeten met:

1. Pearson Correlatie Coëfficiënt ($\rho$): Lineaire relatie in prioritering.
2. Cosine Similariteit ($S_C$): Richtingsele overeenkomst in de hiërarchie van aspecten.
3. Mean Squared Error (MSE): Straft grote afwijkingen in kritieke culturele pijlers af.

3. Belangrijkste Resultaten

RQ1: Westerse Nabijheid beïnvloedt de volgorde van belangrijkheid

• Er is een duidelijke geografische bias. Voor GPT-4o en Claude neemt de uitlijning af naarmate de culturele afstand tot de VS toeneemt (gemeten via de Cultural Fixation Index).
• Gemini 2.5 Pro toont een stabielere prestatie over de regio's heen, maar Claude heeft consequent de laagste scores.
• Dit suggereert dat frontier-modellen beter gekalibreerd zijn op culturen die lijken op de VS, en moeite hebben met de waardestructuren van verder verwijderde culturen.

RQ2: Systematische Facet-Misalignering

• Modellen vertonen een systematische fout: ze over-indexeren op alle facetten gelijkmatig in plaats van de specifieke prioriteiten van de menselijke baseline te volgen.
• In plaats van een gefocust antwoord te geven op wat mensen belangrijk vinden, geven modellen een "encyclopedische" output die alle aspecten even zwaar weegt. Dit verbergt de nuances van menselijke prioriteiten.
• Specifiek worden facetten als Performance & Kunst, Keuken en VNBM vaak verkeerd gewogen ten opzichte van de menselijke verwachtingen.

RQ3: Systemische Fouten in Algorithmische Authenticiteit

• De foutpatronen tussen de drie modellen zijn extreem sterk gecorreleerd ($\rho > 0.97$).
• Dit betekent dat de misrepresentatie niet toevallig of model-specifiek is, maar een systemische bias is die voortkomt uit de onderliggende trainingsdata (waarschijnlijk een homogeniseerde "digitale mediascape" die door de Westerse wereld is gedomineerd).
• Het wisselen van model biedt dus geen oplossing voor culturele misrepresentatie; ze maken allemaal dezelfde "fouten".

4. Bijdragen en Significantie

1. Van Nauwkeurigheid naar Authenticiteit: Het paper verschuift de evaluatieparadigma van "feitelijke juistheid" naar "culturele authenticiteit". Het meet niet of een model iets weet, maar of het prioriteiten stelt zoals de lokale bevolking dat doet.
2. Bottom-up Baseline: In plaats van vooraf gedefinieerde taxonomieën te gebruiken, induceert het paper een ground-truth vanuit de open-ended antwoorden van de mensen zelf, wat de "representatieve agentie" (het recht van een gemeenschap om hun eigen identiteit te definiëren) respecteert.
3. Kritiek op de "Toeristische Blik": De auteurs tonen aan dat LLM's vaak vasthouden aan het "Front Stage" van cultuur (stereotypen, exotische rituelen, toeristische attracties) en het "Back Stage" negeren (de dagelijkse, diepgewortelde sociale normen en waarden die voor locals essentieel zijn).
4. Empirisch Bewijs voor Systemische Bias: De hoge correlatie in fouten tussen verschillende top-modellen bewijst dat de huidige trainingsparadigma's een gedeelde, data-gedreven bias bevatten die de agency van het "Global South" ondermijnt.

Conclusie

De studie concludeert dat huidige frontier LLM's nog niet authentiek culturele hiërarchieën kunnen weergeven. Ze produceren vaak een "verwaterde" versie van cultuur die alle facetten even zwaar weegt, in plaats van de specifieke, lokale prioriteiten te reflecteren. Om echte culturele uitlijning te bereiken, moeten evaluatiemethoden verschuiven van het controleren van feiten naar het meten van de fideliteit van de informatiehiërarchie ten opzichte van menselijke verwachtingen.