💬 NLP

TALES: A Taxonomy and Analysis of Cultural Representations in LLM-generated Stories

Dit artikel introduceert TALES, een uitgebreid framework bestaande uit een taxonomie van culturele misrepresentaties en een grootschalige evaluatie van 6 LLM's, die onthult dat 88% van de door AI gegenereerde verhalen over Indiase culturen fouten bevat, wat met name invloed heeft op talen met een midden- of laagwaardige middelen en peri-urbane narratieven.

Oorspronkelijke auteurs: Kirti Bhagat, Shaily Bhatt, Athul Velagapudi, Aditya Vashistha, Shachi Dave, Danish Pruthi

Gepubliceerd 2026-02-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kirti Bhagat, Shaily Bhatt, Athul Velagapudi, Aditya Vashistha, Shachi Dave, Danish Pruthi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, goed onderlegde robotvriend hebt die ervan houdt om verhalen te vertellen. Je vraagt de robot om een verhaal te schrijven over een bruiloft in een klein dorp in India, of een jeugdherinnering in een bruisende stad. Je verwacht dat de robot de lokale sfeer vangt—de specifieke snacks, de juiste familietitels, de unieke tradities.

Maar volgens dit artikel, TALES, maakt die robotvriend vaak de details fout. Sterker nog, het is alsof je een toerist vraagt die alleen een reisbrochure heeft gelezen om jouw geboortestad te beschrijven; ze krijgen de grote bezienswaardigheden misschien wel goed, maar ze zullen waarschijnlijk de lokale straattaal, het eten en de dagelijkse routines door elkaar halen.

Hier is een eenvoudige uitsplitsing van wat de onderzoekers hebben gevonden, gebruikmakend van enkele alledaagse analogieën:

1. Het Probleen: Het "Reisbrochure"-brein van de Robot

De onderzoekers wilden weten: Wanneer AI verhalen vertelt over de Indiase cultuur, klopt het dan?
Ze ontdekten dat 88% van de verhalen gegenereerd door populaire AI-modellen fouten bevatte. Dit waren niet zomaar kleine typefoutjes; het waren culturele missers.

Denk aan een chefkok die probeert een regionale gerecht te bereiden.

De Fout: De chef doet een ingrediënt voor een dessert (zoals suiker) in een hartig gerecht (zoals een curry) omdat hij denkt dat "Indiaas eten" één ding is.
De Realiteit: De onderzoekers ontdekten dat de AI vaak specifieke regionale gerechten door elkaar haalde, de verkeerde familietitels gebruikte (bijvoorbeeld een mannelijk familielid "tante" noemen) of gebeurtenissen beschreef die in het echte leven simpelweg niet voorkomen (zoals een schoolbus met een conducteur met een kaartjesmachine).

2. De Tool: De "Culturele Spiekbrief" (TALES-Tax)

Voordat ze de fouten konden tellen, hadden de onderzoekers een manier nodig om ze te categoriseren. Ze gokten niet zomaar; ze vroegen echte mensen uit India (9 focusgroepen en 15 individuele enquêtes) om de AI-verhalen te lezen en aan te geven wat er "niet klopte".

Op basis van deze feedback creëerden ze een Culturele Spiekbrief (genaamd TALES-Tax) met zeven categorieën fouten:

Culturele Onjuistheid: Feiten fout krijgen (bijv. zeggen dat een specifieke snack bij het ontbijt wordt gegeten terwijl het eigenlijk een tussendoortje is).
Onwaarschijnlijke Scenario's: Gebeurtenissen verzinnen die nep aanvoelen (bijv. een straatartiest die een complex klassiek instrument speelt tijdens een ochtendassemblage op school).
Clichés: Terugvallen op stereotypen (bijv. aannemen dat iedereen in een bepaalde regio een specifiek type koffie drinkt of traditionele feestkleding naar school draagt).
Oversimplificatie: Unieke details gladstrijken (bijv. alle Indiase kunst "Rangoli" noemen in plaats van de specifieke lokale naam te gebruiken).
Feitelijke Fouten: Geografie of geschiedenis fout krijgen (bijv. zeggen dat er een woestijn naast een stad ligt die eigenlijk groen is).
Taalfouten: Namen verkeerd spellen of familiewoorden onjuist gebruiken.
Logische Fouten: De regels van hoe dingen werken breken (bijv. een personage dat in een drinkwaterput baadt).

3. De Grote Test: De "Proeverij" met 108 Experts

De onderzoekers keken niet naar slechts één verhaal. Ze huurden 108 experts in uit 71 verschillende regio's van India. Dit waren moedertaalsprekers die hun lokale culturen van binnen en van buiten kenden.

Ze vroegen deze experts om 540 verhalen te lezen, geschreven door 6 verschillende AI-modellen (inclusief grote namen zoals GPT-4 en Gemini) in 14 verschillende talen.

De Resultaten:

De "Rijke" vs. "Arme" Kloof: De AI was veel beter in het vertellen van verhalen over grote, beroemde steden (Tier-1) en in het Engels. Wanneer het verhaal zich afspeelde in een kleiner stadje of in een minder algemene Indiase taal werd geschreven, verviervoudigden de fouten.
De "Generieke" Valstrik: Sommige AI-modellen probeerden fouten te vermijden door zeer saaie, generieke verhalen te schrijven zonder enige culturele details. Anderen probeerden creatief te zijn, maar kregen de details fout. Geen van beide benaderingen was goed.
Herkenbaarheid: Vanwege deze fouten voelden de verhalen "onherkenbaar" aan voor de mensen die ze zouden moeten vertegenwoordigen. Het is als het kijken naar een film over je eigen geboortestad waarbij de acteurs met een nepaccent praten en het verkeerde eten eten; je kunt er simpelweg geen connectie mee maken.

4. De Grote Verrassing: De "Kennis vs. Prestatie" Paradox

Dit is het meest interessante deel. De onderzoekers vroegen zich af: "Is de AI gewoon onwetend? Weet de AI de feiten niet?"

Om dit te testen, maakten ze van de fouten een quiz (genaamd TALES-QA). Ze stelden de AI directe vragen zoals: "Wat is het traditionele voedsel dat bij deze bruiloft wordt geserveerd?" of "Waar staat dit standbeeld?".

Het Schokkende Resultaat:

Wanneer gevraagd werd als een quiz, kreeg de AI de antwoorden 76% van de tijd goed (in het Engels) en 60% van de tijd (in Indiase talen).
De Conclusie: De AI kent de feiten. De informatie zit in zijn brein. Maar wanneer de AI probeert een verhaal te schrijven, faalt het in het correct toepassen van die kennis.

De Analogie:
Stel je een student voor die een meerkeuze-examen over geschiedenis kan afronden met een hoog cijfer (90% goed), maar wanneer er gevraagd wordt om een geschiedenisessay te schrijven, verzint hij wilde, onjuiste feiten. De student is niet "onwetend"; hij kan de kennis simpelweg niet toepassen in een creatieve, open context.

Samenvatting

Het paper concludeert dat huidige AI-modellen lijken op overmoedige toeristen. Ze hebben de reisgidsen gelezen (ze hebben de data), maar wanneer ze een verhaal proberen te vertellen over een lokale cultuur, vertrouwen ze op stereotypen, halen ze details door elkaar en slagen ze er niet in de ware "smaak" van de plek te vangen. Dit is vooral het geval bij kleinere stadjes en minder algemene talen.

De onderzoekers hopen dat hun "Culturele Spiekbrief" en "Quiz" ontwikkelaars zullen helpen om dit te repareren, zodat toekomstige AI verhalen kan vertellen die echt aanvoelen en respectvol zijn naar de mensen aan wie ze bedoeld zijn.

Technische Samenvatting: TALES – Een Taxonomie en Analyse van Culturele Representaties in door LLM gegenereerde Verhalen

Probleemstelling

Hoewel Large Language Models (LLM's) aanzienlijk zijn geëvolueerd in creatieve schrijftaken, falen ze vaak in het accuraat representeren van diverse niet-Westerse culturen, waarbij ze vaak stereotypen, feitelijke fouten en culturele homogenisering in stand houden. Bestaande evaluaties van culturele competentie in AI richten zich grotendeels op kennisretrieval, waarde-afstemming of het naleven van normen in gesloten taken. Er is een kritiek gat in de evaluatie van culturele representatie in open-ended, generatieve taken (zoals storytelling), waar "juistheid" subjectief is en geworteld is in de geleefde ervaringen van gemeenschappen. Specifiek is er een gebrek aan gestructureerde kaders om te identificeren hoe LLM's culturele identiteiten in India misrepresenteren, een regio die gekenmerkt wordt door enorme linguïstische, geografische en culturele diversiteit.

Methodologie

De auteurs stellen TALES voor (Taxonomy and Analysis of Cultural Representations in LLM-generated Stories), een door de gemeenschap gecentreerd evaluatiekader bestaande uit drie hoofdfasen:

1. Ontwikkeling van een Taxonomie (TALES-Tax)

Om RQ1 aan te pakken (Hoe misrepresenteren LLM's diverse culturele identiteiten?), voerden de onderzoekers een kwalitatieve studie uit met behulp van:

Focusgroepen (N=9) en Individuele Enquêtes (N=15) met deelnemers uit diverse Indiase regio's.
Deelnemers beoordeelden door LLM gegenereerde verhalen (gebruikmakend van GPT-4) gebaseerd op onderwerpen zoals festivals, bruiloften en het dagelijks leven.
Door middel van reflexieve thematische analyse op de opmerkingen van deelnemers en de gemarkeerde tekstfragmenten, leidde het team TALES-Tax af, een taxonomie van zeven categorieën van culturele misrepresentatie:
1. Culturele Onnauwkeurigheid: Onjuiste beschrijvingen van symbolen, tradities of overtuigingen.
2. Onwaarschijnlijke Scenario's: Contextueel onwaarschijnlijke gebeurtenissen gebaseerd op lokale normen.
3. Clichés: Overmatig gebruik van stereotypen of geromantiseerde tropes.
4. Oversimplificatie: Het homogeniseren van complexe culturele elementen.
5. Feitelijke Fout: Onjuiste objectieve informatie (bijv. geografie, geschiedenis).
6. Linguïstische Onnauwkeurigheid: Spelfouten, grammatica of ongepaste code-switching.
7. Logische Fout: Narratieve inconsistenties.

2. Grootschalige Menselijke Evaluatie

Om RQ2 aan te pakken (Hoe frequent zijn deze misrepresentaties?), voerde het team een grootschalige annotatiestudie uit:

Geëvalueerde Modellen: 6 populaire LLM's (2 closed-source: GPT-4.1, Gemini 2.5 Pro; 4 open-source: Llama 3.3 70B, Gemma 3 27B, Qwen 3 32B, Aya 32B).
Annotatoren: 108 "expert" annotatoren met moedertaalbekwaamheid en geleefde ervaring uit 71 regio's over heel India, dekking van 14 talen (Engels + 13 Indic-talen).
Data: 540 verhalen gegenereerd met prompts gebaseerd op Hofstede's "culturele ui"-model (Symbolen, Helden, Rituelen, Waarden).
Annotatie: Annotatoren markeerden fragmenten van misrepresentatie met behulp van TALES-Tax en beoordeelden de relatabiliteit van het verhaal op een 5-punts Likert-schaal.
Analyse: Statistische analyse (Mann–Whitney U tests) vergeleken de frequentie van misrepresentaties over taalbron-niveaus (Hoog, Midden, Laag) en regionale tiers (Tier-1, Tier-2, Tier-3).

3. Meten van Culturele Kennis (TALES-QA)

Om RQ3 aan te pakken (Zijn misrepresentaties het gevolg van een gebrek aan culturele kennis?), deden de onderzoekers het volgende:

De geannoteerde fragmenten van misrepresentatie omzetten in zelfstandige vragen (TALES-QA).
GPT-4.1 gebruiken om kandidaat-vragen te genereren, die vervolgens door menselijke experts werden geverifieerd en verfijnd.
Een dataset van 1.683 vragen (1.115 in Indic-talen, 568 in het Engels) gecreëerd, variërend in formaten (Eén-woord, Invuloefening, Meerkeuzevraag, Waar/Niet waar), die verschillende vormen beslaan (Eén woord, Invuloefening, MCQ, True/False).
Dezelfde 6 modellen geëvalueerd op deze vraagencatalogus om te bepalen of zij over de onderliggende kennis beschikten die ze in storytelling niet konden toepassen.

Belangrijkste Resultaten

Prevalentie en Distributie van Misrepresentaties

Hoge Frequentie: 88% van de gegenereerde verhalen bevatte ten minste één culturele misrepresentatie. Gemiddeld waren er 5,42 misrepresentaties per verhaal (ongeveer één elke 5 zinnen).
Taalverschillen: Misrepresentaties namen significant toe in niet-Engelse talen.
- Talen met gemiddelde bronnen zagen een toename van 56% in misrepresentaties vergeleken met het Engels.
- Talen met weinig bronnen zagen een vervierfoudiging van misrepresentaties.
- Linguïstische fouten waren de dominante categorie in niet-Engelse verhalen.
Regionale Verschillen: Verhalen die zich afspeelden in Tier-3 (peri-urbaan/landelijk) regio's bevatten aanzienlijk meer misrepresentaties dan in Tier-1 regio's. Culturele onnauwkeurigheden en feitelijke fouten namen het sterkst toe voor Tier-3 regio's.
Relatabiliteit: De gemiddelde relatabiliteitsscore was 3,25/5. Er was een matige negatieve correlatie ( $r_s = -0,27$ ) tussen het aantal misrepresentaties en de relatabiliteit van het verhaal. Closed-source modellen ontvingen over het algemeen hogere relatabiliteitsscores dan open-source modellen.

Culturele Kennis vs. Generatieve Toepassing

Kennisgat: Ondanks de hoge frequentie van misrepresentaties in verhalen, vertoonden modellen verrassend hoge nauwkeurigheid op TALES-QA (zelfstandige vragen).
- Engels: Gemiddelde nauwkeurigheid was 76,9%.
- Indic-talen: Gemiddelde nauwkeurigheid daalde naar 59,8%, met de laagste prestaties in talen met weinig bronnen.
Implicatie: De primaire oorzaak van misrepresentatie is niet een gebrek aan culturele kennis. In plaats daarvan worstelen modellen ermee om opgeslagen culturele kennis trouw toe te passen bij het genereren van open-ended, contextrijke narratieven.

Model-specifieke Bevindingen

Gemini 2.5 Pro presteerde het beste overall, genereerde de meest cultureel rijke verhalen (hoge Cultural Specific Item count) met de laagste fractie misrepresentaties.
LLaMA 3.3 70B genereerde minder misrepresentaties per verhaal, maar vertoonde ook de laagste culturele rijkdom (minste culturele items), wat duidt op een neiging naar "geen-representatie" (generieke tekst) in plaats van actieve misrepresentatie.
Aya 32B en Qwen 3 32B genereerden een hoge culturele rijkdom, maar ook een hoog percentage misrepresentaties.

Belangrijkste Bijdragen

TALES-Tax: Een nieuwe, door de gemeenschap ontwikkelde taxonomie van zeven categorieën van culturele misrepresentaties, ontwikkeld via focusgroepen en enquêtes met Indiase deelnemers.
Grootschalige Evaluatie: Een uitgebreide menselijke evaluatie met 108 moedertaalsprekers uit 71 regio's, wat de eerste fijnmazige analyse biedt van culturele misrepresentatie over 6 modellen, 14 talen en diverse Indiase regio's.
TALES-QA: Een zelfstandige vraagencatalogus van 1.683 vragen, ontworpen om culturele kennis te ontkoppelen van generatieve capaciteit, wat onthult dat modellen vaak wel de kennis bezitten maar deze niet correct toepassen in storytelling.
Empirisch Bewijs van Gaten: De studie levert kwantitatief bewijs dat culturele misrepresentaties worden verergerd in talen met gemiddelde/lage bronnen en in peri-urbane regio's, wat specifieke gebieden voor verbetering in AI-ontwikkeling aanwijst.

Betekenis en Claims

De paper claimt dat het werk significant is omdat het verder gaat dan eenvoudige kennisretrieval-metrieken om culturele representatie in generatieve settings te evalueren door de lens van de geleefde ervaringen van gemeenschapsleden.

Gemeenschap-gecentreerde Aanpak: Door de taxonomie en evaluatie te funderen in de perspectieven van diverse Indiase deelnemers, daagt de studie het "Westerse-centrische" ontwerp van huidige AI-systemen uit en benadrukt het de specifieke schade die wordt toegebracht aan gemarginaliseerde gemeenschappen binnen gemarginaliseerde regio's (bijv. landelijk India).
Kennis vs. Toepassing: De bevinding dat modellen culturele vragen correct kunnen beantwoorden maar toch falen in het accuraat representeren van cultuur in verhalen, suggereert een fundamenteel gat in culturele alignment tijdens generatie. Dit geeft aan dat het simpelweg vergroten van trainingsdata of kennisbases onvoldoende is; modellen hebben betere mechanismen nodig om culturele context toe te passen in open-ended taken.
Toekomstige Richtingen: De auteurs betogen dat AI-systemen ontworpen moeten worden om met culturele onzekerheid om te gaan (bijv. door te onthouden of vervolgvragen te stellen) in plaats van culturele details te hallucineren. De release van TALES-Tax en TALES-QA biedt een gestructureerde basis voor toekomstig onderzoek om deze misrepresentaties te mitigeren en culturele competentie in niet-Westerse contexten te verbeteren.

De auteurs hanteren een bescheiden houding en erkennen beperkingen zoals het gebruik van het Engels voor de initiële focusgroepen en het specifieke prompt-ontwerp, waarbij zij opmerken dat hun werk dient als een startpunt voor het begrijpen en evalueren van culturele misrepresentaties in plaats van een definitief eindpunt.