🤖 AI

CULTURESCORE: Evaluating Cultural Faithfulness in Video Generation Models

Dit artikel introduceert CultureScore, een nieuw evaluatiekader dat culturele getrouwheid ontleedt in dimensies van identiteit, context en gedrag om aan te tonen dat huidige state-of-the-art videogeneratiemodellen aanzienlijk moeite hebben met cultureel accurate representatie, waarbij ze vaak de voorkeur geven aan visuele kwaliteit boven culturele correctheid.

Oorspronkelijke auteurs: Anku Rani, Wei Dai, Shravan Nayak, Pattie Maes, Mahdi M. Kalayeh, Paul Pu Liang

Gepubliceerd 2026-06-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anku Rani, Wei Dai, Shravan Nayak, Pattie Maes, Mahdi M. Kalayeh, Paul Pu Liang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een magische filmcamera hebt die elke scène kan creëren die je beschrijft. Je zegt tegen de camera: "Laat me een familie in India een festival vieren," en de camera produceert een prachtige, high-definition video. Maar hier is de crux: de familie in de video draagt westerse pakken, eet aan een chique eettafel en schudt handen in plaats van met gevouwen handen te buigen.

Voor een standaard kwaliteitscontroleur zou deze video een perfect cijfer krijgen omdat het licht geweldig is, de mensen er echt uitzien en de camerabewegingen vloeiend zijn. Maar voor een lokale Indiër voelt de video fout aan, als een kostuumfeestje waar iedereen de verkeerde kleding heeft aangetrokken.

Dit artikel introduceert een nieuwe manier om deze "magische filmcamera's" (AI-videogeneratoren) te testen, genaamd CULTURESCORE. Het stelt dat een video niet alleen "mooi" moet zijn, maar ook "echt" moet zijn voor een specifieke cultuur.

Hier is de uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën:

1. Het Probleem: De "Perfect Foute" Video

Huidige tools die AI-video's beoordelen (zoals VideoScore) zijn als kunstcritici die alleen naar het kader kijken. Ze controleren: "Is het beeld wazig? Is de kleur helder? Beweegt de persoon vloeiend?"

De Fout: Als de AI een traditionele Indiase groet (een Namaste) vervangt door een westerse handdruk, geeft de kunstcriticus het een hoge score omdat de handdruk perfect is getekend.
De Realiteit: Voor iemand uit die cultuur is de video een mislukking. Het is alsof je een heerlijk uitziende taart serveert die naar zeep smaakt.

2. De Oplossing: De "Drielagen Taart" (CULTURESCORE)

De auteurs stellen een nieuw beoordelingssysteem voor genaamd CULTURESCORE. In plaats van alleen naar het hele plaatje te kijken, snijden ze de video in drie specifieke lagen om te zien waar de AI de fout in is gegaan:

Laag 1: Identiteit (Wie is er in de kamer?)
- De Analogie: Dragen de acteurs de juiste kleding? Zien ze eruit als de mensen die ze horen te zijn?
- Voorbeeld: Als de prompt zegt "Japanse collega's", dragen ze dan typische Japanse zakelijke kleding, of zien ze eruit als generieke westerse kantoormedewerkers?
Laag 2: Gedrag (Wat doen ze?)
- De Analogie: Bewegen ze met het juiste ritme?
- Voorbeeld: Een Namaste is niet alleen handen tegen elkaar; het is een specifieke buiging en timing. Een handdruk is een ander ritme. De AI krijgt de "danspassen" vaak fout, zelfs als de acteurs er oké uitzien.
Laag 3: Context (Waar zijn ze?)
- De Analogie: Is de achtergrond correct opgezet?
- Voorbeeld: Als het een familie diner is in een specifieke cultuur, zitten ze dan op de grond rond een lage tafel (een dastarkhwan) of aan een hoge westerse eettafel?

3. De Grote Ontdekking: De "Omgekeerde Wereld"

De onderzoekers testten drie van de slimste video-AI-modellen (Veo, LTX-2 en Wan) met prompts uit 10 verschillende landen. Ze ontdekten een schokkend patroon:

Het "Hollywood"-model: Eén model (LTX-2) maakte de meest "cinematische", hoogwaardige video's. Het kreeg de hoogste scores op traditionele kwaliteitscontroles.
Het "Culturele" model: Een ander model (Wan 2.2) maakte video's die minder "mooi" waren, maar veel meer cultureel accuraat.
De Twist: Toen echte mensen uit die landen de video's bekeken, haatten ze het "Hollywood"-model en waren ze dol op het "Culturele" model.
- De Metafoor: Het is als een restaurant waar het duurste, prachtig gepresenteerde gerecht verschrikkelijk smaakt voor de locals, terwijl de eenvoudige, zelfgemaakte maaltijd de favoriet is. De standaard beoordelaars (VideoScore) prezen het verkeerde gerecht.

4. De "Magische Woorden" Test

De onderzoekers testten ook of de AI de cultuur echt begrijpt of dat het gewoon trefwoorden onthoudt.

Ze vroegen de AI: "Laat me een moslim-Indiase familie eten laten zien." (AI doet het goed).
Daarna vroegen ze: "Laat me een moslimfamilie eten laten zien." (AI doet het fout).
De Les: De AI begrijpt de cultuur niet echt; de AI zoekt alleen naar het woord "India" of "Japan" als een trigger. Als je de landnaam weghaalt, vergeet de AI de culturele regels. Het is als een student die het antwoordmodel uit het hoofd heeft geleerd, maar de wiskunde erachter niet begrijpt.

5. Het Moeilijkste Deel: De "Dans"

Van de drie lagen was Gedrag (de acties en gebaren) het moeilijkst voor de AI om goed te krijgen.

Zelfs toen de onderzoekers de AI zeer gedetailleerde instructies gaven, bleef de AI moeite hebben om de beweging goed te krijgen.
De Analogie: De AI kan een persoon in een kimono perfect tekenen (Identiteit) en in een Japanse tuin plaatsen (Context), maar wanneer de AI probeert te laten buigen, ziet het er stijf of robotachtig uit. De "dans" van de cultuur is nog steeds erg moeilijk voor computers om te leren.

Samenvatting

Het artikel concludeert dat we de "mooie" scores niet simpelweg kunnen vertrouwen bij het beoordelen van AI-video's. Een video kan technisch perfect zijn, maar cultureel beledigend of onjuist. Om AI eerlijk en bruikbaar te maken voor de hele wereld, moeten we de Wie, de Wat en de Waar apart controleren, en we moeten luisteren naar de mensen die daadwerkelijk in die culturen leven, en niet alleen naar de machines die de beeldkwaliteit beoordelen.

Technische Samenvatting: CULTURESCORE: Het evalueren van culturele getrouwheid in videogeneratiemodellen

Probleemstelling

Naarmate videogeneratiemodellen (bijv. Veo 3.1, LTX-2, Sora) geavanceerder worden in het simuleren van de fysieke wereld, blijft hun vermogen om diverse wereldwijde culturen accuraat weer te geven een kritisch, onderbelicht front. Huidige evaluatiemetrieken, zoals VideoScore en UnifiedReward, richten zich op visuele kwaliteit, temporele consistentie en feitelijke gronding, maar falen in het beoordelen van culturele getrouwheid. Deze holistische metrieken kunnen misleidend zijn; bijvoorbeeld kan een model dat een cultureel specifieke groet (bijv. Namaste of Salam) vervangt door een generieke westerse handdruk, dezelfde hoge score ontvangen als een model dat de correcte handeling genereert.

Bestaande benchmarks voor culturele representatie (bijv. CulturalFrames, CuRE, CUBE) hebben zich primair gericht op statische tekst-naar-afbeelding (T2I) modellen. Culture is echter vaak uitgedrukt via sequentiële acties, gebaren en ritmes die statische frames niet kunnen vastleggen. Bijgevolg is er een gebrek aan frameworks die in staat zijn te redeneren over bewegingssequenties om te evalueren of gegenereerde video's voldoen aan specifieke culturele normen met betrekking tot identiteit, gedrag en context.

Methodologie: Het CULTURESCORE-framework

De auteurs stellen CULTURESCORE voor, een compositioneel evaluatieframework dat culturele getrouwheid deelt op in drie granulaire dimensies:

Identiteit: Wie wordt er gerepresenteerd en hoe? Dit omvat fysieke verschijning, klederdracht en demografische kenmerken (bijv. specifieke traditionele kleding of professionele dressancenormen).
Gedrag: Wat doen de mensen? Dit richt zich op cultureel normatieve gebaren, prosodie en expressiviteit, wat de evaluatie vereist van specifieke sequenties van beweging en houding (bijv. het ritme van een buiging of de plaatsing van de handen bij een groet).
Context: De cultureel gelokaliseerde achtergrond. Dit omvat fysieke omgevingen, omgevingsdetails (bijv. islamitische kalligrafie, Perzische tapijten) en sociale conventies (bijv. zitplaatsen).

Datacuratie en Evaluatiepipeline

Het framework wordt geoperationaliseerd via een dataset die geworteld is in CulturalFrames, aangepast voor videogeneratie:

Prompts: De auteurs hebben een evaluatiesuite samengesteld van 2.943 cultureel gevalideerde prompts verspreid over 10 landen en 5 sociaal-culturele domeinen.
Prompt Augmentatie: Om het gedrag van modellen te testen, werden prompts uitgebreid naar drie varianten:
- Base Prompt: De originele cultureel gevalideerde prompt.
- Extended Prompt: Geaugmenteerd met expliciete beschrijvingen van Identiteit, Gedrag en Context afgeleid van woordenboekdefinities.
- Geografische beperking verwijderd: Landnamen zijn verwijderd (bijv. "Moslim Indisch gezin" $\to$ "Moslim gezin") om te testen of modellen vertrouwen op expliciete geografische tokens of of ze culturele concepten hebben geïnternaliseerd.
Videogeneratie: Drie state-of-the-art modellen werden geëvalueerd: Veo 3.1 Fast (Google DeepMind), LTX-2 en Wan 2.2.
Geautomatiseerde scoring (VLM-als-Judge):
- Vraaggeneratie: Met behulp van Gemini-3-Flash genereerde het systeem 9.289 cultureel gegronde vraag-antwoord paren (QA) voor elke video, waarbij specifieke visuele en temporele details werden ingebed om te voorkomen dat men leunt op impliciete kennis.
- Evaluatie: Een Vision-Language Model (Qwen3-VL-235B) analyseerde de gegenereerde video's tegen deze QA-paren om de binaire nauwkeurigheid voor elke dimensie te bepalen.
- Scoring: De uiteindelijke CULTURESCORE is de gemiddelde nauwkeurigheid over de dimensies Identiteit, Gedrag en Context.

Menselijke Evaluatie

Om de geautomatiseerde metrieken te valideren, voerden de auteurs een studie uit met N=45 inheemse bewoners (5 per land over 9 naties) op Prolific. De deelnemers voerden het volgende uit:

Relevantie van vragen: Beoordelen of de gegenereerde QA-paren betekenisvolle probes waren.
Perceptuele nauwkeurigheid: De QA-paren beantwoorden op basis van strikt visueel bewijs.
Voorkeursrangschikking: Het rangschikken van de drie modellen op basis van algemene culturele getrouwheid.

Belangrijkste Resultaten

1. Systematisch Falen van Huidige Modellen

Geen enkel huidig model bereikt een hoge culturele getrouwheid. Het best presterende model, Wan 2.2, behaalde een algemene CULTURESCORE van slechts 56,8%.

Gedrag is de meest uitdagende dimensie: Over alle modellen heen bleven de scores voor Gedrag onder de 52% (Wan 2.2: 49,8%, LTX-2: 47,0%, Veo 3.1: 51,9%).
Context presteert het best: De scores voor Context waren het hoogst, waarbij Wan 2.2 69,3% bereikte.

2. Inversieve Correlatie met Perceptuele Metrieken

Een opvallende bevinding is de inverse relatie tussen standaard videokwaliteitsmetrieken en culturele getrouwheid:

LTX-2 behaalde de hoogste VideoScore (gemiddeld 3,34, als meest "filmisch" ervaren) maar rangschikte op de voorlaatste plaats in CULTURESCORE (51,4%).
Wan 2.2 behaalde de hoogste CULTURESCORE (56,8%) maar de laagste VideoScore (2,72).
Dit suggereert dat het optimaliseren voor perceptuele kwaliteit (bewegingsvloeiendheid, visuele getrouwheid) niet vertaalt naar culturele accuratesse en zelfs negatief gecorreleerd kan zijn.

3. Prompt-gevoeligheid en Geografische Afhankelijkheid

Extended Prompts: Het bieden van expliciete culturele begeleiding (Extended Prompts) verbeterde de scores over alle dimensies, met name voor Context (+18% tot +25% winst). Echter, Gedrag bleef hardnekkig laag, wat aangeeft dat prompt-verrijking alleen niet voldoende is om fouten in de temporele beweging op te lossen.
Geografische Triggers: Het verwijderen van landnamen uit de prompts veroorzaakte een substantiële daling in nauwkeurigheid (bijv. de Context-accuratesse van LTX-2 daalde van 62,1% naar 28,6%). Dit geeft aan dat modellen sterk vertrouwen op expliciete geografische tokens om culturele associaties te activeren, in plaats van dat zij culturele concepten als open-world kennis hebben geïnternaliseerd.

4. Afstemming met Menselijke Voorkeur

De menselijke voorkeursrangschikking stemde directioneel overeen met CULTURESCORE maar was geïnverteerd ten opzien van VideoScore:

Inheemse evaluatoren rangschikten Veo 3.1 Fast als de meest geprefereerde (gemiddelde rang 1,66), gevolgd door Wan 2.2, met LTX-2 als laatste.
VideoScore gaf onterecht de voorkeur aan LTX-2.
CULTURESCORE identificeerde correct Wan 2.2 als de meest cultureel getrouwe onder de belangrijkste kandidaten, wat het nut ervan als diagnostisch instrument valideert.

Bijdragen en Betekenis

Het artikel levert drie primaire bijdragen:

Framework Voorstel: Introductie van CULTURESCORE, een compositioneel framework dat culturele getrouwheid deelt in Identiteit, Gedrag en Context, wat een fijnmazige diagnose van modeltekortkomingen mogelijk maakt.
Benchmark Publicatie: Constructie en publieke release van een cultureel gegronde evaluatiesuite met 2.943 prompts, 6.180 gegenereerde video's en 9.289 redeneer-/QA-paren over 10 landen.
Empirische Analyse: Een uitgebreide analyse die aantoont dat huidige videogeneratiemodellen systematische culturele foutmodi vertonen, specif gezien een inverse correlatie tussen perceptuele kwaliteit en culturele getrouwheid.

Betekenis:
De auteurs stellen dat culturele getrouwheid een essentieel criterium is voor rechtvaardige toegang tot generatieve AI, met implicaties voor onderwijs, media en beleid. De studie demonstreert dat bestaande metrieken de modelselectie "actief kunnen misleiden" wanneer culturele accuratesse de prioriteit heeft. Door een diagnostisch instrument te bieden dat blootlegt waar en hoe modellen afwijken van authentieke representatie (bijv. de juiste setting maar de verkeerde handeling), biedt CULTURESCORE een fundament voor het auditeren en verbeteren van culturele representatie in generatieve videosystemen.

Beperkingen en Ethiek

De auteurs erkennen verschillende beperkingen:

Asymmetrische Dekking: Vanwege API-kosten werd Veo 3.1 geëvalueerd op een gestratificeerde steekproef (294 video's) in plaats van de volledige suite.
Geografische Scope: De menselijke evaluatie sloot Iran uit vanwege geopolitieke beperkingen.
VLM Bias: De geautomatiseerde scoring leunt op VLMs (Qwen3-VL, Gemini) die hun eigen culturele vooroordelen kunnen meebrengen.
Definitie van Identiteit: De operationalisering van "Identiteit" leunt op visuele markers (klederdracht, uiterlijk), wat het risico loopt stereotypen te versterken en de complexe concepten van geleefde ervaring of geschiedenis niet volledig kan vatten.

De auteurs positioneren CULTURESCORE als een aanvullende metriek op menselijk oordeel, niet als een zelfstandige grondwaarheid, en benadrukken dat de dataset gebruikt moet worden om replicatie en uitbreiding mogelijk te maken, in plaats van als een definitieve beschrijving van een specifieke cultuur.