Lessons Without Borders? Evaluating Cultural Alignment of LLMs Using Multilingual Story Moral Generation

Titel: Lessen zonder grenzen? Het evalueren van culturele uitlijning van LLM's met behulp van meertalige generatie van morele verhalen

Auteurs: Sophie Wu en Andrew Piper (McGill University)

---

1. Het Probleem

Verhalen zijn fundamenteel voor het doorgeven van waarden en normen binnen culturen, maar de interpretatie van deze verhalen varieert sterk afhankelijk van de linguïstische en culturele context. Bestaande methoden voor het evalueren van Large Language Models (LLM's) op culturele uitlijning richten zich vaak op statische kennisvragen of het beoordelen van expliciete "goed" of "fout" oordelen. Deze benaderingen missen echter het complexe, subjectieve proces van narratieve interpretatie: het vermogen van een lezer om een algemene morele les (een "moraal") af te leiden uit een verhaal.

De kernvraag is of LLM's het vermogen hebben om de diversiteit in interpretatie na te bootsen die kenmerkend is voor menselijke lezers, of dat ze neigen naar een "culturele afvlakking" waarbij ze een enkelvoudige, universele moraal genereren die de nuances van verschillende culturen negeert.

2. Methodologie

De auteurs introduceren een nieuwe evaluatietask: meertalige generatie van verhaal-moralen. Ze bouwen een robuust experimenteel framework op dat bestaat uit drie hoofdfasen:

A. Dataverzameling

• Dataset: Een parallelle dataset van 14 verhalen (samenvattingen van romans) uit 14 verschillende taal-cultuurparen (bijv. Braziliaans-Portugees, Japans, Arabisch, etc.).
• Translatie: Elk verhaal is vertaald naar alle 14 talen om een volledig gekruist design te creëren (196 passages in totaal).
• Menselijke annotatie: Voor elk verhaal-taalpaar werden drie morele lessen gegenereerd door menselijke annotatoren (via Prolific) die specifiek gekoppeld waren aan de betreffende taal-regio. Dit resulteerde in 588 menselijke morele lessen.
• LLM-generatie: Verschillende modellen (GPT-4o, Gemini 2.5, en kleinere open-source modellen zoals Gemma3, Phi3, Aya, Qwen3) kregen de opdracht om moraal te genereren, waarbij ze werden geprompt om de rol aan te nemen van een native speaker uit de specifieke cultuur.

B. Evaluatiemethoden

De auteurs gebruiken drie complementaire methoden om menselijke en machine-gegenereerde moralen te vergelijken:

1. Semantische Similariteit: Gebruik van embedding-modellen (LaBSE, MiniLM) om de cosinus-similariteit te meten tussen moralen. Dit analyseert zowel intra-groep coherentie (hoeveel overeenkomst er is binnen een cultuur) als inter-groep divergentie (hoeveel verschillen er zijn tussen culturen).
2. Menselijke Voorkeursonderzoek: Een survey waarbij deelnemers moesten kiezen tussen twee moralen (bijv. mens vs. LLM, of in-cultuur vs. uit-cultuur) om te zien welke ze als meest passend voor het verhaal beschouwden.
3. Waarde-categorisatie: Toepassing van de theorie van Schwartz (10 universele waarden, zoals Veiligheid, Zelfstandigheid, Macht) om te analyseren welke onderliggende morele thema's door de modellen en mensen worden geactiveerd.

3. Belangrijkste Resultaten

A. Semantische Overeenkomst met Mensen

• Frontier-modellen (GPT-4o, Gemini): Deze modellen genereren moralen die semantisch zeer vergelijkbaar zijn met menselijke antwoorden en zelfs een hogere overeenkomst vertonen dan menselijke annotatoren onderling (binnen dezelfde taal). Dit suggereert dat deze modellen een semantisch "centroïde" van menselijke moraalinterpretaties hebben geleerd.
• Kleinere modellen: Presteerden slechter en bereikten niet hetzelfde niveau van semantische overeenkomst met mensen.

B. Gebrek aan Culturele Variatie (De Kernbevinding)

• Culturele Afvlakking: Hoewel de modellen menselijke moralen nabootsen, vertonen ze significante minder variatie tussen verschillende talen dan mensen doen. Menselijke moralen verschillen aanzienlijk per cultuur (bijv. een collectivistische vs. individualistische lezing), terwijl LLM's neigen naar een uniforme moraal die over alle talen heen zeer vergelijkbaar is.
• Statistiek: De cross-linguale similariteit van LLM-moralen is significant hoger dan die van mensen ($p < .001$), wat aangeeft dat de modellen culturele nuances verliezen.

C. Menselijke Voorkeur

• Menselijke deelnemers gaven een duidelijke voorkeur aan moralen die door hun eigen cultuur waren gegenereerd (in-cultuur), maar LLM-generaties werden consistent verkiest boven menselijke alternatieven, zelfs wanneer de menselijke moraal uit dezelfde cultuur kwam. Dit ondersteunt eerdere bevindingen dat mensen een voorkeur hebben voor "ongemarkeerde", vloeiende LLM-gegenereerde inhoud.

D. Waarde-analyse (Schwartz)

• LLM's neigen om veelvoorkomende, universele waarden (zoals Veiligheid en Welwillendheid) explicieter en frequenter te benadrukken dan mensen.
• Ze onderschatten zeldzamere of meer sociaal omstreden waarden (zoals Macht, Hedonisme).
• Dit patroon verklaart de hoge overeenkomst met mensen: de modellen focussen op de "veilige" centrale tendensen van menselijke waarden, maar missen de randgevallen en culturele specificiteit.

4. Belangrijkste Bijdragen

1. Nieuwe Evaluatietask: Het introduceren van "story moral generation" als een taak om culturele uitlijning te testen, in plaats van statische kennisvragen. Dit verschuift de focus van het vinden van het "juiste" antwoord naar het modelleren van de verdeling van interpretaties.
2. Meertalige Dataset: Een uniek dataset van menselijke en machine-gegenereerde moralen over 14 taal-cultuurparen, wat zeldzaam is in de NLP-literatuur.
3. Empirisch Bewijs voor Culturele Homogenisatie: Het biedt kwantitatief bewijs dat hoewel frontier-modellen menselijke interpretaties kunnen benaderen, ze falen in het reproduceren van de culturele diversiteit die essentieel is voor narratief begrip. Ze "gladstrijken" culturele verschillen.

5. Betekenis en Conclusie

De studie concludeert dat LLM's uitstekend zijn in het genereren van moraal die semantisch dicht bij de menselijke gemiddelde ligt, maar ze missen het vermogen om de culturele specificiteit en de diversiteit van interpretatie na te bootsen die menselijk narratief begrip kenmerkt.

Dit heeft belangrijke implicaties voor de ontwikkeling van LLM's:

• Cultuur is niet triviaal: Culturele uitlijning vereist meer dan het leren van feitelijke kennis; het vereist het modelleren van subjectieve interpretatieprocessen.
• Risico op bias: Door te focussen op centrale tendensen, kunnen modellen culturele nuances en minderheidsperspectieven onbedoeld onderdrukken.
• Toekomstige richting: Evaluaties van narratief begrip moeten verder gaan dan statische benchmarks en kijken naar de variabiliteit van output over verschillende culturele contexten.

De auteurs waarschuwen dat hun dataset beperkt is tot samenvattingen en dat vertalingseffecten een rol kunnen spelen, maar de bevindingen wijzen duidelijk op een fundamenteel verschil in hoe menselijke en machine-interpretatie van verhalen functioneren.