Technisch Overzicht: De Cultuurtrechter: Je kunt niet afstemmen wat niet in de data zit

Probleemstelling

Huidige benaderingen van culturele afstemming in Large Language Models (LLM's) behandelen cultuur voornamelijk als een probleem tijdens de inferentie, waarbij vertrouwd wordt op prompting-strategieën, alignment tuning of benchmarking om cultureel gesitueerd gedrag op te roepen. Deze methoden gaan uit van de aanname dat modellen al voldoende culturele kennis bezitten binnen hun parameters en dat het slechts gaat om de juiste "oproepmechanismen".

De auteurs stellen dat deze aanname gebrekkig is. Zij betogen dat moderne LLM-pipelines lijden aan een "cultuurtrechter", een systematische compressie van culturele signalen tijdens de post-training fasen. Hoewel pretraining-corpora diverse taaldata bevatten, leiden post-training procedures (specifiek Supervised Fine-Tuning, Alignment en Reasoning) steeds vaker naar een prioritering van technische domeinen zoals wiskunde, programmeren en logica. Als gevolg hiervan homogeniseren deze fasen het gedrag van modellen richting dominante culturele normen (vaak Westers) en verminderen ze de dichtheid van expliciete culturele gronding. Bovendien merken de auteurs op dat meertaligheid alleen geen culturele diversiteit garandeert; web-schaal data blijft onevenredig representatief voor Westerse, Engelstalige populaties, en het toevoegen van talen slaagt er vaak niet in om de proportie van cultureel gegronde inhoud te verhogen als de bronnen niet gediversifieerd zijn.

Methodologie

Om deze "cultuurtrechter" te kwantificeren, hebben de auteurs een multidimensionaal tagging-framework ontwikkeld dat is toegepast op 5,6 miljoen datapunten verspreid over 10 diverse datasets die de gehele LLM-trainingscyclus beslaan (pretraining, instruction fine-tuning, alignment, reasoning en real-world gebruikersconversaties).

1. Dataset Selectie en Tagging

De studie analyseerde datasets waaronder CulturaX (pretraining), Dolci Instruct SFT, UltraFeedback (alignment), OpenThoughts (reasoning), Aya Dataset, PRISM en ShareLM. De auteurs gebruikten een automatische tagging-pipeline met behulp van het Command-A model, gevalideerd tegen menselijke annotaties.

De tagging-taxonomie beslaat vijf dimensies:

• Culturele Dimensie: Gebaseerd op AlKhamissi et al. (2026), waarbij cultuur wordt gecategoriseerd als Kennis (feiten, tradities), Dynamiek (sociale interacties, normen), Voorkeur (waarden, meningen), Bias (stereotypen), Algemene Cultuur (entiteiten, vertaalcontexten) of Geen Cultuur.
• Domein: bijv. Geesteswetenschappen, Wetenschappen, Code, Wiskunde, Juridisch.
• Taakintentie: bijv. Creatief Schrijven, Vertaling, Redeneren, Programmeren.
• Geolocatie: De geografische context die door de inhoud wordt gesuggereerd.
• Taal: Gedetecteerd via FastText.

2. Experimentele Evaluatie

Om te testen of expliciete culturele signalen in trainingsdata downstream-capaciteiten verbeteren, voerden de auteurs gecontroleerde fine-tuning experimenten uit op het meertalige Tiny Aya Global model (3,35B parameters) met behulp van de Dolci Instruct SFT dataset (vertaald in 66 talen, aangeduid als MDolci).

Ze vergeleken drie strategieën:

1. Culturele SFT: Exclusief fine-tunen op de subset van data die als "cultureel" is getagd (het filteren van niet-culturele data).
2. Marker-Augmented Fine-tuning: Fine-tunen op de volledige MDolci dataset, maar met het toevoegen van expliciete culturele markers (metadata-tags) aan de prompts en completions, geïnspireerd door de "treasure marking" benadering.
3. Baseline: Standaard fine-tuning zonder culturele filtering of markers.

De modellen werden geëvalueerd op culturele benchmarks (BLEnD, NormAd, BBQ) en algemene meertalige benchmarks (MGSM, GlobalMMLU-Lite) om de trade-offs tussen culturele afstemming en algemene taakprestaties te beoordelen.

Belangrijkste Bevindingen

1. De Cultuurtrechter Bestaat

Analyse laat een consistente daling zien van expliciet cultureel gegronde inhoud naarmate modellen van pretraining naar post-training bewegen:

• Pretraining (CulturaX): Bevat het hoogste percentage culturele markers (ongeveer 65%), met name in de Geesteswetenschappen, Sociale Wetenschappen en Algemene domeinen.
• Instruction Fine-Tuning (Dolci): Culturele inhoud daalt significant (ongeveer 12%).
• Alignment (UltraFeedback) & Reasoning (OpenThoughts): Culturele inhoud is minimaal (respectievelijk ongeveer 17% en <1%).
• Domeinverschuiving: Post-training data wordt gedomineerd door technische domeinen (Wiskunde, Code, Wetenschap) die inherent minder expliciete culturele gronding bevatten vergeleken met de Geesteswetenschappen of Sociale Wetenschappen.

2. Meertaligheid $\neq$ Culturele Diversiteit

Het vergroten van het aantal talen in een dataset verhoogt niet lineair de proportie van culturele inhoud. Hoewel het toevoegen van talen de geografische diversiteit van de culturele kennis vergroot (door meer unieke geolocaties te dekken), garandeert dit geen evenwichtige representatie. De auteurs observeerden een "long-tail" distributie waarbij een klein aantal regio's (bijv. India, VS, China) de culturele samples domineren, terwijl veel andere regio's zelfs in meertalige datasets ondervertegenwoordigd blijven.

3. Taakintenties en Culturele Behoeften

Er is een mismatch tussen de taken die de meeste cultuur dragen in de trainingsdata en de taken waarvoor gebruikers volgens hen cultureel bewustzijn nodig hebben.

• Trainingsdata: Vertaling en het opzoeken van lokale informatie hebben de hoogste culturele aanwezigheid.
• Gebruikersbehoeften: Een enquête onder 81 deelnemers gaf een hoge vraag naar cultureel bewustzijn bij creatief schrijven, vertaling en e-mail/bericht schrijven.
• Gap: Technische taken (programmeren, wiskunde) en medische vragen hebben de minste culturele aanwezigheid in de training, hoewel de auteurs opmerken dat culturele gronding ook voor deze domeinen gunstig is.

4. Experimentele Resultaten

• Culturele SFT (Filtering): Het simpelweg filteren voor culturele data en het daarop finetunen leverde teleurstellende resultaten op. Het verbeterde NormAd met slechts 0,2% en degradeerde de prestaties op kennisgerichte en wiskundige benchmarks, wat suggereert dat het isoleren van culturele data leidt tot catastrofaal vergeten van algemene capaciteiten.
• Marker-Augmented Fine-tuning: Deze benadering bleek superieur. Door de volledige datadistributie te behouden en expliciete culturele markers toe te voegen, bereikte het model:
  • +8,0% verbetering op NormAd (cultuur als voorkeur/dynamiek).
  • +6,0% verbetering op BBQ (cultuur als bias).
  • Behield of verbeterde de prestaties op algemene benchmarks (MGSM, GlobalMMLU), wat een betere balans aantoont tussen culturele en taakspecifieke prestaties vergeleken met de baseline.

Betekenis en Claims

Het artikel betoogt dat culturele afstemming niet uitsluitend als een inference-time probleem kan worden behandeld, omdat de noodzakelijke signalen vaak ontbreken of gecomprimeerd worden tijdens de trainingspipeline. De auteurs claimen dat:

1. Data-pipelines zijn Alignment-mechanismen: De compositie van trainingsdata, met name de verschuiving naar technische domeinen in post-training, fungeert als een primaire drijfveer van culturele homogenisering.
2. Expliciet Markeren is Effectief: In plaats van data te filteren (wat risico's op overfitting en vergeten met zich meebrengt), stelt het expliciet markeren van culturele dimensies in de trainingsdata het model in staat om langlopende culturele eigenschappen te leren en te behouden zonder de algemene taakprestaties op te offeren.
3. Intentionele Curatie is Vereist: Het bereiken van wereldwijd representatieve AI vereist intentionele curatie over talen, geolocaties, domeinen en taakintenties, in plaats van enkel te vertrouals op meertalige schaal alleen.

De auteurs concluderen dat cultuur in LLM's niet automatisch zal voortkomen uit schaal; het vereist het opzettelijk ontwerpen van trainingspipelines die de multidimensionale aspecten van cultuur zichtbaar, vertegenwoordigd en leerbaar maken. Zij stellen hun cultureel getagde dataset van 5,6 miljoen samples beschikbaar om toekomstig onderzoek in deze richting te faciliteren.