Prompt Programming for Cultural Bias and Alignment of Large Language Models

Dit artikel valideert en breidt een cultureel uitlijningskader voor grote taalmodellen uit door het gebruik van DSPy voor prompt-programmering, waarmee culturele vooroordelen systematisch worden geoptimaliseerd en verbeterd ten opzichte van handmatige prompt-engineering.

De kern

De Cultuur-Compaan voor AI: Hoe we Chatbots leren omgaan met de wereld

Stel je voor dat je een zeer slimme, maar nogal eenzijdige robot hebt. Deze robot is opgeleid met enorme hoeveelheden tekst uit internet, maar het merendeel daarvan komt uit de westerse wereld (zoals Amerika en Europa). Als je deze robot vraagt: "Wat is geluk?" of "Wat vind je van autoriteit?", geeft hij altijd een antwoord dat past bij die westerse cultuur.

Het probleem? De wereld is niet één groot Amerika. In Japan, Brazilië of Nigeria worden vragen anders beantwoord. Als die robot nu helpt bij het maken van beleidsplannen voor die landen, kan hij onbedoeld verkeerde adviezen geven omdat hij de lokale cultuur niet snapt.

Dit is precies waar dit onderzoek over gaat. De auteurs van het Los Alamos National Laboratory hebben gekeken hoe we deze "cultuur-blindheid" bij grote taalmodellen (zoals Llama en Gemma) kunnen oplossen.

Hier is de uitleg, vertaald naar alledaagse taal:

1. Het Probleem: De "Westerse Bril"

De onderzoekers begonnen met een simpele test. Ze gaven verschillende AI-modellen dezelfde vragen over geluk, vertrouwen en vrijheid.

• Het resultaat: Zonder enige hulp zagen ze dat alle AI-modellen een heel vergelijkbaar antwoord gaven. Het was alsof ze allemaal door dezelfde westerse bril keken. Ze zaten dicht bij elkaar op een kaart, maar ver weg van de echte mensen in andere landen.
• De metafoor: Het is alsof je een Amerikaanse kok vraagt om een Thais gerecht te koken. Zonder instructies maakt hij waarschijnlijk een pizza, omdat dat is wat hij het vaakst heeft gedaan.

2. De Eerste Oplossing: De "Handgeschreven Brief" (Prompt Engineering)

In eerdere studies probeerden mensen dit op te lossen door de AI een specifiek verzoek te sturen. Ze schreven bijvoorbeeld: "Je bent een burger van Brazilië, hoe zie jij dit?"

• Wat gebeurde er? Dit hielp! De AI begon meer te lijken op een Braziliaanse.
• Het nadeel: Mensen moesten dit handmatig doen voor elk land. Het was als het schrijven van duizenden unieke brieven. Het werkte, maar het was veel werk en niet altijd perfect.

3. De Nieuwe Oplossing: De "Slimme Architect" (Prompt Programming met DSPy)

Hier komt de innovatie van dit papier. In plaats van dat een mens handmatig een brief schrijft, gebruikten ze een slimme software-tool genaamd DSPy.

• Hoe werkt het? Stel je voor dat je in plaats van zelf te koken, een slimme chef-kok (de computer) hebt die duizenden recepten uitprobeert.
  • De onderzoekers zeggen tegen de chef: "Probeer duizend verschillende manieren om de AI te vertellen dat hij een Braziliaanse moet zijn. Kies het recept dat het dichtst bij de echte Braziliaanse antwoorden ligt."
  • De computer (DSPy) schrijft en herschrijft de instructies automatisch, test ze, en verbetert ze tot hij de perfecte "cultuur-bril" heeft gevonden.
• Het resultaat: Deze geautomatiseerde methode werkte vaak nog beter dan de handgeschreven brieven. De AI werd niet alleen "Braziliaans", maar paste zich ook veel nauwkeuriger aan aan de specifieke nuances van dat land.

4. Wat hebben ze ontdekt?

De onderzoekers hebben dit getest op vijf verschillende open-source AI-modellen en voor tientallen landen.

• Bevestiging: Ja, de "westerse bias" zit er echt in, ook bij de nieuwste open-source modellen.
• De Winst: Door de "Slimme Architect" (DSPy) te gebruiken, kon de AI veel beter schakelen tussen culturen. Voor landen die heel verschillend zijn van de westerse norm (zoals Jordanië of Nigeria), was de verbetering enorm. Voor westerse landen was de verbetering kleiner, omdat de AI daar al dichtbij zat.
• De les: Je kunt een AI niet zomaar "cultuurloos" maken. Je moet hem bewust trainen om de bril van de gebruiker op te zetten. En het beste werkt als je een computer laat zoeken naar de beste manier om die bril op te zetten, in plaats van dat een mens het zelf probeert.

Waarom is dit belangrijk?

Stel je voor dat deze AI's worden gebruikt om wetten te schrijven, nieuws te samenvatten of internationale onderhandelingen te ondersteunen. Als de AI de cultuur van de mensen niet begrijpt, kan hij beslissingen nemen die voor hen onaanvaardbaar of onlogisch zijn.

Kortom:
Deze paper laat zien dat we AI's niet hoeven te zien als robots die alles "weten". Ze hebben een voorkeur (een bias). Maar door slimme software te gebruiken om hun instructies automatisch te optimaliseren, kunnen we ze leren om de wereld te zien door de ogen van jouw cultuur, in plaats van alleen door die van Silicon Valley. Het is alsof we de AI een cultuur-compass geven die automatisch de juiste richting wijst, afhankelijk van waar je je bevindt op de wereldkaart.

Technische samenvatting

Probleemstelling

Cultuur vormt de basis voor redenering, waarden, prioritering en strategische besluitvorming. Grote Taalmodellen (LLMs) vertonen echter vaak culturele biases die niet overeenkomen met de doelpopulaties. Omdat LLMs steeds vaker worden ingezet voor strategische besluitvorming, beleidsondersteuning en documenttechnische taken (zoals samenvattingen, categorisatie en auditing), kan een gebrek aan culturele uitlijning leiden tot analyses en aanbevelingen die de waarden van de doelgroep veronachtzamen en in plaats daarvan de standaardvoorkeuren van het model weerspiegelen.

Eerdere werken (zoals Tao et al. [42]) hebben aangetoond dat cultuurspecifiek prompting de uitlijning kan verbeteren, maar deze studies waren beperkt tot:

1. Propriëtaire modellen (gesloten systemen).
2. Handmatige prompt engineering, wat vaak niet schaalbaar of reproduceerbaar is.

De auteurs stellen twee kernvragen:

1. Gelden de bevindingen van Tao et al. ook voor open-weight LLMs?
2. Is prompt programming (geautomatiseerde optimalisatie) effectiever dan handmatige prompt engineering voor culturele uitlijning?

Methodologie

De auteurs volgen en breiden het bestaande framework van Tao et al. uit, met een focus op open-source modellen en geautomatiseerde prompt-optimalisatie via DSPy.

1. Data en Benchmark (IVS):

• Er wordt gebruik gemaakt van de Integrated Values Surveys (IVS), een geharmoniseerde integratie van de World Values Survey (WVS) en European Values Study (EVS).
• Een culturele ruimte wordt geconstrueerd met behulp van Principal Component Analysis (PCA) op tien survey-indicatoren (bijv. geluk, sociale vertrouwen, autoriteit).
• De assen worden geïnterpreteerd als Survival vs. Self-Expression en Traditional vs. Secular (Inglehart–Welzel kaart).
• Landen/territoria krijgen referentiecoördinaten ($\nu_{IVS}^c$) gebaseerd op menselijke respondenten.

2. Modellen:
De studie test vijf open-weight modellen van verschillende schalen en trainingsregimes:

• Llama 3.3 (70B)
• Llama 4 (16x17B)
• Gemma 3 (27B)
• GPT-OSS (20B en 120B)

3. Drie Prompting Regimes:
De prestaties worden vergeleken onder drie condities:

• Geen culturele conditionering: Generieke vragen zonder specifieke persona.
• Handmatige Culturele Prompt Engineering: Een vaste prefix wordt toegevoegd (bijv. "Je bent een burger van [Land]").
• Culturele Prompt Programming (DSPy): Het gebruik van DSPy om prompts te compileren en te optimaliseren. Hierbij wordt de instructie ($\theta$) geautomatiseerd getuned om de culturele afstand tot de menselijke benchmark te minimaliseren.

4. Optimalisatie met DSPy:

• Het doel is het minimaliseren van de Euclidische afstand in de IVS-ruimte tussen het modelantwoord en de menselijke referentie.
• Twee teleprompters worden geëvalueerd:
  • COPRO: Cooperatieve Prompt Optimalisatie (focus op instructie-herformulering).
  • MIPROv2: Multiprompt Instruction PRoposal Optimizer (breder zoeken, inclusief few-shot voorbeelden).
• Er wordt getest met twee "proposer" modellen (modellen die de nieuwe prompts genereren): een klein model (Llama 3.2 1B) en een groot model (GPT-OSS 120B).

Belangrijkste Bijdragen

1. Validatie op Open-Source Modellen: De bevindingen van Tao et al. (dat modellen een Westerse bias hebben en dat conditionering helpt) worden bevestigd voor een breed scala aan open-weight modellen.
2. Introductie van Prompt Programming: Het toepassen van DSPy voor culturele uitlijning, waarbij prompts worden behandeld als optimaliseerbare programma's in plaats van statische teksten.
3. Vergelijkende Evaluatie: Een systematische vergelijking tussen handmatige engineering en DSPy-geoptimaliseerde prompts, inclusief de impact van de grootte van het proposer-model.
4. Robuustheidstest: Gebruik van 5-voudige cross-validatie om te testen of de geoptimaliseerde prompts generaliseren naar landen die niet in de trainingsset zaten.

Resultaten

• Systematische Bias: Zonder culturele conditionering clusteren alle open-weight modellen dicht bij elkaar in een gebied dat sterk overeenkomt met Westerse waarden (hoge "Self-Expression", lage "Traditional" waarden). Dit bevestigt een gedeelde "default prior".
• Effectiviteit van Conditionering: Zowel handmatige prompting als DSPy-programmering verkleint de culturele afstand significant ten opzichte van de generieke baseline.
• DSPy vs. Handmatig:
  • DSPy presteert over het algemeen beter dan handmatige engineering.
  • De combinatie van MIPROv2 met een groot proposer-model (GPT-OSS 120B) levert de beste resultaten op, met de grootste reductie in culturele afstand voor bijna alle geteste modellen.
  • Voor Llama 4 zijn alle DSPy-varianten superieur aan handmatige prompts.
• Per-Land Variatie: De verbetering is heterogeen. Voor landen die al dicht bij de Westerse standaard zaten (bijv. VS, UK) is de verbetering klein. Voor landen met een grote culturele afstand (bijv. Jordanië, Nigeria) is de verschuiving door DSPy aanzienlijk groter (bijv. $\Delta = +4.289$ voor Jordanië).
• Generalisatie: Hoewel de gemiddelde uitlijning verbetert, blijven er uitbijters bestaan. Dit suggereert dat prompt-optimalisatie niet voor elk land perfect werkt en dat specifieke evaluatie per regio noodzakelijk blijft.

Betekenis en Conclusie

Dit onderzoek toont aan dat culturele uitlijning van LLMs niet beperkt is tot gesloten systemen, maar ook voor open-source modellen een reëel probleem is dat kan worden opgelost. De belangrijkste inzichten zijn:

1. Van Engineering naar Programming: Het verschuiven van handmatige prompt engineering naar prompt programming (DSPy) biedt een meer stabiele, reproduceerbare en effectieve route om culturele biases te corrigeren.
2. Rol van het Optimisatie-model: De kwaliteit van de geoptimaliseerde prompt hangt sterk af van het vermogen van het "proposer"-model dat de instructies genereert. Grotere modellen leveren betere resultaten op.
3. Strategische Relevantie: Voor toepassingen in strategische besluitvorming, overheidsbeleid en cross-culturele communicatie is het cruciaal om modellen te laten opereren binnen de waardenprofielen van de doelgroep, in plaats van te vertrouwen op een generieke Westerse bias.

De auteurs wijzen echter op beperkingen: de studie is gebaseerd op gesloten survey-vragen (forced-choice) en niet op open-ended generatie. Toekomstig werk moet zich richten op meertalige contexten en langere, redenerende taken om de robuustheid van deze methoden in de echte wereld te valideren.