Technische Samenvatting: PLURAL: Een wereldwijde dataset voor waardenafstemming

Probleemstelling

Grote taalmodellen (LLM's) weerspiegelen momenteel onevenredig veel Westerse, Engelstalige waarden, wat leidt tot representatieve schade voor internationale gebruikers, zoals de homogenisering van culturele waarden in gegenereerde tekst. Hoewel recente inspanningen zich hebben gericht op "soevereine" taalmodellen voor specifieke talen, blijven deze modellen vaak "vloeiend maar vreemd": ze beheersen de lokale syntaxis, maar behouden Amerikaanse culturele waardenstelsels. Bestaande datasets voor afstemming (bijv. PRISM, Community Alignment) lijden aan twee primaire beperkingen: (1) Bereik: ze missen nationaal representatieve data over een breed scala aan landen, en neigen sterk naar Westerse of hoogopgeleide demografieën; en (2) Bruikbaarheid: ze leggen voorkeuren vast over generieke assistent-antwoorden in plaats van de onderliggende normatieve culturele waarden te isoleren die die voorkeuren vormen. De kernuitdaging is het creëren van een schaalbare bron die diverse menselijke waarden over culturen heen vastlegt, terwijl het data produceert die geschikt zijn voor post-training afstemming.

Methodologie

De auteurs introduceren PLURAL (Preference Library for Multi-Region Alignment), een grootschalige synthetische voorkeursdataset gebaseerd op de Integrated Values Survey (IVS), een nationaal representatieve enquête die 92 landen beslaat met meer dan 156.000 deelnemers.

Constructie van de datapijplijn

De constructie van PLURAL omvat een tweefasige generatiepijplijn die ontworig is om beknopte, vaststaande enquête-antwoorden te transformeren naar realistische voorkeurstriplets $(prompt, preferred\_response, dispreferred\_response)$:

1. Gronding en Filtering:

   • De auteurs maken gebruik van de IVS (een combinatie van de World Values Survey en European Values Study data).
   • Ze reconstrueren 59 oorspronkelijke enquêtevragen groepen om de enquêtestructuur te behouden.
   • Met behulp van Milton Rokeach's hiërarchie van overtuigingen filteren zij deze groepen om alleen prescriptieve overtuigingen (normatieve waarden over wat mensen zouden moeten doen) te behouden, waarbij descriptieve (percepties van de werkelijkheid) en primitieve (geloof-gebaseerde waarheden) overtuigingen worden uitgesloten. Dit resulteert in 41 waarde-georiënteerde vraagengroepen.

2. Gestratificeerde Steekproefneming:

   • Om representativiteit te garanderen, maken de auteurs gebruik van gestratificeerde proportionele steekproefneming op basis van geslacht, leeftijd (vier banden) en opleidingsniveau (drie niveaus).
   • Een initiële release dekt 20 cultureel diverse landen met 100 representatieve deelnemers per land ($N=2.000$), wat ongeveer 500.000 voorkeurstriplets oplevert.

3. Synthetische Generatie (Twee fasen):

   • Fase 1 (Triplet Generatie): Voor elke deelnemer en vraagengroep krijgt een LLM het demografische profiel en de enquête-antwoorden van de deelnemer voorgelegd. Het model genereert een realistisch scenario (prompt) en twee antwoorden: één die in lijn is met de waarden van de deelnemer (geprefereerd) en één die een contrasterende standpunt reflecteert (niet-geprefereerd). Vijf triplets worden per groep gegenereerd om scenario-diversiteit te waarborgen.
   • Fase 2 (Antwoord Expansie): Een tweede LLM-passage breidt de beknopte antwoorden uit Fase 1 uit naar natuurlijke, conversatie-achtige assistent-antwoorden, terwijl de onderliggende waarde-houding strikt wordt gehandhaafd.
   • Kwaliteitscontrole: De generatie vindt plaats in het Engels om waarden te isoleren van linguïstische variatie. De pijplijn gebruikt een pool van frontier LLM's (GPT-5 Mini, Mistral Large 3, DeepSeek-v3.2) met stochastische decodering om model-specifieke bias te verminderen. Handmatige verificatie bevestigt dat de data getrouw is aan de IVS-antwoorden en algemene stereotypen vermijdt.

Evaluatiekader

De auteurs evalueren PLURAL met drie complementaire methoden over vijf doel landen (India, Brazilië, Japan, Maleisië, Zimbabwe):

1. Dataset-niveau Validatie: Verifiëren of de synthetische data de cross-land verschillen en binnen-land diversiteit die in de originele IVS worden waargenomen, behoudt. Dit omvat het trainen van classifiers om het land te voorspellen op basis van waarde-embeddings en het vergelijken van de afstandverdelingen tussen paren.
2. Geautomatiseerde Evaluatie: Het finetunen van instructie-getunede modellen (specifiek llama-3.1-8b-instruct) op PLURAL met behulp van Direct Preference Optimization (DPO). De resulterende modellen worden geëvalueerd tegen de LLM-GLOBE benchmark, die culturele afstemming onderzoekt over negen dimensies (bijv. Onzekerheidsvermijding, Prestatieoriëntatie) via open-ended dilemma's. Prestaties worden gemeten als Mean Absolute Error (MAE) tegen de grondwaarheid land-GLOBE scores.
3. Menselijke Evaluatie: Een blinde paarwijze evaluatie met 176 evaluatoren in India, Brazilië en Japan, waarbij zij moeten beoordelen welk model-antwoord typerend is voor hun nationale waarden.

Belangrijkste Resultaten

1. Geldigheid van de Dataset

• Cross-land Verschillen: Een classifier getraind op PLURAL embeddings bereikte een nauwkeurigheid van 78,0% bij het voorspellen van het land van een respondent (kans = 20%), wat aantoont dat significante land-specifieke waarde-signalen behouden blijven na synthetische generatie.
• Binnen-land Diversiteit: De verdeling van de cosinus-afstanden tussen respondenten in PLURAL komt nauw overeen met de originele IVS-data (gemiddelde Wasserstein afstand van 0,051), wat aangeeft dat er geen "template collapse" heeft plaatsgevonden waarbij diverse individuen naar identieke scenario's worden gemapt.

2. Geautomatiseerde Afstemmingsprestaties

• Verbeterde Afstemming: Modellen die zijn gefinetuned op PLURAL presteerden consequent beter dan sterke baselines (Vanilla, Demografische Prompting, Geaggregeerde Prompting en Community Alignment DPO).
• Foutreductie: Training op PLURAL verminderde de Mean Absolute Error (MAE) ten opzichte van doel-land GLOBE-profielen met 15,7% (Japan) tot 27,7% (India).
• Dimensionale Winsten: Verbeteringen werden waargenomen in 7 van de 9 GLOBE-dimensies, met name in Hiërarchie, Ambitie en Sociale Coördinatie. Dimensies zoals Gendergelijkheid vertoonden minimale verandering, waarschijnlijk door conflicten met bestaande veiligheidsnormen in de basismodellen.
• Generalisatie: Het waarde-signaal werd overgedragen naar andere modelfamilies, wat verbeteringen liet zien op qwen-2.5-7b en qwen-2.5-14b modellen.

3. Menselijke Evaluatie

• Voorkeur: Evaluatoren gaven de voorkeur aan het PLURAL-afgestemde model boven de Vanilla-baseline in 66% van de gevallen in totaal. Significante winsten werden waargenomen in India (72%) en Japan (71%).
• Kwalitatieve Feedback: Evaluatoren beschreven de PLURAL-afgestemde antwoorden als "typisch Indiaans" of afgestemd op "traditionele Japanse deugden", waarbij ze merkten dat specifieke culturele artefacten werden gevangen (bijv. het gebruik van WhatsApp voor familiecoördinatie in India).

4. Vergelijking met Baselines

• Vs. Prompting: Demografische en geaggregeerde prompting leverden verwaarloosbare of inconsistente winsten op vergeleken met finetuning op gegronde data.
• Vs. Bestaande Datasets: PLURAL presteerde beter dan de Community Alignment dataset (die minder landen dekt) en toonde superieure resultaten vergeleken met een synthetische baseline die gegrond is in diverse persona's (PersonaHub) in plaats van echte enquête-data.
• Behoud van Capaciteiten: Finetuning op PLURAL heeft de algemene capaciteiten niet verslechterd; MMLU-scores bleven stabiel of verbeterden licht.

Betekenis en Claims

Het artikel claimt dat PLURAL een schaalbaar, leerbaar signaal voor waarde-sturing biedt, en aantoont dat het mogelijk is om LLM's af te stemmen op de waarde-verdelingen van diverse populaties met behulp van nationaal representatieve enquêtegegevens.

• Pluralistische Afstemming: Dit werk draagt bij aan de agenda van pluralistische afstemming door verder te gaan dan "vloeiende maar vreemde" modellen naar modellen die kunnen interageren met de veelheid van menselijke waarden.
• Gronding in de Werkelijkheid: Door synthetische data te funderen in de IVS, laten de auteurs zien dat echte enquête-antwoorden een sterker signaal voor waarde-afstemming bieden dan louter op persona's gebaseerde generatie.
• Beperkingen en Toekomstig Werk: De auteurs merken bescheiden op dat hoewel PLURAL het signaal bevat, huidige post-training methoden (met name DPO) de cross-land diversiteit comprimeren, waarbij slechts ~18% van de variatie in de grondwaarheid-profielen behouden blijft. Zij benadrukken dat de spanning tussen culturele representatie en veiligheidsnormen (bijv. Gendergelijkheid) een openstaand probleem blijft. Zij positioneren PLURAL niet als een definitieve oplossing, maar als een bron die onderzoekers in staat stelt om empirisch te bestudelen hoe zij conflicterende waarden kunnen navigeren en pluraliteit in toekomstige afstemmingssystemen kunnen behouden.