💬 NLP

PALMs: Using Multi Construct-Grounded Rationales for Modeling Population Preferences in LLMs

Dit artikel introduceert Population Aligned Language Models (PALMs), een suite van modellen die zijn afgestemd op specifieke nationale populaties door gebruik te maken van multi-construct-gegronde rationale's voor preferentietuning, wat bestaande baselines aanzienlijk overtreft in het simuleren van diverse culturele waarden, overtuigingen en sociaal redeneren zonder dat daar taakspecifieke supervisie voor nodig is.

Oorspronkelijke auteurs: Priyanka Dey, Brihi Joshi, Preyashi Poddar, Jieyu Zhao, Emilio Ferrara

Gepubliceerd 2026-08-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Priyanka Dey, Brihi Joshi, Preyashi Poddar, Jieyu Zhao, Emilio Ferrara

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij mensen moet begrijpen. Op dit moment zijn de meeste robots als algemene chefs die van een beetje van alles hebben geproefd, maar niet echt weten hoe ze een specifiek favoriet gerecht van een familie moeten koken. Ze weten misschien wat "eten" is, maar ze begrijpen niet echt waarom een grootmoeder in Italië de voorkeur geeft aan een langzaam gegaarde ragù, terwijl een tiener in Brazilië hunkert naar een pittige feijoada. Dit is de wereld van Large Language Models (LLM's)—superintelligente computerprogramma's die kunnen schrijven, chatten en problemen kunnen oplossen. Maar hier komt het lastige deel bij: deze robots gedragen zich vaak alsof ze één enkele, gemiddelde persoon zijn. Ze missen de diepe, onzichtbare regels die ervoor zorgen dat verschillende groepen mensen anders denken en voelen.

Om dit op te lossen, kijken wetenschappers naar "voorkeuren"—wat mensen leuk vinden, waar ze in geloven en wat ze waardevol vinden. Ze weten dat onze keuzes niet willekeurig zijn; ze worden gevormd door onze persoonlijkheden (zijn we avontuurlijk of voorzichtig?), onze cultuur (waarderen we de groep of het individu?) en ons morele kompas (wat voelt eerlijk of juist?) . De grote vraag die onderzoekers stellen is: Hoe leren we een robot om te stoppen met het gedragen als een generieke "gemiddelde mens" en te beginnen met het handelen als een specifiek persoon uit een specifieke plek, met al hun unieke eigenaardigheden en culturele achtergrond? Als we dat kunnen doen, zouden deze robots veel beter in staat zijn om ons te helpen, ons te begrijpen en zelfs te simuleren hoe echte mensen zouden reageren op nieuwe ideeën.

Hier stapt een nieuw team onderzoekers in met een slimme oplossing genaamd PALMs (Population Aligned Language Models). Denk aan een standaard robot als een student die probeert de antwoorden op een toets uit het hoofd te leren door alleen naar het eindcijfer te kijken. De student kan het juiste antwoord geven, maar begrijpt niet echt waarom het juist is. De onderzoekers achter de PALMs realiseerden zich dat om een populatie echt te begrijpen, de robot de "geheime saus" achter de antwoorden moet leren. Ze voerden de robot niet alleen data over wat mensen zeiden; ze leerden het een "redeneer-dagboek" te schrijven voordat het een antwoord geeft.

Dit is hoe ze het deden: Ze creëerden vijf speciale robotversies, één voor elk van vijf landen: de VS, India, Brazilië, Frankrijk en Italië. Maar in plaats van de robot alleen te vertellen: "Je bent Amerikaans," gaven ze het een veel diepere toolkit. Ze leerden de robot te denken via vijf specifieke lenzen, zoals een paar speciale brillen die het uitzicht veranderen:

Persoonlijkheid: Is de persoon open voor nieuwe ideeën of houdt hij van routine?
Cultuur: Waarderen ze onafhankelijkheid of het bij elkaar horen als een groep?
Waarden: Wat drijft hen? Is het vrijheid, veiligheid of het helpen van anderen?
Wereldbeelden: Zien ze de wereld als een veilige, opwindende plek of als een gevaarlijke, chaotische plek?
Moraliteit: Wat vinden zij eerlijk of heilig?

De robot werd getraind om een kort verhaal te schrijven met behulp van deze vijf lenzen om uit te leggen waarom een persoon uit dat land voor een bepaald antwoord zou kiezen. Bijvoorbeeld, als een Braziliaan een bepaald type muziek verkiest, zegt de robot niet alleen "Ze houden ervan." De robot schrijft een klein briefje: "Omdat deze persoon waarde hecht aan gemeenschap en zintuiglijk genot (Cultuur en Waarden), en de wereld ziet als een plek vol leuke mogelijkheden (Wereldbeelden), voelt deze muziek juist." De robot oefende dit keer op keer, waarbij hij leerde deze "redeneernotities" in zijn brein te verbergen zodat hij ze later automatisch kon gebruiken.

De resultaten waren verrassend goed. Toen de onderzoekers deze nieuwe robots testten, ontdekten ze dat PALMs veel beter in staat waren om mensen te begrijpen dan de oude, generieke robots. In feite verbeterden de nieuwe modellen hun nauwkeurigheid in alle vijf de landen met gemiddeld 8,59% vergeleken met de beste eerdere methoden. Dit suggereert dat het funderen van de leerervaring van een robot in diepe psychologische en culturele theorieën veel beter werkt dan het simpelweg tonen van oppervlakkige data of eenvoudige demografische labels zoals "leeftijd" of "geslacht".

Het onderzoek controleerde ook of deze robots ook andere dingen konden doen, zoals het fungeren als een "gepersonaliseerd beloningsmodel" (beslissen wat een specifiek persoon leuk vindt) of het simuleren van hoe een groep zou reageren op een nieuw beleid. In deze tests presteerden de PALMs opnieuw beter dan de concurrentie, met verbeteringen van 5,19% in gepersonaliseerde beloningen en 6,34% in populatiesimulaties. Zelfs wanneer ze werden gevraagd sociale puzzels over menselijke emoties en intenties op te lossen (een taak genaamd Social IQA), werden de robots beter en bereikten ze een nauwkeurigheid van 80,23% op de test.

De onderzoekers waarschuwen echter dat dit geen magische oplossing voor alles is. Ze ontdekten dat het simpelweg voeden van de robot met meer enquêtegegevens zonder deze "redeneer-dagboek"-aanpak de zaken in sommige gevallen zelfs slechter maakte, omdat de robot daardoor zijn vermogen verloor om verschillende perspectieven te zien. Ze geven ook toe dat het behandelen van een heel land als één enkele groep een versimpeling is; binnen elk land zijn er vele verschillende regio's en culturen die hun model nog niet volledig vastlegt. Maar de belangrijkste conclusie is duidelijk: als je wilt dat een robot een groep mensen echt begrijpt, moet je hem leren om als hen te denken, niet alleen om als hen te praten. Door de robot een gestructureerde manier te geven om na te denken over persoonlijkheid en cultuur, krijgen we een veel helderder beeld van de diverse menselijke wereld.

Technische Samenvatting: Population Aligned Language Models (PALMs)

Probleemstelling

Large Language Models (LLMs) worden steeds vaker gebruikt om individueel gebruikersgedrag te simuleren, maar ze worstelen ermee om de systematische variatie in waarden, overtuigingen en culturele normen die verschillende populaties van elkaar onderscheiden, getrouw weer te geven. Bestaande benaderingen vertrouwen doorgaans op oppervlakkige demografische prompting (bijv. "reageer als een 30-jarige uit Brazilië") of directe fine-tuning op gedragsgegevens uit enquêtes. Het artikel stelt dat deze methoden falen omdat ze optimaliseren voor oppervlakkige responsdistributies in plaats van de onderliggende psychologische en culturele constructen te vatten die menselijke oordelen gezamenlijk vormen. Gevolgdelijk vertekenen modellen vaak meerderheidsstandpunten of vervallen ze in generieke representaties wanneer ze direct worden gefinetuned op geobserveerde reacties, waardoor de rijke compositionele structuur van menselijke voorkeuren niet behouden blijft.

Methodologie

De auteurs introduceren Population Aligned Language Models (PALMs), een framework dat LLM's afstemt op specifieke populaties door voorkeuren te funderen in multi-construct ratio's. De methodologie werkt op het uitgangspunt dat menselijke voorkeuren voortkomen uit de interactie tussen individuele psychologie en groep-niveau culturele variatie.

1. Constructruimte

De aanpak maakt gebruik van vijf gevestigde families van sociale wetenschappelijke theorieën om een latente ruimte van redenering te vormen:

Persoonlijkheid (OCEAN): Individuele trekken (Openheid, Consciëntieusheid, Extraversie, Meegaandheid, Neuroticisme).
Culturele Dimensies (Hofstede): Groepsniveau-neigingen (bijv. Individualisme versus Collectivisme, Machtsafstand).
Menselijke Waarden (Schwartz): Motivationele prioriteiten (bijv. Zelfsturing, Veiligheid, Welwillendheid).
Primal World Beliefs (Clifton): Individuele aannames over de wereld (bijv. Veilig versus Gevaarlijk, Verleidelijk versus Saai).
Morele Fundamenten (Haidt): Ethische intuïties (bijv. Zorg/Schade, Rechtvaardigheid/Onrechtvaardigheid, Loyaliteit/Verraad).

2. Trainingspipeline

PALMs worden getraind via een tweestaps-proces op de Community Alignment dataset, die vijf landen beslaat: de VS, India, Brazilië, Frankrijk en Italië.

Fase 1: Supervised Fine-Tuning (SFT): Een basismodel (Llama-3.1-8B-Instruct) wordt gefinetuned op persona-geconditioneerde voorkeursinstanties $(p, q, a^+)$ om voorkeursvoorspelling te initialiseren.
Fase 2: Preference Optimization met Latente Supervisie: De kerninnovatie betreft Direct Preference Optimization (DPO) aangevuld met construct-gegronde ratio's.
- Voor elk voorkeerspaar worden synthetische ratio's gegenereerd door een extern LLM (Qwen2.5-7B-Instruct). Deze ratio's ontleden de voorkeursbeslissing over de vijf constructfamilies en leggen uit waarom een specifiek demografisch profiel de voorkeur geeft aan $a^+$ boven $a^-$ .
- Tijdens DPO worden deze ratio's in de promptcontext geplaatst, maar zijn ze gemaskeerd voor de loss-functie. Het model wordt niet getraind om de ratio-tokens expliciet te genereren; in plaats daarvan dienen de ratio's als gestructureerde, latente inductieve bias om de interne representaties van voorkeuren van het model te vormen.
- Dit staat in contrast met "generieke" ratio's (zonder construct-gronding) of directe gedragsmatige fine-tuning, die volgens de auteurs niet over de noodzakelijke structurele signalen beschikken.

3. Inferentie

Tijdens de inferentie wordt het model geprompt met een gebruikerspersona en een query. Het genereert intern een construct-gegronde ratio (voordat de uiteindelijke output wordt geproduceerd) om de voorkeursbeslissing te sturen. De ratio-tokens zijn niet vereist als input tijdens de inferentie, waardoor het model kan generaliseren zonder externe annotatie.

Belangrijkste Bijdragen

PALMs Framework: De introductie van een reeks modellen die zijn afgestemd op specifieke populaties met behulp van multi-construct ratio's die geworteld zijn in psychologische en culturele theorie als latente supervisie.
Superieuriteit van Construct-Gegronde Ratio's: Empirisch bewijs dat het funderen van voorkeursleren in psychologische en culturele constructen beter presteert dan zowel demografische prompting als gedragsmatige fine-tuning (inclusclusief cultuurspecifieke modellen zoals CultureLLM).
Generalisatie naar Downstream Taken: Demonstratie dat PALMs generaliseren naar downstream toepassingen—gepersonaliseerde beloningsmodellering, populatiesimulatie en sociaal redeneren—zonder taakspecifieke supervisie, wat suggereert dat construct-gegronde representaties overdraagbare latente structuren van menselijke diversiteit vastleggen.

Resultaten

De auteurs evalueerden PALMs over vier dimensies: persoonlijkheid, waarden/overtuigingen, culturele normen en moraliteit, gebruikmakend van de grondwaarheid-menselijke distributies van de doelpopulaties.

In-Domain Alignment: PALMs presteerden consistent beter dan alle baselines (inclusief zero-shot Llama-3.1-8B-Instruct, Gemini-2.5-Flash en CultureLLM) over alle vijf de populaties. Het volledige PALM-model bereikte een gemiddelde relatieve verbetering van 8,59% ten opzichte van de beste baseline. Opvallend genoeg presteerde de "SFT + DPO + Generic" configuratie (gebruikmakend van ratio's zonder construct-gronding) beter dan standaard DPO, maar slechter dan PALMs, wat de specifieke bijdrage van de psychologische constructen isoleert.
Downstream Prestaties:
- Gepersonaliseerde Beloningsmodellering: PALMs verbeterden de nauwkeurigheid met 5,19% op PersonalizedRewardBench en PRISM vergeleken met de baselines, met significante winsten op maatschappelijke onderwerpen (religie, recht, politiek).
- Populatiesimulatie: Op SIMBENCH behaalde PALM de beste alignment op 15 van de 17 datasets, met bijzonder grote winsten (tot ~20%) op taken die aansluiten bij de constructfamilies (bijv. OpinionQA, OSPsychMACH).
- Sociaal Redeneren: In een casestudy op SOCIALIQA behaalde PALM een nauwkeurigheid van 80,23% op de testset, waarmee het de sterke Gemini-2.5-Flash baseline (79,72%) versloeg, ondanks dat het een kleiner 8B-model is, met de grootste winsten in het redeneren over menselijke motivaties.

Betekenis en Claims

Het artikel claimt dat het rationaliseren via gevestigde psychologische en culturele constructen een rijkere inductieve signalering biedt voor voorkeursleren dan louter demografische conditionering of enquête-gebaseerde trainingsdata.

De auteurs stellen dat het direct aanpassen van modellen aan geobserveerde gedragsoutputs vaak leidt tot een instorting van de representatieve diversiteit, terwijl het funderen van het leerproces in latente constructen het model in staat stelt de "waarom" achter voorkeuren te internaliseren. Deze aanpak maakt de creatie van populatie-specifieke modellen mogelijk die niet slechts statistische nabootsingen zijn van enquêtegegevens, maar structureel zijn afgestemd op de psychologische mechanismen die het menselijk oordeel drijven. Dit werk pleit voor de bredere adoptie van sociale wetenschappelijke theorie als een gestructureerde inductieve bias in alignment-onderzoek, wat een principieel fundament biedt voor het modelleren van populaties op een meertalige en fijnmazige wijze.

De auteurs erkennen beperkingen, waaronder het gebruik van land-niveau abstractie als een proxy voor populaties (wat de variatie binnen een land afvlakt), de niet-uitputtende aard van de geselecteerde constructfamilies, en de huidige afhankelijkheid van Engelstalige trainingsdata. Zij stellen dat toekomstig werk de fijnere populatie-definities en inheems meertalige modellering moet verkennen.