💬 NLP

Improving the Distributional Alignment of LLMs using Supervision

Dit onderzoek toont aan dat het toevoegen van eenvoudige supervisie de distributie van antwoorden van grote taalmodellen op subjectieve vragen beter kan afstemmen op diverse bevolkingsgroepen, zoals gemeten over drie verschillende datasets.

Oorspronkelijke auteurs: Gauri Kambhatla, Sanjana Gautam, Angela Zhang, Alex Liu, Ravi Srinivasan, Junyi Jessy Li, Matthew Lease

Gepubliceerd 2026-04-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Gauri Kambhatla, Sanjana Gautam, Angela Zhang, Alex Liu, Ravi Srinivasan, Junyi Jessy Li, Matthew Lease

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Hoe we AI een eerlijker spiegel laten zijn voor de mensheid

Stel je voor dat je een grote, slimme robot hebt die alles over de wereld weet. Je vraagt hem: "Wat vinden mensen van vaccins?" of "Is het belangrijk om je ouders trots te maken?"

Vroeger gaf deze robot vaak één antwoord: "De meeste mensen denken X." Maar dat is niet helemaal eerlijk. In het echte leven zijn mensen niet allemaal hetzelfde. Sommige mensen vinden vaccins geweldig, anderen zijn bang, en weer anderen twijfelen. Als de robot alleen het 'gemiddelde' antwoord geeft, verliest hij de nuance en de echte diversiteit van de mensheid.

Deze paper van onderzoekers van de Universiteit van Texas gaat over hoe we die robot slimmer en eerlijker kunnen maken. Ze noemen dit "Distributional Alignment" (het afstemmen van verdelingen).

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De Robot die te veel stereotyperen

De onderzoekers ontdekten dat als je de robot vraagt om te doen alsof hij een specifieke groep is (bijvoorbeeld: "Doe alsof je een 30-jarige vrouw bent"), hij vaak in de valkuil van stereotypen trapt. Hij denkt dan: "Ah, vrouwen denken dit, dus ik geef dit antwoord."

Het resultaat? De robot creëert een heel scherp, maar onrealistisch beeld. Hij overdrijft de verschillen tussen groepen. Het is alsof je een tekening maakt van een bos, maar je tekent alleen de bomen die het hoogst zijn en vergeet dat er ook struiken en kleine plantjes zijn. De robot "vertekent" de mening van de groep.

2. De Oplossing: Een "Kalibratie-Filter"

In plaats van de robot te dwingen om precies te denken zoals een mens, doen de onderzoekers iets slims: ze laten de robot eerst zijn eigen antwoord geven, en dan passen ze een kalibratie-filter toe.

De Analogie van de Radio:
Stel je voor dat de robot een radio is die een zender ontvangt. Soms is het signaal ruisig of staat het volume te hard (de robot overdrijft de meningen).

Stap 1: De robot geeft zijn ruwe antwoord (de radio staat op hard volume).
Stap 2: De onderzoekers gebruiken een klein beetje "supervisie" (een paar honderd echte antwoorden van mensen) om een tuner te bouwen.
Stap 3: Deze tuner draait het volume iets terug en corrigeert de frequentie. Plotseling klinkt het antwoord niet meer als een schreeuwende stereotiepe versie, maar als een rustig, realistisch gesprek dat precies overeenkomt met wat de echte mensen zeggen.

Het mooie is: ze hebben maar heel weinig "echte" antwoorden nodig om deze tuner te maken. Soms zelfs maar 1 tot 10 voorbeelden! Het is alsof je met één proefje de hele radio kunt afstemmen.

3. Wat hebben ze ontdekt?

De onderzoekers hebben dit getest met verschillende robots (modellen) en vragen over gezondheid, politiek en waarden. Hier zijn de belangrijkste bevindingen:

Het "Doe alsof"-spel werkt niet altijd: Als je de robot vraagt om een persona aan te nemen (bijv. "Je bent een man"), wordt hij niet per se eerlijker. Soms wordt hij zelfs vooroordeliger.
Kalibratie is de winnaar: Door de robot zijn eigen antwoorden te laten geven en die daarna te "kalibreren" met een klein beetje echte data, wordt de robot veel consistenter en eerlijker. Het maakt niet meer uit welke robot je gebruikt; na de kalibratie geven ze allemaal een betrouwbaar beeld.
Het werkt voor iedereen, maar niet voor iedereen even goed: De kalibratie helpt bij veel groepen (zoals mensen uit Zuid-Amerika of Afrika), maar soms wordt het beeld voor groepen die al goed werden weergegeven (zoals mensen uit Noord-Europa) iets minder perfect. Het is een afweging, maar over het algemeen wint het spel.

4. Waarom is dit belangrijk?

Vroeger dachten we dat we AI moesten "trainen" om precies te denken zoals een mens. Deze paper zegt: "Nee, laat de AI gewoon zijn eigen gedachten hebben, en corrigeer ze daarna een beetje."

Dit is als het maken van een verkeersspiegel. Als je in een grote stad kijkt, zie je duizenden mensen met verschillende meningen. Een slechte spiegel (de ongekorrigeerde AI) laat je alleen de mensen zien die het hardst schreeuwen. Een goede, gekalibreerde spiegel laat je de hele menigte zien, inclusief de rustige mensen in de hoek.

Conclusie

Deze studie laat zien dat we AI niet hoeven te vervormen om hem menselijk te maken. We kunnen hem gewoon laten doen wat hij doet, en met een klein beetje hulp (supervisie) de "ruis" eruit filteren. Hierdoor krijgen we een AI die de echte, complexe en diverse meningen van de wereld beter weerspiegelt, zonder dat we duizenden uren aan training hoeven te besteden.

Het is een stap naar een AI die niet denkt dat de wereld zwart-wit is, maar die de prachtige, grijze schakeringen van de mensheid begrijpt.

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker ingezet om menselijke meningen en gedrag te simuleren, bijvoorbeeld voor sociaal-wetenschappelijk onderzoek, psychologische experimenten of het verzamelen van subjectieve data. Een veelgebruikte methode hiervoor is persona-prompting, waarbij demografische informatie (zoals geslacht, leeftijd, politieke voorkeur) in de prompt wordt opgenomen om de antwoorden van een specifieke bevolkingsgroep na te bootsen.

De huidige aanpak heeft echter twee fundamentele tekortkomingen:

Aannames over meerderheid: Veel bestaand onderzoek veronderstelt dat er één "meerderheidsantwoord" is voor elke demografische groep. Dit negeert de interne diversiteit en meningsverschillen binnen een groep (de ecologische misvatting).
Onbetrouwbare uitlijning: Het toevoegen van demografische informatie aan prompts (Sociodemographic prompting of SD-prompting) leidt niet consistent tot betere uitlijning met de werkelijke verdelingen van menselijke meningen. LLMs neigen vaak om stereotypen te versterken of de verschillen tussen groepen te overdrijven.

Het doel van dit werk is om te onderzoeken hoe LLMs beter kunnen worden uitgelijnd met de distributie van menselijke meningen (d.w.z. het volledige spectrum van antwoorden binnen een groep) in plaats van slechts één representatief antwoord, en of supervisie (supervised learning) hierbij kan helpen.

Methodologie

De auteurs hebben een uitgebreide benchmark opgezet om drie onderzoeksvragen te beantwoorden:

Leidt SD-prompting tot beter uitgelijnde distributies?
Kunnen LLM-generaties worden gekalibreerd met supervisie om beter te overeenkomen met menselijke data?
Hoeveel supervisie is nodig voor effectieve kalibratie?

Datasets:
Het onderzoek gebruikt drie grote survey-datasets die diverse subjectieve onderwerpen bestrijken:

Wellcome Global Monitor (WGM): Wereldwijde percepties over wetenschap en gezondheid.
OpinionQA (OQA): Amerikaanse publieke opinie.
World Values Survey (WVS): Morele opinies en waarden.
In totaal omvatten de datasets 92 vragen en ongeveer 4.500 menselijke responsdistributies over verschillende demografische groepen.

Modellen en Prompts:

Modellen: 15 verschillende LLMs werden getest, variërend in grootte, openheid (open-source, open-weight, API-only) en architectuur (o.a. Claude, Llama, Mistral, OLMo, Qwen).
Distributie-elicitering: Drie methoden werden gebruikt om distributies uit de LLM te halen:
1. Verbalized: De LLM geeft direct een lijst met percentages.
2. Self-random: De LLM kiest een antwoord, dit wordt $n=5$ keer herhaald om een distributie te vormen.
3. Paraphrase: De prompt wordt $n=5$ keer herschreven om variatie te creëren.
Kalibratie (Supervised Calibration):
De kern van de voorgestelde methode is een supervised regression aanpak. In plaats van de interne gewichten van het LLM aan te passen, wordt een regressiemodel getraind om de door de LLM gegenereerde distributies te transformeren naar de menselijke ground-truth distributies.
- Trainingsdata: Voor elke vraag worden de LLM-antwoorden en de menselijke antwoorden gesplitst per antwoordoptie. Bijvoorbeeld, als de LLM [0.6, 0.2, 0.2, 0] voorspelt en de mens [0.25, 0.5, 0.1, 0.15] is, worden deze paren gebruikt om een regressiemodel te trainen dat de LLM-uitvoer corrigeert.
- Validatie: Het model wordt getest op een gehouden testset.

Evaluatiemeta:
De uitlijning wordt gemeten met de Opinion Alignment metric, gebaseerd op de Wasserstein-afstand (Earth Mover's Distance). Deze metric houdt rekening met de ordinale aard van surveyvragen (bijv. "helemaal niet" tot "heel veel") en is robuuster dan KL-divergentie.

Belangrijkste Resultaten

SD-prompting is inconsistent:
Het toevoegen van demografische informatie aan de prompt (SD-prompting) leidt niet consistent tot betere uitlijning. In veel gevallen is de uitlijning met SD-prompting zelfs slechter dan met een basis-prompt (zonder demografie), afhankelijk van het model en de dataset.
Supervised Kalibratie werkt uitstekend:
De voorgestelde kalibratiemethode verbetert de uitlijning aanzienlijk en consistent.
- Gemiddelde verbetering: +16,3% in uitlijning over alle datasets, modellen en methoden.
- Kalibratie werkt in 94,8% van de testsettings positief.
- Het reduceert de variantie in prestaties tussen verschillende modellen en datasets aanzienlijk, wat betekent dat de keuze van het specifieke model minder kritiek wordt na kalibratie.
Effectiviteit met weinig data (Minimal Supervision):
Een verrassende bevinding is dat kalibratie zeer efficiënt is. Het is mogelijk om met slechts 1 tot 10 volledige voorbeelden (full examples) per setting een regressiemodel te trainen dat bijna net zo goed presteert als een model getraind op 80% van de dataset. De Mean Squared Error (MSE) convergeert vaak al bij zo'n klein aantal voorbeelden.
Variatie per demografische groep:
Hoewel kalibratie over het algemeen werkt, varieert het succes per specifieke demografische groep. Groepen die oorspronkelijk slecht uitgelijnd waren (bijv. bepaalde regio's in Afrika of Latijns-Amerika) profiteren het meest. Sommige groepen die al goed uitgelijnd waren, kunnen licht achteruitgaan, maar de netto-toename is significant.
Rol van Chain-of-Thought (CoT):
Voor kleinere modellen (zoals OLMo 7B) kan CoT-prompting de uitlijning verbeteren, maar voor grotere, krachtigere modellen (zoals Claude) leidt CoT soms tot "overthinking" en versterkte stereotypen, wat de uitlijning verslechtert. Kalibratie blijft echter de meest betrouwbare methode.

Bijdragen en Significantie

Shift naar Pluralistische Uitlijning: Het artikel pleit voor een verschuiving van het modelleren van één "gemiddeld" antwoord naar het modelleren van volledige distributies. Dit is essentieel voor eerlijke en accurate representatie van menselijke diversiteit en helpt stereotypering te verminderen.
Nieuwe Benchmark: De auteurs bieden een uitgebreide benchmark met 15 modellen, 3 datasets en diverse eliciteringsmethoden, wat een standaard biedt voor toekomstig onderzoek.
Efficiënte Kalibratie: De bevinding dat slechts 1-10 voorbeelden nodig zijn voor effectieve kalibratie, maakt deze methode zeer praktisch en schaalbaar voor real-world toepassingen, zonder de noodzaak van enorme hoeveelheden gelabelde data of dure fine-tuning van het basismodel.
Robuustheid: De methode maakt de uitlijning minder afhankelijk van de keuze van het specifieke LLM of de prompt-strategie, wat de betrouwbaarheid van LLMs als simulatie-instrumenten voor sociaal-wetenschappelijk onderzoek verhoogt.

Beperkingen en Ethiek

De auteurs benadrukken dat demografische modellen nooit een volledig beeld van mensen kunnen geven en dat het essentialiseren van identiteitsgroepen risico's met zich meebrengt. De methoden moeten niet worden gebruikt voor kwaadaardige doeleinden zoals gerichte desinformatie of manipulatie. Bovendien zijn survey-data zelf niet perfect (sampling bias, tijdsdrift), wat betekent dat kalibratieperiodiek moet worden herhaald met nieuwe data.

Conclusie:
Dit werk toont aan dat eenvoudige supervisie (kalibratie) een krachtige en kosteneffectieve manier is om LLMs beter uit te lijnen met de complexe, diverse meningsdistributies van menselijke bevolkingsgroepen, en dat dit veel consistenter werkt dan het puur vertrouwen op persona-prompting.