Post-training makes large language models less human-like

Technische Samenvatting: Post-training maakt grote taalmodellen minder menselijk

Probleemstelling
Grote taalmodellen (LLM's) worden steeds vaker ingezet als vervangers voor menselijke deelnemers in wetenschappelijk onderzoek en toegepaste settings, zoals het simuleren van patiëntreacties in de geestelijke gezondheidszorg of het voorspellen van reacties op beleidsinterventies. Het blijft echter onduidelijk welke modelconfiguraties menselijk gedrag het beste nabootsen, inclusief de inherente fouten, variatie en individuele kenmerken. Hoewel sommige studies sterke gedragsalignatie suggereren, rapporteren andere aanzienlijke afwijkingen. Er bestaat een kritieke lacune in het begrijpen hoe specifieke model eigenschappen – met name de overgang van basispretraining naar post-training (instructietuning, redeneren en visuele aanpassing) – de betrouwbaarheid van menselijke gedragssimulatie beïnvloeden.

Methodologie
Om dit aan te pakken, introduceren de auteurs Psych-201, een nieuw, grootschalig dataset bestaande uit natuurlijke taaltranscripten van gedragsexperimenten.

• Dataschaal en Diversiteit: Psych-201 bundelt data van 208.021 deelnemers over 25.906.599 gedragsreacties, die honderden experimentele paradigma's bestrijken. Het is 3,5 keer groter dan zijn voorganger (Psych-101) en 13 keer groter dan het gemiddelde mega-studie. De dataset bevat rijke metadata (leeftijd, nationaliteit, klinische diagnose, enz.) en omvat ontwikkelings- en interculturele studies.
• Model Evaluatie: De studie evalueerde modellen van drie grote families: Qwen3 (open-source), Llama3.X (brede ecosysteem) en Olmo3.X (volledig open/reproduceerbaar).
• Vergelijkingsstrategie: De auteurs vergeleken basismodellen (alleen gepretraind) met hun geposttrainde tegenhangers (instructiegetuned, redeneerversterkt of visueel bekwaam).
• Maten: Gedragsalignatie werd gemeten aan de hand van de negatieve log-likelihood (NLL) van individuele menselijke reacties onder modelvoorspellingen (een lagere NLL duidt op betere alignatie). Het effect van post-training werd gekwantificeerd met Cohen's d effectgroottes ten opzichte van het overeenkomstige basismodel.
• Persona-Inductie Test: De studie testte systematisch "persona-inductie" (modellen conditioneren op deelnemerspecifieke metadata via interviewstijl prompts) om te bepalen of dit individuele voorspellingen verbetert.

Belangrijkste Resultaten

1. Post-training Vermindert Menselijkheid: Bij alle modelfamilies, maten en post-training doelen (instructietuning, redeneren, visie) verminderde post-training consistent de gedragsalignatie met menselijke reacties in vergelijking met basismodellen.
2. Generatie-trends: Hoewel basismodellen blijven verbeteren in gedragsalignatie over nieuwere generaties (bijv. van Qwen2 naar Qwen3.5), wordt de misalignatiekloof tussen basismodellen en hun geposttrainde versies in nieuwere generaties groter. Bijvoorbeeld, de misalignatie-effectgrootte voor instructiegetuned modellen steeg van d = 0,02 in Qwen2 naar d = 0,16 in Qwen3.5.
3. Domeinspecificiteit: Post-training misalignatie is een domein-generaal effect, maar is het meest uitgesproken in psycholinguïstiek en redeneertaken. De auteurs suggereren dat dit gebeurt omdat basismodellen, geoptimaliseerd voor menselijke taal, van nature menselijke heuristieken en biases vastleggen, terwijl post-training (bijv. RLHF) optimaliseert voor normatief correcte antwoorden, waardoor deze mensachtige patronen worden overschreven.
4. Ondoeltreffendheid van Persona-Inductie: Modellen conditioneren op deelnemerspecifieke metadata (leeftijd, geslacht, nationaliteit, enz.) verbeterde voorspellingen op individueel niveau niet significant. De effectgroottes varieerden van d = -0,02 tot d = 0,02, wat de bruikbaarheid van persona-inductie voor het modelleren van specifieke individuen uitdaagt.
5. Determinisme versus Misalignatie: De auteurs sluiten verhoogde output-determinisme uit als de enige drijvende kracht achter misalignatie, aangezien geposttrainde modellen geen hogere nauwkeurigheid vertoonden op discrete-keuze subsets, wat aangeeft dat de misalignatie niet louter een verlies aan stochasticiteit is.

Betekenis en Claims
Het artikel betoogt dat de processen die momenteel worden ingezet om LLM's te transformeren in nuttige, normatief correcte assistenten (post-training) tegelijkertijd hun nauwkeurigheid als modellen van menselijk gedrag verslechteren.

• Implicatie voor Onderzoek: Het vertrouwen op toegankelijke, geposttrainde modellen (zoals standaard chatbots) als gedragsvervangers is suboptimaal voor wetenschappelijke doelen die mensachtige fideliteit vereisen.
• Toekomstige Richting: De bevindingen motiveren de ontwikkeling van nieuwe post-training benaderingen die de gedragsalignatie inherent aan basismodellen behouden, terwijl ze praktische bruikbaarheid behouden.
• Hulpmiddel-gebruik: Psych-201 wordt gepresenteerd als een fundamentele resource voor meta-analyses, geautomatiseerde wetenschappelijke ontdekking en de ontwikkeling van grootschalige cognitieve modellen die menselijke leer- en besluitvormingstrajecten nauwkeurig simuleren.

De auteurs concluderen dat hoewel basismodellen veelbelovend zijn als beschrijvende modellen van menselijke cognitie, de huidige traject van post-training optimalisatie voor "hulpzaamheid" een "alignatiebelasting" creëert met betrekking tot menselijke gedragssimulatie, wat een heroverweging vereist van hoe modellen worden voorbereid voor gebruik in gedragswetenschappen.