Technische Samenvatting: Emuleren of Schatten? De uiteenlopende sterktes van base en post-getrainde taalmodellen voor opiniesimulatie

Probleemstelling

Large Language Models (LLMs) worden steeds vaker ingezet om menselijke meningen te simuleren voor toepassingen in beleidstoetsing, marktonderzoek en sociale wetenschappen. Echter, eerdere literatuur presenteert tegenstrijdige bevindingen over hun effectiviteit. Sommige studies rapporteren een veelbelovende afstemming tussen base modellen en menselijke enquêtegegevens, terwijl andere studies "persona-instorting" (persona collapse), zwakke demografische sensitiviteit en een hoge gevoeligheid voor methodologische keuzes (bijv. de volgorde van meningen) documenteren, met name bij het evalueren van post-getrainde modellen. De auteurs stellen dat deze onenigheid voortkomt uit een vermenging van twee verschillende simulatietaken: emulatie en schatting.

• Emulatie: Het model genereert individuele reacties als een specifieke deelnemer; de populatieverdeling ontstaat door de aggregatie van deze individuele outputs.
• Schatting: Het model voorspelt expliciet de responsverdeling van de populatie direct.

Het artikel betoogt dat het verwarren van deze taken de specifieke sterktes en zwaktes van verschillende modelarchitecturen (base versus post-getraind) vertroebelt.

Methodologie

De studie evalueert zes gematchte paren van base en post-getrainde modellen (waaronder varianten van Qwen3-14B, Olmo-3-7B en Olmo-3.1-32B) met behulp van de Pew American Trends Panel (Wave 54) als een ground-truth benchmark. De dataset bestaat uit 59 vieroptie-items die economische meningen oproepen over zeven demografische condities (ongeconditioneerd, politiek, ideologisch, economisch en religieus).

De auteurs implementeren twee verschillende evaluatieparadigma's:

1. Emulatie Paradigma (Open-Respons):

   • Modellen genereren vrije tekst-interviewreacties zonder toegang tot meerkeuzeopties.
   • Een LLM-judge brengt deze vrije tekst-reacties in kaart naar antwoordcategorieën (gevalideerd met expert-annotatoren, $\kappa = 0.66$).
   • Base Modellen: Gestructureerd als een dialoog tussen interviewer en deelnemer met demografische conditionering in een voorafgaande beurt.
   • Post-Getrainde Modellen: Krijgen een systeeminstructie om een deelnemer van een specifieke demografie te simuleren.
   • Rationale: Deze methode vermijdt de "positionele bias" die inherent is aan de extractie van eerste-token waarschijnlijkheden en produceert interpreteerbare tekst.

2. Schatting Paradigma (Verbaal Geuite Verdeling):

   • Modellen worden geprompt om direct de waarschijnlijkheidsverdeling over de antwoordopties voor een bepaalde demografische groep te voorspellen, waarbij een JSON-object wordt geretourneerd.
   • Base Modellen: Meerdere completions worden gesampled en gemiddeld om variabiliteit te compenseren.
   • Post-Getrainde Modellen: Er wordt één sample genomen onder greedy decoding vanwege de output-stabiliteit.

Metrieken:

• Total Variation Distance (TVD): Meet de assumptievrije distributionele divergentie.
• Wasserstein Afstand: Houdt rekening met de ordinale structuur van antwoordopties, waarbij fouten worden bestraft op basis van hun afstand tot het correcte antwoord.

Belangrijkste Resultaten

1. Base Modellen zijn Superieure Emulatoren

Over alle zes de modellen en zeven evaluatiecondities heen, produceerden base modellen emuleerde verdelingen die significant dichter bij de menselijke ground truth lagen dan hun post-getrainde tegenhangers.

• Distributionele Getrouwheid: Base modellen presteerden beter dan post-getrainde modellen in zowel TVD als Wasserstein afstand. Op het gebied van Wasserstein afstand versloegen base modellen de uniforme referentie in 20 van de 21 vergelijkingen, wat aangeeft dat zelfs wanneer de exacte waarschijnlijkheden werden gemist, de massa nabij de juiste geordende reacties werd geplaatst.
• Demografische Structuur: Base modellen kwamen consistent overeen met de menselijke demografische structuur (Spearman's $\rho = 0.61\text{--}0.75$), waarbij zij de verschillen tussen groepen comprimeerden tot ongeveer 70% van de menselijke magnitude. In contrast vertoonden post-getrainde modellen een zwakkere structurele afstemming ($\rho = 0.35\text{--}0.59$) en overdreven zij de verschillen tussen groepen met ongeveer 2$\times$, wat consistent is met gestereotypeerde persona-simulatie.
• Mode Collapse: De outputs van post-getrainde modellen vertoonden significante mode collapse, waarbij ze op bigram-niveau 8.0–14.0$\times$ meer gelijkenis vertoonden dan de outputs van base modellen. Het verhogen van de temperatuur-sampling loste deze instorting niet op.

2. Post-Getrainde Modellen zijn Superieure Schatters

Onder het schattingsparadigma produceerden post-getrainde modellen verdelingen die substantieel dichter bij de menselijke ground truth lagen dan de uniforme baseline en aanzienlijk beter dan hun base tegenhangers.

• Expliciete Voorspelling: De schattingsfout nam af met de model schaal en was het laagst in post-getrainde modellen (bijv. Claude Opus 4.6 bereikte de sterkste prestatie).
• Toegankelijkheid van Kennis: Base modellen produceerden ook schattingsresultaten die de uniforme baseline evenaarden of overtroffen, wat suggereert dat de distributionele kennis aanwezig is vóór de post-training, maar minder toegankelijk is via directe verbale uiting in base modellen.

Belangrijkste Bijdragen

1. Taakonderscheid: Het artikel maakt een formeel onderscheid tussen emulatie (het genereren van individuele tekst die aggregeert tot een verdeling) en schatting (het direct voorspellen van een verdeling), en stelt dat eerdere tegenstrijdige resultaten voortkomen uit het wisselend evalueren van deze verschillende capaciteiten.
2. Architecturale Trade-off: De studie demonstreert een duidelijke trade-off: Base modellen zijn beter geschikt voor taken die gegenereerde tekst vereisen die demografische diversiteit en structuur behoudt, terwijl post-getrainde modellen excelleren in taken die directe distributionele voorspelling vereisen.
3. Evaluatiemethodologie: De auteurs stellen open-respons emulatie voor als een robuust evaluatieparadigma dat de positionele bias elimineert die de eerste-token waarschijnlijkheidsextractiemethoden in eerder werk vertroebelt.

Betekenis en Claims

Het artikel claimt dat de selectie van een model voor menselijke simulatie geleid moet worden door de specifieke vereisten van de downstream taak:

• Als het doel is om tekst te genereren die aansluit bij de diversiteit van een populatie (bijv. voor synthetische respondenten of interactieve agenten), dan zijn base modellen de geschikte basis, omdat de gewenste verdeling moet voortkomen uit gesamplede outputs.
• Als het doel is om geaggregeerde opinieverdelingen te schatten, dan zijn post-getrainde modellen geschikter, omdat zij goed gekalibreerde voorspellingen produceren wanneer daarom expliciet wordt gevraagd.

De auteurs suggereren dat post-training de brede, chimere verdeling van het base model stuurt naar een enkele "Assistant" persona die geoptimaliseerd is voor behulpzaamheid. Wanneer gevraagd wordt om een demografie te emuleren, voert het post-getrainde model een "tweede-orde simulatie" uit (een Assistent die een persona simuleert), wat de output-diversiteit comprimeert via een single-character bottleneck. Daarentegen putten base modellen rechtstreeks uit de pre-trained verdeling over persona's, waardoor de noodzakelijke representatieve diversiteit voor getrouwe emulatie behouden blijft, ten koste van een zwakkere metacognitieve schatting.

Beperkingen

De auteurs erkennen verschillende beperkingen:

• Schaal: Het is onbekend of de emulatie-schattings trade-off standhoudt bij frontier-schalen, aangezien frontier base model varianten niet publiekelijk beschikbaar zijn.
• Temporele Afstemming: De survey-data (2019) gaat vooraf aan de trainings corpora van de modellen (die doorlopen tot 2024–2025), wat een mogelijke confound kan zijn over de vraag of modellen de opinies van een specifiek tijdperk simuleren of een temporeel gemengde representatie.
• Scope: De evaluatie is beperkt tot survey-opinies; het uitbreiden van deze bevindingen naar rijkere gedragssituaties (multi-turn dialoog, agent-gebaseerde simulatie) blijft een open vraag.