Beyond the Mean: Three-Axis Fidelity for Aligning LLM-Based Survey Simulators from Small Pilot Data

Technisch Overzicht: Voorbij het Gemiddelde: Drie-assige Getrouwheid voor het Afstemmen van op LLM Gebaseerde Enquête-simulatoren vanaf Kleine Pilot-data

1. Probleemstelling

Grote taalmodellen (LLM's) worden steeds vaker ingezet als proxies voor menselijke respondenten in sociale wetenschappelijke enquêtes, variërend van "silicium-steekproeven" van kiezers tot fijn afgestemde modellen die experimentele uitkomsten voorspellen. Echter, bestaande audits onthullen systematische pathologieën in door LLM's gegenereerde enquêteantwoorden:

• Marginale Distorsie: Outputs benaderen vaak marginale distributies, maar vlaken de variantie af.
• Structurele Attenuatie: Relaties tussen voorspellers en uitkomsten worden frequent verzwakt, waarbij de tekens van effectgroottes in ongeveer een derde van de gevallen omdraaien.
• Homogenisering: Minderheidsgroepen worden vaak structureel vertekend of gehomogeniseerd.
• Sensitiviteit: Outputs zijn zeer gevoelig voor perturbaties in de prompt en vertonen een hoge analytische flexibiliteit.

De centrale onderzoeksvraag is: Gegeven een kleine pilot-steekproef van menselijke reacties ($D_p$), kan een LLM de statistische kenmerken van de bredere, uit de steekproef gehouden populatie ($D \setminus D_p$) herstellen? De auteurs stellen dat LLM's niet moeten worden behandeld als directe vervangers, maar als conditionele generatieve modellen die een rigoureuze evaluatie tegen grondwaarheid-data vereisen.

2. Methodologie

Data en Opzet
De studie maakt gebruik van een COVID-19 misinformatie-enquête uitgevoerd in Zuid-Korea ($N=1.466$). Elke respondent geeft een profiel ($X_i$) inclusief demografie en psychometrische schalen, en beantwoordt 36 beweringen (18 onjuiste claims, 18 ware claims) op een 4-punts Likert-schaal.

• Pilot: Een vaste steekproef van 5% ($n=74$) wordt gebruikt voor kalibratie.
• Evaluatie: De resterende 1.392 respondenten dienen als de uit de steekproef gehouden grondwaarheid.
• Metrieken: Drie scalaire samenvattingen per respondent worden afgeleid: Misinformatie-gemiddelde ($m_i$), Waar informatie-gemiddelde ($t_i$), en een Discernment score ($d_i = t_i - m_i$).

Kalibratie-pipelines
De auteurs benchmarken vier families van benaderingen:

1. Zero-Shot (ZS): Het prompten van het LLM met respondentprofielen ($X_i$) om reacties ($Y_i$) te voorspellen. Varianten omvatten batch-prompting (alle 36 items tegelijk) en per-item prompting.
2. Few-Shot (FS): Het injecteren van vijf rijen uit de pilot $D_p$ als in-context voorbeelden in de prompt.
3. Parameter-Efficient Fine-Tuning (PEFT): Het fijn afstemmen van Qwen3-8B op de pilot $D_p$ met twee configuraties:
   • LoRA: Autoregressieve token-generatie.
   • LoRA + MLP: LoRA-adapters gecombineerd met een getrainde 5-weg MLP classificatiekop (4 Likert-klassen + "Niet gezien").
4. PPI Rectificatie: Het toepassen van Prediction-Powered Inference (PPI) om de per-item populatiegemiddelden van prompt-gebaseerde simulatoren te corrigeren met behulp van de pilot-steekproef.

Drie-assige Getrouwheids-evaluatie
Herstel wordt gedecomponeerd in drie afzonderlijke assen, elk met specifieke metrieken:

• Structurele Getrouwheid: Komen de voorspeller–uitkomst relaties overeen?
  • Metriek: Lin's Concordance Correlation Coefficient (CCC) op bivariante correlaties en gestandaardiseerde OLS-coëfficiënten tussen 12 voorspellers en de discernment score ($d_i$).
  • Decompositie: Sign-overeenkomst ratio en magnitude ratio ($|x_{sim}|/|x_{GT}|$).
• Marginale Getrouwheid: Komen gesimuleerde marginale distributies overeen met de menselijke distributies?
  • Metriek: Cross-respondent Earth Mover's Distance (EMD) op de distributies van $d_i$, $m_i$, en $t_i$.
• Individuele Getrouwheid: Volgt elke gesimuleerde respondent zijn menselijke tegenhanger?
  • Metrieken: Relatieve overeenkomst (Pearson $r_d$ tussen gesimuleerde en grondwaarheid discernment) en absolute overeenkomst (Mean Absolute Error, $MAE_d$).

3. Belangrijkste Resultaten

Structurele Getrouwheid

• LoRA + MLP bereikte de hoogste structurele getrouwheid (CCC = 0,85 voor bivariante correlaties, 0,78 voor OLS-coëfficiënten).
• ZS-perItem (Zero-Shot, per-item) was de sterkste prompt-only concurrent (CCC = 0,80), wat beter presteerde dan standaard Few-Shot prompting.
• Decompositie: Een hoge CCC vereist zowel directionele overeenkomst als overeenkomende magnitude. LoRA alleen veroorzaakte ernstige compressie van hellingen (attenuatie), terwijl LoRA + MLP en FS-perItem een hoge sign-overeenkomst vertoonden, maar LoRA + MLP de magnitudes licht influeerde.

Marginale Getrouwheid

• LoRA + MLP behaalde de laagste EMD over alle drie de scalaire samenvattingen, wat wijst op de dichtstbijzijnde match met de grondwaarheid populatie-distributies.
• PPI Rectificatie: PPI corrigeerde effectief de meest bevooroordeelde simulatoren (bijv. Zero-Shot), maar was algebraïsch degeneratief voor fijn afgestemde modellen. Wanneer een model de pilot perfect memoriseert (trainingsfout $\to$ 0), stort de PPI-correctieterm in, waardoor de methode terugvalt op de ruwe helden-gemiddelde van de simulator.

Individuele Getrouwheid

• LoRA + MLP leidde in relatieve overeenkomst ($r_d = 0,37$), wat betekent dat het de rangorde van respondenten naar discernement het best bewaarde.
• ZS-perItem en FS-perItem behaalden de laagste absolute fout ($MAE_d = 0,58$), wat betekent dat hun voorspelde waarden gemiddeld het dichtst bij de grondwaarheid lagen, hoewel ze respondenten minder accuraat rangschikten.
• Beperking: Zelfs de beste methode verklaarde slechts ~14% van de cross-respondent variantie in discernment, wat suggereert dat LLM's momenteel ongeschikt zijn als directe vervangers voor individuele participantenmeting.

Subgroep Getrouwheid (Pluralistische Afstemming)

• Getrouwheid was niet uniform over demografische subgroepen. Voor het beste model (LoRA + MLP) daalde de structurele getrouwheid (CCC) aanzienlijk voor specifieke subgroepen (bijv. van 0,85 algemeen naar 0,40 voor conservatieven). Dit geeft aan dat geaggregeerde hoge getrouwheid ernstige misrepresentatie van specifieke identiteitsgroepen kan maskeren.

4. Belangrijkste Bijdragen

1. Herformulering: Definieerde LLM enquête-simulatie als een herstel-taak (recoverability task), waarbij succes wordt gedecomponeerd in Structurele, Marginale en Individuele getrouwheidsassen.
2. Evaluatieprotocol: Introduceerde een gekalibreerd protocol dat elke as koppelt aan specifieke metrieken (Lin's CCC, EMD, gepaarde $r_d$/MAE) om verschillende faalmodi te detecteren.
3. Empirische Benchmark: Voerde een head-to-head vergelijking uit tussen prompting, PPI rectificatie en fine-tuning op een echte misinformatie-enquête, waarbij werd aangetoond dat fijn afstemmen op kleine pilots een gebalanceerde aanpak biedt voor het bereiken van meerdere vormen van getrouwheid.
4. Subgroep Audit: Benadrukte dat structurele herstel degradeert voor bepaalde identiteits-subgroepen, wat zorgen oproept voor pluralistische afstemming.

5. Betekenis en Claims

Het artikel claimt dat LLM-gebaseerde enquête-simulaties niet moeten worden behandend als "drop-in replacements" voor menselijke respondenten. In plaats daarvan moeten ze worden geëvalueerd als conditionele generatieve modellen.

• Methodologisch Inzicht: De keuze van de output head (autoregressief vs. classificatie) heeft een significante impact op de getrouwheid; een eenvoudige architecturale verandering (het toevoegen van een MLP head) verbeterde de prestaties drastisch ten opzichte van standaard LoRA.
• Beperking van Rectificatie: PPI is een conditioneel instrument dat baat heeft bij bevooroordeelde simulatoren, maar faalt voor fijn afgestemde modellen vanwege de memorisatie van de trainingsset.
• Pluralistisch Risico: Hoge geaggregeerde getrouwheid kan systematische fouten in minderheids-subgroepen maskeren, wat noodzaakt tot subgroup-specifieke audits.
• Individuele Getrouwheids-kloof: Er blijft een aanzienlijke kloof bestaan in de individuele niveau voorspellingsnauwkeurigheid, wat suggereert dat LLM's momenteel beter geschikt zijn voor het schatten van populatie-niveau statistieken dan voor individuele psychometrische profielen.

De auteurs concluderen dat hoewel fijn afstemmen op kleine pilots veelbelovend is, het veld moet bewegen naar rigoureuze, multi-assige evaluatie om te waarborgen dat synthetische data bestaande vooroordelen niet versterkt of de perspectieven van minderheden in beleids- of interventieontwerp niet vertekent.