Prompts to Proxies: Emulating Human Preferences via a Compact LLM Ensemble

Technische Samenvatting: Prompts to Proxies (P2P)

Probleemstelling
Large Language Models (LLM's) worden steeds vaker ingezet als proxies voor menselijke subjecten in sociaalwetenschappelijk onderzoek om enquêteantwoorden te simuleren en gemeenschapsdynamiek te modelleren. De externe validiteit van deze synthetische agenten wordt echter aangetast door een fundamentele alignment-uitdaging: het waarborgen dat de geaggregeerde voorkeuren van een synthetisch ensemble de heterogeniteit van een doelpopulatie getrouw reflecteren. Bestaande benaderingen kampen met significante trade-offs. Supervised Fine-Tuning (SFT) en Reinforcement Learning from Human Feedback (RLHF) neigen vaak naar centrale tendensen, waardoor de diversiteit in voorkeuren wordt vertroebeld. Daarentegen vereisen methoden voor demografische conditionering gevoelige persoonlijke gegevens en arbeidsintensieve profielconstructie, en slagen zij er nog steeds niet in om distributionele getrouwheid te garanderen. Bovendien missen veel onderzoekers de computationele middelen of de toegang tot data die nodig zijn voor deze zware benaderingen.

Methodologie: Preference Reconstruction Theory
Het artikel introduceert de Preference Reconstruction Theory, die populatie-voorkeursalignment formaliseert als een representation learning-probleem, geïnspireerd door de revealed preference theory uit de economie. Het kerninzicht is dat populatie-voorkeuren niet gereconstrueerd kunnen worden door te zoeken naar één enkele "representatieve agent", maar door het construeren van een functionele basis van diverse proxy-agenten en het reconstrueren van populatievoorkeuren via gewogen aggregatie.

De auteurs operationaliseren deze theorie via Prompts to Proxies (P2P), een modulair, tweestaps inference-gebaseerd systeem dat geen fine-tuning en geen toegang tot gevoelige demografische data vereist:

1. Fase 1: Active Endowment Generation (Constructie van een diverse agentenpool)

   • Gestructureerde Prompting: Het systeem maakt gebruik van een hiërarchische "attribute bank" die interpreteerbare factoren bevat (bijv. ideologie, persoonlijkheidskenmerken, economische disposities) afgeleid van sociale wetenschappen.
   • Adaptieve Sampling: In plaats van uitputtende enumeratie gebruikt P2P een entropie-gebaseerde adaptieve samplingstrategie. Het monitort "vraag-entropie" (responsvariabiliteit) over verschillende attribuutmodi.
   • Question Patching: Om problemen met lage diversiteit bij vragen aan te pakken, genereert het systeem dynamisch nieuwe attributen die specifief zijn voor vragen met een lage entropie en genereert het "mixed modes" om diversiteit te injecteren.
   • Doel: Om een diverse pool van agenten (endowments) te construeren die het latente voorkeursdomein van het onderwerp beslaat, waarbij de responsvariabiliteit wordt gemaximaliseerd.

2. Fase 2: Regression-Based Aggregation (Compact Ensemble Selectie)

   • Variabele Selectie: Gegeven de diverse pool van agenten, gebruikt het systeem L1-regularized regression (Constrained Lasso) om een compacte subset van agenten te selecteren.
   • Optimalisatie: Het algoritme lost een geconstreund optimalisatieprobleem op om gewichten voor de geselecteerde agenten te vinden, zodanig dat hun geaggregeerde responsdistributies de loss tegen geobserveerde ground-truth enquêtegegevens (trainingsset) minimaliseren.
   • Generalisatie: De geselecteerde ensemble wordt gevalideerd op een held-out testset om te waarborgen dat de geleerde gewichten generaliseren naar ongeziene vragen, wat overfitting voorkomt.

Belangrijkste Bijdragen

• Probleemformulering: Het artikel formaliseert populatie-voorkeursalignment als een representation learning-probleem, waarbij het concept wordt geïntroduceerd dat leerbare populatievoorkeuren gerepresenteerd kunnen worden door een functionele basis van proxy-agenten met passende aggregatiegewichten.
• Modulair Alignment Systeem (P2P): Een tweestaps systeem dat entropie-gestuurde adaptieve sampling combineert voor agentengeneratie en constrained Lasso voor ensemble-selectie. Het werkt zonder fine-tuning, demografische data of significante computationele middelen.
• Empirische Validatie: De auteurs valideren P2P over 14 golven van de American Trends Panel (ATP) en de World Values Survey (WVS), waarbij robuuste prestaties worden aangetoond over diverse onderwerpen en locaties.

Resultaten

• Prestaties op ATP: Over 14 enquêtegolven bereikte P2P een gemiddelde test Mean Squared Error (MSE) van 0.014, waarmee het zowel een "Vanilla" prompting-baseline (0.026) als een demografisch geconditioneerde "PERSONA"-baseline (0.029) overtreft. Dit vertegenwoordigt een verbetering van 43% ten opzichte van de beste baseline.
• Diversiteit en Kosten: De P2P-agentenpool vertoonde een hogere gemiddelde entropie (0.53) vergeleken met de baselines (0.43–0.45), wat bevestigt dat responsdiversiteit de reconstructie van voorkeuren ondersteunt. De kosten per enquête waren ongeveer $0.80, vergelijkbaar met de Vanilla-baseline en aanzienlijk goedkoper dan PERSONA ($1.30+).
• Cross-Locale Generalisatie: Bij testen op de World Values Survey (VS, Groot-Brittannië, Hong Kong) behaalde P2P vergelijkbare prestaties als de Amerikaanse resultaten op westerse locaties (MSE ~0.014–0.015). De prestaties voor Hong Kong waren lager (MSE ~0.024), wat de auteurs toeschrijven aan de bias in de trainingsdata van LLM's richting westerse populaties. De foutanalyse toonde aan dat hoewel cross-locale transfer profiteert van diversiteit, locatie-specifieke generatie cultureel onderscheidende voorkeuren vastlegt die een buitenlandse basis niet volledig kan reconstrueren.
• Stress Test: In een stress test tegen een distributie-gekalibreerd SFT-model, getraind op gepoolde data uit 46 landen, behaalde P2P concurrerende Jensen-Shannon Divergentie (1-JSD) en Majority-Class Prediction Accuracy (MCPA) met het gebruik van minder dan 3% van de trainingsdata en zonder fine-tuning.

Betekenis en Claims
Het artikel beweert een praktisch, efficiënt platform voor interdisciplinair onderzoek in sociale wetenschappelijke simulatie te bieden. Door alignment te behandelen als een reconstructieprobleem in plaats van een single-agent optimalisatietaak, adresseert P2P de "onzichtbare bronnenbarrière" waar academische instellingen en onafhankelijke onderzoekers mee te maken hebben. De auteurs positioneren het werk als een stap naar pluralistische alignment, waarbij zij aantonen dat synthetische agenten getrouw de heterogeniteit van een populatie kunnen reproduceren zonder afhankelijk te zijn van gevoelige individuele data of dure model-retraining. De studie suggereert dat hoewel LLM's inherente biases hebben, een goed geconstrueerde functionele basis deze problemen kan mitigeren om menselijke keuzepatronen effectief te emuleren. De auteurs merken bescheiden op dat toekomstig werk nodig is om niet-stationaire voorkeuren in de loop van de tijd aan te pakken, het framework uit te breiden naar vrije tekstoutputs, en verdere onderzoek te doen naar generalisatie over verschillende enquêteontwerpen om "shortcut learning" te voorkomen.