Technische Samenvatting: Van Enquête-persona's naar LLM-agenten

Probleemstelling

De inzet van de Europese Unie om de introductie van nieuwe voertuigen met een verbrandingsmotor (ICE) uit te faseren vertegenwoordigt een significante beleidswijziging, maar de publieke reacties op dergelijke veranderingen zijn dynamisch en worden gevormd door interactie, feedback en evoluerende socio-politieke contexten. Traditionele enquête-methoden zijn effectief voor het meten van attitudes op specifieke momenten, maar zijn minder geschikt voor het modelleren van hoe deze attitudes evolueren onder exogene schokken en voortschrijdende gebeurtenissen. Hoewel recente literatuur onderzoekt hoe Large Language Models (LLM's) als generatieve agenten menselijk gedrag kunnen simuleren, vertrouwen bestaande studies voornamelijk op handmatig ontworpen, gestileerde persona's. Deze aanpak beperkt de empirische gronding van simulaties, aangezien het ontwerp van de persona bepaalt hoe agenten context interpreteren en beslissingen nemen. Hierdoor blijven twee kritieke hiaten bestaan: (1) het gebrek aan methoden om LLM-agenten te construeren vanuit empirisch gegronde respondentenpopulaties in plaats van handmatige persona's, en (2) de afwezigheid van kaders om dynamische beleidsvoorkeuren te bestuderen met behulp van deze gegronde agenten onder veranderende sociale contexten.

Methodologie

De auteurs stellen een Survey-Grounded Generative Agent-Based Modeling (GABM) simulatiekader voor. Deze aanpak transformeert echte enquête-respondenten in generatieve LLM-agenten, waardoor de kloof tussen statische empirische data en dynamische gedragssimulatie wordt overbrugd.

Data en Agentconstructie

Het kader maakt gebruik van data uit een online enquête uitgevoerd in Duitsland (zomer 2025), ontworpen op basis van het Integrative Public-Policy-Acceptance (IPAC) framework, met 514 respondenten.

• Persona Codering: Elke respondent wordt omgezet in een LLM-agent via een natuurlijke taal-persona. Deze persona's coderen 57 attributen, waaronder:
  • Demografie (leeftijd, geslacht, opleiding, inkomen, deelstaat).
  • Politieke oriëntatie en partijvoorkeur.
  • Mobiliteitsgedrag en ervaring met brandstof.
  • Klimaatgerelateerde attitudes (bezorgdheid, risicoperceptie, vertrouwen in de overheid).
• Initialisatie: Agenten worden geïnitialiseerd met hun geobserveerde enquête-antwoord met betrekking tot de steun voor de ICE-uitfasering, wat dient als de baseline voor daaropvolgende updates.

Simulatiekader

De simulatie werkt in een dynamische wereld waar agenten hun voorkeuren in de loop van de tijd bijwerken via herhaalde ronden (16 ronden, die kwartalen vertegenwoordigen vanaf Q1 2025).

• Contextuele Inputs: In elke ronde ontvangen agenten een gestructureerde prompt die hun persona, eerdere responsgeschiedenis, huidige nationale en deelstaat-niveau steunverdelingen bevat, en, in door gebeurtenissen gedreven scenario's, informatie over externe gebeurtenissen.
• Beslissingslogica: Agenten redeneren over deze inputs om hun beleidsstandpunt bij te werken, waarbij de vraag wordt beantwoord: "In hoeverre zou u in een verkiezing stemmen op een partij die dergelijke beleidspunten ondersteunt?" (Schaal 1–6).
• Feedbackloop: Geaggregeerde agent-responsen actualiseren de collectieve steunverdelingen, die dienen als de sociale context voor de volgende ronde.
• Experimentele Condities: De studie vergelijkt een baseline scenario (geen exogene schokken) met een event-driven scenario (introductie van tien context-relevante gebeurtenissen met ondersteunende of tegenwerkende effecten).
• Modelconfiguratie: De studie gebruikt OpenAI's GPT-4o mini met een temperatuur van 0 om stochastische variatie te minimaliseren. Experimenten variëren in prompttaal (Duits versus Engels) en samenvattingsstijl (milieugericht versus neutraal).

Belangrijkste Bijdragen

1. Framework Ontwikkeling: Introductie van een survey-gegronde GABM-framework die gestructureerde enquêtegegevens vertaalt naar natural-language LLM-agenten, waarmee voorbij wordt gegaan aan handmatig ontworde persona's.
2. Empirische Toepassing: Toepassing van dit framework op een actueel beleidsthema: publieke steun voor het uitfaseren van ICE-voertuigen in Duitsland, in lijn met de EU net-zero doelstellingen.
3. Dynamische Analyse: Levering van een empirische analyse over hoe survey-gegronde agenten reageren op veranderende sociale contexten en externe gebeurtenissen, wat de examinatie van temporele steuntrajecten, voorkeurswisselingen en profielheterogeniteit mogelijk maakt.

Resultaten

De simulatieresultaten benadrukken significante dynamiek in de vorming van voorkeuren:

• Baseline Dynamiek: In de afwezigheid van externe schokken vertonen agenten over het algemeen een opwaartse verschuiving in steun, waarbij ze bewegen van gemiddelde posities naar het hoogste steunniveau (6). Dit suggereert dat de gesimuleerde omgeving een inherente opwaartse drift creëert in plaats van enkel de initiële verdelingen te behouden.
• Prompt Sensitiviteit: Het framework is zeer gevoelig voor promptontwerp:
  • Duitse Prompts: Genereren een meer besliste opwaartse beweging en convergentie naar het hoogste steunniveau, vooral onder neutrale samenvattingen.
  • Engelse Prompts: Resulteren in meer diffuse verdelingen, waarbij de antwoorden zich verspreiden over intermediaire niveaus (4–6) in plaats van te convergeren naar de hoogste steun. Dit duidt op een zwakkere verankering en minder extreme consolidatie.
• Event-Driven Dynamiek: De introductie van externe gebeurtenissen versterkt de effecten van prompttaal en -stijl.
  • Duitse prompts met milieugerichte samenvattingen blijven een significante verschuiving naar hoge steun aansturen.
  • Engelse en neutrale prompts verdelen de massa over intermediaire categorieën, wat zorgt voor grotere heterogeniteit in hoe agenten hun voorkeuren bijwerken.
  • Volatiliteit in steurniveaus is zichtbaarder in event-gebaseerde scenario's, waarbij Engelse prompts meer uitgesproken fluctuaties laten zien.
  • Opmerkelijk genoeg is het uiteindelijke steurniveau in het op Engelse prompts gebaseerde scenario iets hoger dan in het op Duitse prompts gebaseerde scenario, ondanks dat de Duitse prompts meer besliste convergentie naar de top aansturen.
• Individuele Redenering: Casestudies onthullen dat agenten hun redenering aanpassen op basis van een complex samenspel van persoonlijke waarden, vertrouwen in de overheid en waargenomen rechtvaardigheid. Een agent kan bijvoorbeeld een hoge steun behouden op basis van klimaatwaarden, maar steun laten dalen wanneer gebeurtenissen de zorgen over distributieve rechtvaardigheid voor lage inkomensgroepen benadrukken.

Betekenis en Beperkingen

Het artikel claimt significant te zijn door de verbinding te leggen tussen computationele sociale wetenschappen, politieke problemen en sociale acceptatieanalyse in een dynamische omgeving. Het demonstreert dat zorgvuldig persona-ontwerp een realistische simulatie van besluitvorming mogelijk maakt, wat gedragsexperimenten faciliteert die statische enquêtes niet kunnen vangen.

De auteurs behouden echter een bescheiden houding met betrekking tot de implicaties:

• Data Afhankelijkheid: De kwaliteit van de simulatie is gebonden aan de onderliggende enquêtegegevens; meetfouten of weglatingen worden overgenomen in de agent-persona's.
• Vereenvoudiging: Het framework vereenvoudigt complexe menselijke besluitvorming tot gestructureerde prompts en beperkte respons-schalen.
• Prompt Sensitiviteit: Resultaten variëren aanzienlijk op basis van prompttaal, stijl en sequentie, wat een zorgvuldige interpretatie van de simulatie-uitkomsten vereist.
• Event Design: Gebeurtenissen zijn handmatig ontworpen en kunnen de onvoorspelbaarheid van de echte politieke ontwikkelingen mogelijk niet volledig vatten.
• Interactie Limieten: De huidige opzet modelleert het bijwerken van voorkeuren, maar bevat geen rijkere sociale interacties zoals directe peer-to-peer communicatie of netwerkstructuren.
• Model Specificiteit: Bevindingen zijn specifiek voor GPT-4o mini met een zero temperatuur; andere modellen of stochastische instellingen zouden andere resultaten kunnen opleveren.

De auteurs concluderen dat deze outputs geïnterpreteerd moeten worden als simulaties van voorkeursdynamiek in plaats van accurate reflecties van het toekomstige politieke gedrag van echte burgers, waarbij de nadruk ligt op de waarde van het analyseren van geaggregeerde gedragspatronen boven individuele verklaringen.