Calibrating the Instrument: Controllability of an LLM-Driven Synthetic Population

Technische Samenvatting: Kalibratie van het Instrument – Controleerbaarheid van een door LLM gestuurde Synthetische Populatie

Probleemstelling
Generatieve Synthetische Populaties (GSP)—een convergentie van statistische populatiesynthese, agent-gebaseerde modellering (ABM) en Large Language Model (LLM) agents—bieden veelbelovende mogelijkheden voor stedelijke simulatie en onderzoek naar institutionele communicatie. Er bestaat echter een fundamentele validatiekloof: voordat een GSP-instrument kan worden vertrouwd om reële populaties te modelleren (externe validiteit), moeten de interne mechanismen ervan worden geverifieerd. Specifiek: reageert het instrument op stimuli met een bekende valentie op een geordende, reproduceerbare en groepsgestructureerde wijze? Het artikel stelt dat zonder het vaststellen van deze eigenschap, getiteld controleerbaarheid, elke claim over het vermogen van het instrument om menselijk gedrag te volgen, logisch voortijdig is. De auteurs betogen dat een synthetische populatie eerst moet worden aangetoond in staat te zijn "zichzelf te volgen"—het herstellen van de latente structuur die aan haar is opgelegd—voordat zij gebruikt kan worden om echte mensen te volgen.

Methodologie: Het SIVE-experiment
Om dit aan te pakken, introduceren de auteurs SIVE (Synthetic Instrument Validation Experiment), een minimal-model kalibratiebank ontworpen om de responsfunctie van het instrument te isoleren van de ruis van de complexe werkelijkheid.

• Experimenteel Systeem (Montelago): Een fictieve Italiaanse gemeente zonder reëel referentpunt, bevolkt door 120 synthetische persona's. Elke persona bezit een bekende, gecodeerde latente attitude-structuur (specifiek: institutioneel vertrouwen: Laag, Medium, Hoog) en een demografisch profiel, maar de gecodeerde scores worden tijdens de inferentie achtergehouden voor het LLM. Het LLM ontvangt enkel het achtergrondverhaal en de demografische gegevens van de persona.
• Stimuli: De populatie wordt blootgesteld aan zeven experimentele condities betreffende institutionele communicatie over een gemeentelijk waternetwerk. Deze beslaan een valentiespectrum:
  • POS/POS2: Sterk positief (replica's voor ruisestimatie).
  • NEG: Sterk negatief.
  • POSW/POSW2: "Zwak positieve" signalen (POSW was een misgekalibreerde stimulus; POSW2 was een hergekalibreerde versie).
  • PLA: Een thematisch orthogonale placebo (Buurtfestival).
  • CTRL: Geen bericht.
• Procedure: Elke van de 120 agents ondergaat zeven onafhankelijke runs (één per conditie). In elke run geven agents pre-stimulus ratings, reageren zij op de stimulus via vrije tekst op drie temporele intervallen, en geven zij post-stimulus ratings.
• Parameters: Experimenten werden uitgevoerd over een temperature sweep ($t \in \{0.2, 0.5, 0.7\}$) met behulp van het DeepSeek deepseek-chat model.
• Validatiecriteria: Zeven vooraf geregistreerde criteria (C1–C7) werden gedefieerd om te beoordelen:
  1. Fidelity (C1): Correlatie tussen gecodeerde latente attitudes en pre-stimulus responsen.
  2. Stability (C2): Consistentie van pre-stimulus baselines over verschillende condities.
  3. Noise Floor (C3): Intrinsieke variabiliteit gemeten via replica-stimuli (POS vs. POS2) en single-profile repetitie.
  4. Specificity (C4): Nul-effect van de placebo (PLA) vergeleken met de controle (CTRL).
  5. Sensitivity (C5): Geordende respons op stimuli met een bekende valentie.
  6. Ordering (C6): Rangcorrelatie tussen geobserveerde en verwachte conditie-rankings.
  7. Receipt Check (C7): Detectie van verschuivingen in informatie-adequaatheid, ongeacht de valentie van het bericht.

Belangrijkste Resultaten
Alle zeven vooraf geregistreerde criteria werden doorstaan bij alle drie de temperatuurinstellingen ($t=0.2, 0.5, 0.7$).

• Fidelity & Stability: Het instrument herstelde getrouw de latente vertrouwensstructuur (C1: $r > 0.89$ voor de primaire vertrouwensvariabele) en handhaafde stabiele baselines over de condities heen (C2: $r_{min} > 0.85$).
• Karakterisering van Ruis: De cross-agent ruisvloer ($\sigma_{cross} \approx 1.4$) bleek ongeveer dubbel zo groot als de intrinsieke instrumentruis ($\sigma_{instr} \approx 0.77$), die laatste geïsoleerd via single-profile repetitie. Cruciaal was dat de intrinsieke ruis temperatuur-invariant was.
• Kalibratiesucces (POSW/POSW2): Een centraal resultaat kwam voort uit een falen van de stimulus-kalibratie. De "zwak positieve" stimulus (POSW), ontworpen als neutraal-tot-positief, werd door het instrument geïdentificeerd als functioneel negatief, wat de vertrouwensscores onder de controle-baseline dreef. Post-hoc analyse onthulde dat de tekst "probleem-plus-onzekerheid-plus-institutionele-passiviteit" codeerde. Een hergekalibreerde stimulus (POSW2) herstelde de verwachte ordening, wat het vermogen van het instrument demonstreerde om ontwerpfouten in de stimuli zelf te diagnosticeren.
• Sensitivity & Ordering: Het instrument slaagde erin om stimuli te discrimineren, waarbij de geobserveerde ranking van condities overeenkwam met de verwachte ranking (C6: $\tau \approx 1.0$) zodra de hergekalibreerde POSW2 werd opgenomen.
• Micro-dynamiek: Terwijl geaggregeerde metrieken consistente trends vertoonden, onthulden individuele agent-trajecten kwalitatief onderscheidende psychologische mechanismen. Zo vertoonden "Low Trust"-agents onder een negatieve stimulus ofwel passieve berusting ofwel actieve burgerlijke mobilisatie, terwijl "High Trust"-agents een instorting van de waargenomen broncredibiliteit ervoeren in plaats van slechts een daling in vertrouwen.

Betekenis en Claims
Het artikel claimt dat SIVE een noodzakelijke logische prior vaststelt voor GSP-onderzoek: controleerbaarheid. De auteurs stellen dat het karakteriseren van de responsfunctie van een instrument onderscheidend is van, en een voorwaarde is voor, het valideren van de externe fideliteit ervan tegenover menselijk gedrag.

• Interne Validiteit Eerst: De studie demonstreert dat een GSP-instrument rigoureus gekalibreerd kan worden om te reageren op bekende inputs op een gestructureerde wijze, onafhankelijk van een vergelijking met echte menselijke data.
• Diagnostisch Nut: Het experiment benadrukt het vermogen van het instrument om als diagnostisch instrument voor de stimuli zelf te dienen, waarbij het onthult dat "zwak positieve" berichten door sceptische doelgroepen als negatief kunnen worden geïnterpreteerd vanwege institutionele passiviteit.
• Precisie: De studie kwantificeert de ruisvloer van het instrument en toont aan dat dit preciezer is dan naïeve cross-agent analyses suggereren, en dat deze precisie stabiel is over temperatuurvariaties.
• Scope: De auteurs verklaren expliciet dat SIVE niet de capaciteit van het instrument valideert om reële populaties te modelleren (externe validiteit) of de specifieke dynamiek van de Caffaro/Brescia casestudy die aan dit werk ten grondslag lag. In plaats daarvan biedt het de "gekarakteriseerde instrument" die vereist is om deze toekomstige vragen geloofwaardig te kunnen benaderen.

Het artikel concludeert dat het Montelago-instrument controleerbaar is en dat de experimentele logica van SIVE kan worden aangepast aan andere instrumenten, wat een fundamentele stap vormt voor de volwassenwording van LLM-gestuurde sociale simulatie.