The Epi-LLM Framework: probing LLM behavioral priors through epidemiological agent-based models

Technische Samenvatting: Het Epi-LLM Framework

Probleemstelling
Menselijk gedrag is een cruciale determinant voor de dynamiek van infectieziekten, maar het kwantificeren van de impact van vrijwillige gedragsveranderingen — zoals quarantaine, sociale distantie en vaccinatiebereidheid — blijft een aanzienlijke uitdaging in de epidemiologische modellering. Traditionele compartimentele modellen (bijv. SIR, SEIR) vertrouwen op vereenvoudigende aannames die er niet in slagen de complexe, adaptieve wisselwerking tussen publiek gedrag en pathogene transmissie te vangen. Hoewel Agent-Based Models (ABM's) dit hebben verbeterd door individuele heterogeniteit te simuleren, worden ze vaak beperkt door een gebrek aan empirische gedragsgegevens, waarbij ze in plaats daarvan vertrouwen op geïnferrederde parameters om besluitvorming te representeren. Bovendien blijft de integratie van Large Language Models (LLM's) als de gedragsmotor binnen ABM's, waarbij agenten dynamisch redeneren en zich aanpassen tijdens een uitbraak, onderbelicht. Bestaande Generatieve Agent-Based Models (GABM's) hebben potentie getoond, maar worden vaak beperkt door single-model architecturen, kleine populaties van agenten en een onvoldoende verankering in real-world gedragsgegevens.

Methodologie
De auteurs introduceren het Epi-LLM framework, een innovatieve integratie van agent-based modeling, real-life epigames en LLM's. Het framework is gebouwd op Starsim, een open-source platform voor de dynamiek van infectieziekten, en maakt gebruik van een aangepast SEIR (Susceptible-Exposed-Infected-Recovered) transmissiemodel.

• Simulatieomgeving: De simulatie draait over een periode van 15 dagen, wat overeenkomt met de duur van een specifieke epigame-studie uitgevoerd aan de American University of Iraq–Baghdad (AUIB). Het contactnetwerk wordt gegenereerd met een dynamische RandomNet-module met een log-normale graadverdeling om overeen te komen met de empirische contactgegevens uit de AUIB-studie.
• Agent Architectuur: Agenten worden geïnstantieerd met behulp van vier verschillende LLM-architecturen die worden geraadpleegd via de OpenRouter API: DeepSeek V3, Llama 3 70B, Nemotron 120B en GPT-OSS 120B. Deze modellen vertegenwoordigen zowel dense transformer als Mixture-of-Experts (MoE) families over variërende parameterschalen.
• Gedragsmatige Parameterisering: Om de simulatie in de realiteit te verankeren, worden agenten geparametriseerd met behulp van Health Belief Model (HBM) scores, afgeleid van werkelijke enquêtegegevens van AUIB-deelnemers. Deze scores vangen waargenomen vatbaarheid, ernst, voordelen en barrières op.
• Besluitvormingsmechanisme: Dagelijks observeren agenten hun gezondheidsstatus, de lokale symptomatische prevalentie en hun puntenbalans. Vervolgens nemen ze een binaire beslissing (quarantaine of actief blijven) via een LLM-prompt. Het besluitvormingskader bevat een afweging: quarantaine garandeert bescherming tegen infectie maar levert een lagere beloning op (5 punten), terwijl actief blijven hogere beloningen biedt (10–15 punten) maar de agent blootstelt aan transmissierisico.
• Experimentele Variaties:
  • Architecturale Vergelijking: Het evalueren van epidemische uitkomsten over de vier LLM-modellen.
  • Geografische Framing: Het toekennen van geografische labels (China, Irak, Kenia, VK) om te testen of deze labels alleen al cultureel gedifferentieerd gedrag induceren.
  • Incentive Structuren: Het testen van een alternatief scoringssysteem waarbij punten worden verdiend per contact om de sociale voordelen van interactie te simuleren.
  • Statistische Analyse: Binomiale en Poisson Generalized Linear Models (GLM's) werden gefit om quarantaine gedrag te analyseren en te vergelijken met menselijke deelnemergegevens.

Belangrijkste Bijdragen

1. Verenigd Framework: Dit is het eerste werk dat LLM's, agent-based epidemische modellering en real-world gedrags-epi-game data integreert in één enkel simulatieframework.
2. Empirische Verankering: In tegen tegenstelling tot eerdere GABM-studies, parametereert dit werk de geloofsprofielen van agenten met werkelijke psychosociale enquêtegegevens van de AUIB epi-game, waardoor statische gedragsgegevens worden getransformeerd naar dynamische simulatie-inputs.
3. Architecturale Analyse: De studie biedt een systematische vergelijking van vier LLM-architecturen onder identieke omstandigheden, waarmee wordt aangetoond dat modelarchitectuur een niet-triviale determinant is van emergent populatiebrede gedrag.
4. Karakterisering van Stochasticiteit: De auteurs introduceren een zelf-overeenkomst analyse (self-agreement analysis) om de stochasticiteit van agenten te karakteriseren, wat een instrument biedt om te beoordelen of geobserveerde verschillen in epidemische trajecten het gevolg zijn van genuante gedrags-priors of seed-level ruis.

Resultaten

• Epidemische Dynamiek: Alle LLM-architecturen verminderden de piek van actieve infecties vergeleken met een no-intervention SEIR baseline. De effectiviteit varieerde echter per architectuur. Llama 3 70B produceerde de meest vertraagde en afgeplatte epidemische piek met de laagste cumulatieve infectiebelasting, terwijl Nemotron 120B hogere piekinfecties vertoonde. Modellen binnen dezelfde architecturale familie (bijv. DeepSeek V3 en GPT-OSS 120B, beide MoE) vertoonden convergerend gedrag.
• Geografische Framing: Het toekennen van geografische labels (China, Irak, Kenia, VK) induceerde geen statistisch significante verschillen in quarantaine gedrag of epidemische uitkomsten. De trajecten over alle vier de condities waren structureel identiek, waarbij het aantal cumulatieve infecties slechts met 11 agenten verschilde. Dit suggereert dat geografische labels alleen onvoldoende zijn om cultureel gedifferentieerd gedrag bij LLM-agenten op te roepen zonder expliciete attitude-parameterisering.
• Gedragsmatige Drivers: Een binomiale GLM identificeerde waargenomen gezondheidsernst als de sterkste voorspeller van quarantaine gedrag (β = 0.33, p = 0.002), met een pseudo-R² van 0.055. Dit is vergelijkbaar met de 0.072 die werd waargenomen in de menselijke trial, wat aangeeft dat LLM-agenten breed dreigingsgestuurd nalevingspatronen succesvol reproduceren.
• Incentive Structuren: Het wijzigen van de beloningsstructuur (het verschuiven van vaste beloningen naar contact-gebaseerde beloningen) veranderde de epidemische trajecten substantieel, waarbij de piekprevalentie daalde van ~0.5 naar ~0.3 en de naleving werd verlengd.
• Consistentie: Llama 3 70B vertoonde de hoogste zelf-overeenkomst (consistentie), terwijl Nemotron 120B de meest stochastische was. Dit impliceert dat architecturen met een lage variantie grotere interne validiteit bieden voor het testen van specifieke regels, terwijl modellen met een hoge variantie de stochastische aard van real-world besluitvorming beter kunnen representeren.

Betekenis en Claims
Het artikel beweert de methodologische grondslag te leggen voor het inzetten van het Epi-LLM framework als een schaalbare, risicovrije simulatieomgeving voor onderzoek naar pandemische paraatheid. De auteurs stellen dat het framework technisch haalbaar en empirisch onderbouwd is, en in staat is om substantiële inzichten te genereren in gedragsdynamiek.

De studie benadrukt dat LLM-architectuur een cruciale ontwerpkeuze is voor synthetische samenlevingen: onderzoekers moeten kiezen tussen modellen met een lage variantie voor gecontroleerde hypothesetests en modellen met een hoge variantie voor realistische heterogeniteit. Bovendien dient het nulresultaat met betrekking tot geografische framing als een kritieke bevinding, die suggereert dat betekenisvolle culturele variatie in GABM's een expliciete parameterisering van attitudes en normen vereist in plaats van eenvoudige demografische labeling. Ten slotte wordt het framework gepresenteerd als een prospectieve zandbak voor het testen van epi-game mechanica en publieke gezondheidsinterventiestrategieën voordat deze in de echte wereld worden ingezet.