The Epi-LLM Framework: probing LLM behavioral priors through epidemiological agent-based models

Résumé Technique : Le Cadre Epi-LLM

Énoncé du Problème
Le comportement humain est un déterminant critique de la dynamique des maladies infectieuses, pourtant, quantifier l'impact des changements de comportement volontaires — tels que la quarantaine, la distanciation sociale et l'adhésion à la vaccination — demeure un défi majeur dans la modélisation épidémiologique. Les modèles compartimentaux traditionnels (ex. : SIR, SEIR) reposent sur des hypothèses simplificatrices qui ne parviennent pas à capturer l'interaction complexe et adaptative entre le comportement public et la transmission des agents pathogènes. Bien que les modèles à base d'agents (ABM) aient amélioré cela en simulant l'hétérogénéité au niveau individuel, ils sont souvent limités par un manque de données comportementales empiriques, s'appuyant plutôt sur des paramètres inférés pour représenter la prise de décision. De plus, l'intégration des grands modèles de langage (LLM) comme moteur comportemental au sein des ABM, où les agents raisonnent et s'adaptent dynamiquement au cours d'une épidémie, reste sous-explorée. Les modèles génératifs à base d'agents (GABM) existants ont montré un certain potentiel, mais sont souvent limités par des architectures à modèle unique, de petites populations d'agents et un ancrage insuffisant dans des données comportementales réelles.

Méthodologie
Les auteurs introduisent le cadre Epi-LLM, une nouvelle intégration de la modélisation à base d'agents, des épi-jeux réels et des LLM. Le cadre est construit sur Starsim, une plateforme open-source pour la dynamique des maladies infectieuses, et utilise un modèle de transmission SEIR (Susceptible-Exposé-Infecté-Rétabli) modifié.

• Environnement de Simulation : La simulation s'exécute sur une période de 15 jours, reflétant la durée d'une étude d'épi-jeu spécifique menée à l'American University of Iraq–Baghdad (AUIB). Le réseau de contacts est généré à l'aide d'un module RandomNet dynamique avec une distribution de degré log-normale pour correspondre aux données de contact empiriques de l'étude de l'AUIB.
• Architecture des Agents : Les agents sont instanciés via quatre architectures de LLM distinctes accédées par l'API OpenRouter : DeepSeek V3, Llama 3 70B, Nemotron 120B et GPT-OSS 120B. Ces modèles représentent à la fois des familles de transformateurs denses et de mélange d'experts (MoE) à travers diverses échelles de paramètres.
• Paramétrage Comportemental : Pour ancrer la simulation dans la réalité, les agents sont paramétrés à l'aide de scores du Modèle de Croyance en Santé (HBM) dérivés de réponses réelles à des enquêtes auprès des participants de l'AUIB. Ces scores capturent la perception de la susceptibilité, de la gravité, des bénéfices et des barrières.
• Mécanisme de Décision : Quotidiennement, les agents observent leur état de santé, la prévalence symptomatique locale et leur solde de points. Ils prennent ensuite une décision binaire (quarantaine ou maintien de l'activité) via un prompt LLM. Le cadre de décision inclut un arbitrage : la quarantaine garantit la protection contre l'infection mais génère une récompense plus faible (5 points), tandis que le maintien de l'activité offre des récompenses plus élevées (10 à 15 points) mais expose l'agent à un risque de transmission.
• Variations Expérimentales :
  • Comparaison Architecturale : Évaluation des résultats épidémiques à travers les quatre modèles de LLM.
  • Cadrage Géographique : Attribution de labels géographiques (Chine, Irak, Kenya, Royaume-Uni) pour tester si ces labels induisent à eux seuls un comportement culturellement différencié.
  • Structures d'Incitations : Test d'un système de score alternatif où les points sont gagnés par contact pour simuler les bénéfices sociaux de l'interaction.
  • Analyse Statistique : Des modèles linéaires généralisés (GLM) binomiaux et de Poisson ont été ajustés pour analyser le comportement de quarantaine et le comparer aux données des participants humains.

Contributions Clés

1. Cadre Unifié : Il s'agit du premier travail intégrant les LLM, la modélisation épidémique à base d'agents et les données d'épi-jeux comportementaux réels dans un cadre de simulation unique.
2. Ancrage Empirique : Contrairement aux études GABM antérieures, ce travail paramètre les profils de croyances des agents à l'aide de données d'enquêtes psychosociales réelles de l'épi-jeu de l'AUIB, transformant des données comportementales statiques en entrées de simulation dynamiques.
3. Analyse Architecturale : L'étude fournit une comparaison systématique de quatre architectures de LLM sous des conditions identiques, démontrant que l'architecture du modèle est un déterminant non trivial du comportement émergent au niveau de la population.
4. Caractérisation de la Stochasticité : Les auteurs introduisent une analyse d'auto-accord pour caractériser la stochasticité des agents, fournissant un outil pour évaluer si les différences observées dans les trajectoires épidémiques reflètent de véritables a priori comportementaux ou du bruit lié à la graine (seed) initiale.

Résultats

• Dynamique Épidémique : Toutes les architectures de LLM ont réduit le pic d'infections actives par rapport à une ligne de base SEIR sans intervention. Cependant, l'efficacité variait selon l'architecture. Llama 3 70B a produit le pic épidémique le plus retardé et le plus aplati avec la charge d'infection cumulée la plus faible, tandis que Nemotron 120B a présenté des pics d'infections plus élevés. Les modèles appartenant à la même famille architecturale (ex. : DeepSeek V3 et GPT-OSS 120B, tous deux MoE) ont montré des comportements convergents.
• Cadrage Géographique : L'attribution de labels géographiques (Chine, Irak, Kenya, Royaume-Uni) n'a pas induit de différences statistiquement significatives dans le comportement de quarantaine ou les résultats épidémiques. Les trajectoires à travers les quatre conditions étaient structurellement identiques, les infections cumulées ne différant que de 11 agents. Cela suggère que les labels géographiques seuls sont insuffisants pour susciter un comportement culturellement différencié chez les agents LLM sans un paramétrage explicite des attitudes.
• Déterminants Comportementaux : Un GLM binomial a identifié la gravité perçue de la santé comme le prédicteur le plus fort du comportement de quarantaine (β = 0,33, p = 0,002), produisant un pseudo-R² de 0,055. Cela est comparable au 0,072 observé dans l'essai humain, indiquant que les agents LLM reproduisent avec succès les schémas globaux de conformité dictés par la menace.
• Structures d'Incitations : La modification de la structure des récompenses (passant de récompenses fixes à des récompenses basées sur le contact) a substantiellement altéré les trajectoires épidémiques, réduisant la prévalence de pointe d'environ 0,5 à 0,3 et prolongeant la conformité.
• Cohérence : Llama 3 70B a présenté la plus haute auto-accordance (cohérence), tandis que Nemotron 120B était le plus stochastique. Cela implique que les architectures à faible variance offrent une plus grande validité interne pour tester des règles spécifiques, tandis que les modèles à haute variance peuvent mieux représenter la nature stochastique de la prise de décision dans le monde réel.

Signification et Revendications
L'article affirme poser les bases méthodologiques pour déployer le cadre Epi-LLM comme un environnement de simulation évolutif et sans risque pour la recherche sur la préparation aux pandémies. Les auteurs soutiennent que le cadre est techniquement réalisable et empiriquement ancré, capable de générer des informations substantielles sur les dynamiques comportementales.

L'étude souligne que l'architecture du LLM est un choix de conception clé pour les sociétés synthétiques : les chercheurs doivent choisir entre des modèles à faible variance pour des tests d'hypothèses contrôlés et des modèles à haute variance pour une hétérogénéité plus réaliste. De plus, le résultat nul concernant le cadrage géographique constitue une découverte critique, suggérant que la variation culturelle significative dans les GABM nécessite un paramétrage explicite des facteurs attentionnels et normatifs plutôt qu'un simple étiquetage démographique. Enfin, le cadre est présenté comme un bac à sable prospectif pour tester les mécaniques d'épi-jeux et les stratégies d'intervention de santé publique avant leur déploiement dans le monde réel.