The Epi-LLM Framework: probing LLM behavioral priors through epidemiological agent-based models

Resumen Técnico: El Marco de Trabajo Epi-LLM

Planteamiento del Problema
El comportamiento humano es un determinante crítico de la dinámica de las enfermedades infecciosas; sin embargo, cuantificar el impacto de los cambios de comportamiento voluntarios —como la cuarentena, el distanciamiento social y la aceptación de la vacunación— sigue siendo un desafío significativo en el modelado epidemiológico. Los modelos compartimentales tradicionales (p. ej., SIR, SEIR) dependen de supuestos simplificadores que no logran capturar la compleja e interactiva relación entre el comportamiento público y la transmisión de patógenos. Si bien los Modelos Basados en Agentes (ABM) han mejorado esto al simular la heterogeneidad a nivel individual, a menudo están limitados por la falta de datos de comportamiento empíricos, dependiendo en su lugar de parámetros inferidos para representar la toma de decisiones. Además, la integración de Modelos de Lenguaje Extensos (LLM) como el motor de comportamiento dentro de los ABM, donde los agentes razonan y se adaptan dinámicamente durante un brote, sigue siendo un área poco explorada. Los Modelos Basados en Agentes Generativos (GABM) existentes han mostrado potencial, pero a menudo están limitados por arquitecturas de modelo único, poblaciones de agentes pequeñas y una insuficiente fundamentación en datos de comportamiento del mundo real.

Metodología
Los autores presentan el marco de trabajo Epi-LLM, una novedosa integración de modelado basado en agentes, epigames de la vida real y LLMs. El marco se construye sobre Starsim, una plataforma de código abierto para la dinámica de enfermedades infecciosas, y utiliza un modelo de transmisión SEIR (Susceptible-Expuesto-Infectado-Recuperado) modificado.

• Entorno de Simulación: La simulación se ejecuta durante un periodo de 15 días, reflejando la duración de un estudio específico de epigame realizado en la Universidad Americana de Irak–Bagdad (AUIB). La red de contactos se genera utilizando un módulo RandomNet dinámico con una distribución de grado log-normal para coincidir con los datos de contacto empíricos del estudio de la AUIB.
• Arquitectura de los Agentes: Los agentes se instancian utilizando cuatro arquitecturas de LLM distintas accedidas a través de la API de OpenRouter: DeepSeek V3, Llama 3 70B, Nemotron 120B y GPT-OSS 120B. Estos modelos representan tanto familias de transformadores densos como de Mezcla de Expertos (MoE) a través de diversas escalas de parámetros.
• Parametrización del Comportamiento: Para fundamentar la simulación en la realidad, los agentes se parametrizan utilizando puntuaciones del Modelo de Creencias en Salud (HBM) derivadas de respuestas de encuestas reales de participantes de la AUIB. Estas puntuaciones capturan la susceptibilidad y gravedad percibidas, así como los beneficios y las barreras.
• Mecanismo de Decisión: Diariamente, los agentes observan su estado de salud, la prevalencia sintomática local y su balance de puntos. Luego, toman una decisión binaria (cuarentena o permanecer activo) mediante un prompt de LLM. El marco de decisión incluye un intercambio (trade-off): la cuarentena garantiza la protección contra la infección pero genera una recompensa menor (5 puntos), mientras que permanecer activo ofrece recompensas más altas (10–15 puntos) pero expone al agente al riesgo de transmisión.
• Variaciones Experimentales:
  • Comparación Arquitectónica: Evaluación de los resultados epidémicos a través de los cuatro modelos de LLM.
  • Encuadre Geográfico: Asignación de etiquetas geográficas (China, Irak, Kenia, Reino Unido) para probar si estas etiquetas por sí solas inducen un comportamiento culturalmente diferenciado.
  • Estructuras de Incentivos: Prueba de un sistema de puntuación alternativo donde los puntos se ganan por contacto para simular los beneficios sociales de la interacción.
  • Análisis Estadístico: Se ajustaron Modelos Lineales Generalizados (GLM) binomiales y de Poisson para analizar el comportamiento de cuarentena y compararlo con los datos de los participantes humanos.

Contribuciones Clave

1. Marco Unificado: Este es el primer trabajo que integra LLMs, modelado de epidemias basado en agentes y datos de epi-juegos del mundo real en un único marco de simulación.
2. Fundamentación Empírica: A diferencia de los estudios previos de GABM, este trabajo parametriza los perfiles de creencias de los agentes utilizando datos de encuestas psicosociales reales del epi-juego de la AUIB, transformando datos de comportamiento estáticos en entradas de simulación dinámicas.
3. Análisis Arquitectónico: El estudio proporciona una comparación sistemática de cuatro arquitecturas de LLM bajo condiciones idénticas, demostrando que la arquitectura del modelo es un determinante no trivial del comportamiento emergente a nivel poblacional.
4. Caracterización de la Estocasticidad: Los autores introducen un análisis de auto-acuerdo para caracterizar la estocasticidad de los agentes, proporcionando una herramienta para evaluar si las diferencias observadas en las trayectorias epidémicas reflejan sesgos de comportamiento genuinos o ruido de la semilla inicial.

Resultados

• Dinámica Epidémica: Todas las arquitecturas de LLM redujeron el pico de infecciones activas en comparación con una línea base SEIR sin intervención. Sin embargo, la efectividad varió según la arquitectura. Llama 3 70B produjo el pico epidémico más retrasado y aplanado, con la menor carga de infección acumulada, mientras que Nemotron 120B exhibió mayores picos de infección. Los modelos dentro de la misma familia arquitectónica (por ejemplo, DeepSeek V3 y GPT-OSS 120B, ambos MoE) mostraron comportamientos convergentes.
• Encuadre Geográfico: La asignación de etiquetas geográficas (China, Irak, Kenia, Reino Unido) no indujo diferencias estadísticamente significativas en el comportamiento de cuarentena ni en los resultados epidémicos. Las trayectorias en las cuatro condiciones fueron estructuralmente idénticas, con las infecciones acumuladas diferenciándose por solo 11 agentes. Esto sugiere que las etiquetas geográficas por sí solas son insuficientes para provocar un comportamiento culturalmente diferenciado en los agentes de LLM sin una parametrización de actitudes explícita.
• Impulsores del Comportamiento: Un GLM binomial identificó la gravedad de la salud percibida como el predictor más fuerte del comportamiento de cuarentena (β = 0.33, p = 0.002), arrojando un pseudo-R² de 0.055. Esto es comparable al 0.072 observado en el ensayo humano, lo que indica que los agentes de LLM reproducen con éxito los patrones generales de cumplimiento impulsados por la amenaza.
• Estructuras de Incentivos: Modificar la estructura de recompensas (pasando de recompensas fijas a recompensas basadas en el contacto) alteró sustancialmente las trayectorias epidémicas, reduciendo la prevalencia máxima de ~0.5 a ~0.3 y prolongando el cumplimiento.
• Consistencia: Llama 3 70B exhibió el mayor auto-acuerdo (consistencia), mientras que Nemotron 120B fue el más estocástico. Esto implica que las arquitecturas de baja varianza ofrecen una mayor validez interna para probar reglas específicas, mientras que los modelos de alta varianza pueden representar mejor la naturaleza estocástica de la toma de decisiones en el mundo real.

Significancia y Reivindicaciones
El artículo afirma sentar las bases metodológicas para desplegar el marco de trabajo Epi-LLM como un entorno de simulación escalable y libre de riesgos para la investigación en preparación ante pandemias. Los autores aseveran que el marco es técnicamente factible y está fundamentado empíricamente, siendo capaz de generar conocimientos sustantivos sobre la dinámica del comportamiento.

El estudio enfatiza que la arquitectura del LLM es una elección de diseño clave para las sociedades sintéticas: los investigadores deben elegir entre modelos de baja varianza para pruebas de hipótesis controladas y modelos de alta varianza para una heterogeneidad realista. Además, el resultado nulo respecto al encuadre geográfico sirve como un hallazgo crítico, sugiriendo que la variación cultural significativa en los GABM requiere la parametrización explícita de factores actitudinales y normativos en lugar de simples etiquetas demográficas. Finalmente, el marco se presenta como un banco de pruebas prospectivo para probar mecánicas de epi-juegos y estrategias de intervención de salud pública antes de su despliegue en el mundo real.