The Epi-LLM Framework: probing LLM behavioral priors through epidemiological agent-based models

Resumo Técnico: O Framework Epi-LLM

Declaração do Problema
O comportamento humano é um determinante crítico da dinâmica de doenças infecciosas, mas quantificar o impacto das mudanças comportamentais voluntárias — como quarentena, distanciamento social e adesão à vacinação — continua sendo um desafio significativo na modelagem epidemiológica. Os modelos compartimentais tradicionais (ex: SIR, SEIR) baseiam-se em suposições simplificadoras que falham em capturar a interação complexa e adaptativa entre o comportamento público e a transmissão de patógenos. Embora os Modelos Baseados em Agentes (ABMs) tenham melhorado isso ao simular a heterogeneidade ao nível individual, eles são frequentemente limitados pela falta de dados comportamentais empíricos, dependendo, em vez disso, de parâmetros inferidos para representar a tomada de decisão. Além disso, a integração de Grandes Modelos de Linguagem (LLMs) como o motor comportamental dentro de ABMs, onde os agentes raciocinam e se adaptam dinamicamente ao longo de um surto, permanece subexplorada. Os Modelos Baseados em Agentes Generativos (GABMs) existentes mostraram potencial, mas são frequentemente limitados por arquiteturas de modelo único, populações de agentes pequenas e insuficiência de fundamentação em dados comportamentais do mundo real.

Metodologia
Os autores introduzem o framework Epi-LLM, uma integração inovadora de modelagem baseada em agentes, epigames da vida real e LLMs. O framework é construído sobre o Starsim, uma plataforma de código aberto para dinâmica de doenças infecciosas, e utiliza um modelo de transmissão SEIR (Suscetível-Exposto-Infectado-Recuperado) modificado.

• Ambiente de Simulação: A simulação ocorre ao longo de um período de 15 dias, espelhando a duração de um estudo de epigame específico conduzido na American University of Iraq–Baghdad (AUIB). A rede de contatos é gerada usando um módulo RandomNet dinâmico com uma distribuição de grau log-normal para corresponder aos dados de contato empíricos do estudo da AUIB.
• Arquitetura do Agente: Os agentes são instanciados utilizando quatro arquiteturas distintas de LLM acessadas via API do OpenRouter: DeepSeek V3, Llama 3 70B, Nemotron 120B e GPT-OSS 120B. Estes modelos representam tanto famílias de transformadores densos quanto de Mistura de Especialistas (MoE) através de diversas escalas de parâmetros.
• Parametrização Comportamental: Para fundamentar a simulação na realidade, os agentes são parametrizados usando pontuações do Modelo de Crenças em Saúde (HBM) derivadas de respostas reais de questionários de participantes da AUIB. Essas pontuações capturam a percepção de suscetibilidade, gravidade, benefícios e barreiras.
• Mecanismo de Decisão: Diariamente, os agentes observam seu estado de saúde, a prevalência de sintomas locais e o saldo de pontos. Eles então tomam uma decisão binária (quarentena ou permanecer ativo) via prompt de LLM. O framework de decisão inclui um trade-off: a quarentena garante proteção contra a infecção, mas gera uma recompensa menor (5 pontos), enquanto permanecer ativo oferece recompensas maiores (10–15 pontos), mas expõe o agente ao risco de transmissão.
• Variações Experimentais:
  • Comparação Arquitetural: Avaliando resultados epidêmicos através dos quatro modelos de LLM.
  • Enquadramento Geográfico: Atribuindo rótulos geográficos (China, Iraque, Quênia, Reino Unido) para testar se esses rótulos sozinhos induzem um comportamento culturalmente diferenciado.
  • Estruturas de Incentivo: Testando um sistema de pontuação alternativo onde pontos são ganhos por contato para simular os benefícios sociais da interação.
  • Análise Estatística: Modelos Lineares Generalizados (GLMs) binomiais e de Poisson foram ajustados para analisar o comportamento de quarentena e comparar com os dados de participantes humanos.

Principais Contribuições

1. Framework Unificado: Este é o primeiro trabalho a integrar LLMs, modelagem de epidemias baseada em agentes e dados de epi-jogo do mundo real em um único framework de simulação.
2. Fundamentação Empírica: Ao contrário de estudos anteriores de GABM, este trabalho parametriza perfis de crenças dos agentes usando dados de pesquisas psicossociais reais do epi-jogo da AUIB, transformando dados comportamentais estáticos em inputs de simulação dinâmicos.
3. Análise Arquitetural: O estudo fornece uma comparação sistemática de quatro arquiteturas de LLM sob condições idênticas, demonstrando que a arquitetura do modelo é um determinante não trivial do comportamento emergente ao nível populacional.
4. Caracterização de Estocasticidade: Os autores introduzem uma análise de auto-acordo para caracterizar a estocasticidade do agente, fornecendo uma ferramenta para avaliar se as diferenças observadas nas trajetórias epidêmicas refletem priors comportamentais genuínos ou ruído de nível de semente (seed-level noise).

Resultos

• Dinâmica Epidêmica: Todas as arquiteturas de LLM reduziram o pico de infecções ativas em comparação com uma linha de base SEIR sem intervenção. No entanto, a eficácia variou conforme a arquitetura. O Llama 3 70B produziu o pico epidêmico mais atrasado e achatado, com a menor carga cumulativa de infecção, enquanto o Nemotron 120B exibiu picos de infecção mais elevados. Modelos dentro da mesma família arquitetural (ex: DeepSeek V3 e GPT-OSS 120B, ambos MoE) mostraram comportamentos convergentes.
• Enquadramento Geográfico: Atribuir rótulos geográficos (China, Iraque, Quênia, Reino Unido) não induziu diferenças estatisticamente significativas no comportamento de quarentena ou nos resultados epidêmicos. As trajetórias em todas as quatro condições foram estruturalmente idênticas, com as infecções cumulativas diferindo por apenas 11 agentes. Isso sugere que rótulos geográficos sozinhos são insuficientes para elicitar comportamento culturalmente diferenciado em agentes de LLM sem a parametrização de atitudes explícitas.
• Drivers Comportamentais: Um GLM binomial identificou a gravidade percebida da saúde como o preditor mais forte do comportamento de quarentena (β = 0,33, p = 0,002), gerando um pseudo-R² de 0,055. Isso é comparável ao 0,072 observado no teste humano, indicando que os agentes de LLM reproduzem com sucesso padrões amplos de conformidade impulsionados por ameaças.
• Estruturas de Incentivo: Modificar a estrutura de recompensa (mudando de recompensas fixas para recompensas baseadas em contato) alterou substancialmente as trajetórias epidêmicas, reduzindo a prevalência de pico de ~0,5 para ~0,3 e prolongando a conformidade.
• Consistência: O Llama 3 70B exibiu o maior auto-acordo (consistência), enquanto o Nemotron 120B foi o mais estocástico. Isso implica que arquiteturas de baixa variância oferecem maior validade interna para testes de regras específicas, enquanto modelos de alta variância podem representar melhor a natureza estocástica da tomada de decisão no mundo real.

Significância e Alegações
O artigo afirma estabelecer a base metodológica para implantar o framework Epi-LLM como um ambiente de simulação escalável e livre de riscos para pesquisa de preparação para pandemias. Os autores afirmam que o framework é tecnicamente viável e empiricamente fundamentado, capaz de gerar insights substantivos sobre dinâmicas comportamentais.

O estudo enfatiza que a arquitetura do LLM é uma escolha de design fundamental para sociedades sintéticas: pesquisadores devem escolher entre modelos de baixa variância para testes de hipóteses controlados e modelos de alta variância para heterogeneidade realista. Além disso, o resultado nulo em relação ao enquadramento geográfico serve como um achado crítico, sugerindo que a variação cultural significativa em GABMs requer a parametrização explícita de fatores atitudinais e normativos, em vez de simples rotulagem demográfica. Finalmente, o framework é apresentado como um sandbox prospectivo para testar mecânicas de epi-jogos e estratégias de intervenção de saúde pública antes da implementação no mundo real.