EpiQAL: Benchmarking Large Language Models in Epidemiological Question Answering for Enhanced Alignment and Reasoning

1. Problema e Motivação

O raciocínio epidemiológico confiável exige a síntese de evidências de estudos para inferir carga de doenças, dinâmicas de transmissão e efeitos de intervenções em nível populacional. Embora existam benchmarks de perguntas e respostas (QA) biomédicos, a maioria foca em:

• Conhecimento clínico: Focado em pacientes individuais (ex: MedQA, MedMCQA).
• Formatos restritos: Baseados em resumos ou espaços de rótulos limitados (ex: PubMedQA).
• Especificidade de doenças: Focados em pandemias específicas com formatos extrativos (ex: COVID-QA).

A Lacuna: Falta um benchmark que avalie sistematicamente a inferência epidemiológica baseada em evidências, que requer raciocínio estatístico e causal em nível populacional sobre artigos de pesquisa completos. Os modelos atuais de LLM (Large Language Models) tendem a explorar "atalhos" superficiais (como sobreposição lexical) em vez de realizar inferências genuínas baseadas em evidências.

2. Metodologia: O Framework EpiQAL

O EpiQAL (Epidemiological QA over the Literature) é o primeiro benchmark diagnóstico para QA epidemiológico, construído a partir de literatura de acesso aberto (Jornal PLOS Neglected Tropical Diseases). O framework aborda quatro desafios principais: escopo, fundamentação (grounding), verificação e dificuldade.

2.1. Construção do Dataset

O processo segue um pipeline de qualidade controlada:

1. Taxonomia de Especialistas: Desenvolvida com epidemiologistas, cobrindo 6 classes e 25 tópicos (ex: Vigilância, Investigação de Surtos, Determinantes, Imunidade).
2. Geração e Restrições: Um modelo gerador (Qwen3-30B) cria perguntas sob restrições de esquema (tópico, lógica, opções).
3. Verificação Multi-Modelo: Um grupo de LLMs verifica a consistência factual e a validade das opções. Opções incertas são revisadas por humanos.
4. Controle de Dificuldade: Para subconjuntos de raciocínio, aplica-se "refinamento de haste" (stem refinement), substituindo entidades específicas por descrições para evitar correspondência superficial.

2.2. Os Três Subconjuntos

O benchmark é dividido em três partes para isolar capacidades distintas:

• EpiQAL-A (Recall Baseado em Texto):
  • Tarefa: Recuperação factual direta.
  • Entrada: Documento completo.
  • Desafio: Identificar métricas ou fatos explicitamente declarados. As opções incorretas (distratores) são fatos reais do documento, mas aplicados ao contexto errado (ex: população ou métrica errada).
• EpiQAL-B (Inferência Multi-estágio):
  • Tarefa: Integração de múltiplas evidências para chegar a uma conclusão não declarada em uma única frase.
  • Entrada: Documento completo.
  • Desafio: Requer raciocínio causal e síntese. Os distratores contêm falhas de raciocínio (ex: inversão causal, atribuição errada de entidades).
• EpiQAL-C (Reconstrução de Conclusão com Entrada Mascada):
  • Tarefa: Inferir as conclusões do estudo apenas com base nos Métodos e Resultados, sem acesso à seção de "Discussão".
  • Entrada: Documento sem a seção de Discussão.
  • Desafio: Avaliar a capacidade do modelo de distinguir o que os dados suportam versus especulação ou dependência de literatura externa não fornecida.

3. Contribuições Principais

1. Formalização do Problema: Define a QA epidemiológica como um problema distinto que exige raciocínio em nível populacional sobre evidências de estudos, diferenciando-se do raciocínio clínico individual.
2. Framework de Construção Automatizada: Propõe um pipeline que integra verificação multi-LLM, controle de dificuldade e revisão humana direcionada para garantir a qualidade e a robustez dos distratores.
3. Benchmark Abrangente: Lançamento do EpiQAL com três subconjuntos complementares e avaliação de 14 modelos (abertos e proprietários) sob um protocolo de avaliação baseado em conjuntos (set-based), permitindo múltiplas respostas corretas.

4. Resultados Experimentais

O estudo avaliou 14 modelos, incluindo GPT-5-mini, DeepSeek-Reasoner, Llama-3, Mistral e Qwen.

• Desempenho Geral: Os LLMs atuais mostram desempenho limitado no raciocínio epidemiológico. Mesmo os modelos mais fortes ficam muito abaixo do desempenho máximo (ceiling).
• Gargalo da Inferência Multi-estágio (EpiQAL-B): Esta é a maior dificuldade.
  • Sem Chain-of-Thought (CoT), a precisão (Exact Match) varia de 0,157 (Llama-3.2-3B) a 0,818 (DeepSeek-Reasoner).
  • Apenas 3 de 14 modelos superaram 0,70 de precisão.
  • A análise de erros mostra que distratores de nível de raciocínio desafiam os modelos uniformemente, independentemente do tipo de erro.
• Ranking Dependente do Subconjunto: Nenhum modelo domina todos os três subconjuntos.
  • DeepSeek-Reasoner lidera em A e B, mas cai para o segundo lugar em C.
  • Mistral-7B (modelo menor) supera modelos muito maiores (como Mistral-Large e Llama-3.3-70B) em EpiQAL-B e C, sugerindo que o ajuste fino e a arquitetura importam mais que o tamanho bruto para tarefas específicas.
• Efeito do Tamanho do Modelo: O tamanho não garante sucesso. Modelos pequenos (3B) colapsam em tarefas de raciocínio, enquanto modelos médios (8B) com CoT podem se aproximar de modelos gigantes (70B).
• Impacto do Chain-of-Thought (CoT):
  • Beneficia significativamente a inferência multi-estágio (EpiQAL-B).
  • Tem efeitos mistos na reconstrução de conclusões (EpiQAL-C); em alguns casos, o raciocínio explícito amplifica erros quando as evidências estão incompletas.
• Análise de Distratores:
  • Em EpiQAL-A, "quase-acertos semânticos" (semantic near-miss) são os distratores mais enganosos.
  • Em EpiQAL-B, a confusão de variáveis e erros causais/logicos desafiam todos os modelos.
  • Em EpiQAL-C, modelos lutam para distinguir hipóteses não testadas de conclusões baseadas em evidências.

5. Significado e Conclusão

O EpiQAL revela que, embora os LLMs sejam proficientes na recuperação de fatos explícitos, eles ainda têm dificuldades significativas em integrar múltiplas evidências e realizar inferências causais complexas necessárias para a prática de saúde pública baseada em evidências.

• Implicações: O benchmark fornece sinais diagnósticos finos para avaliar a "fundamentação em evidências" e o "raciocínio inferencial" dos modelos.
• Futuro: O trabalho destaca a necessidade de desenvolver modelos que não apenas memorizem textos, mas que possam raciocinar criticamente sobre a estrutura de evidências de artigos científicos, especialmente em cenários onde informações críticas (como a discussão) podem estar ausentes.

O código e o benchmark estão disponíveis publicamente para facilitar pesquisas futuras sobre raciocínio baseado em evidências para a saúde pública.