A large language model-assisted workflow for generating a living evidence base for climate-sensitive foodborne disease

Resumo Técnico: Fluxo de Trabalho Assistido por LLM para Evidência Viva sobre Doenças Transmitidas por Alimentos Sensíveis ao Clima

Definição do Problema
As alterações climáticas estão a alterar as condições ambientais que impulsionam a transmissão de doenças transmitidas por alimentos, criando uma base de evidências em rápida expansão e heterogénea. As revisões sistemáticas tradicionais, embora rigorosas, são demasiado lentas e exigem demasiados recursos para acompanhar este crescimento. Avaliações de escala nacional, como a revisão de saúde-clima de 2023 da UK Health Security Agency, requerem o rastreio de dezenas de milhares de registos, um processo que limita a capacidade das agências de saúde pública de gerar evidências "vivas" rápidas, repetíveis e relevantes para políticas de adaptação. Embora o machine learning ofereça soluções potenciais, poucos estudos testaram fluxos de trabalho de Large Language Models (LLM) em contextos operacionais de saúde pública ou os desenharam especificamente para revisões vivas.

Metodologia
Os autores desenvolveram e avaliaram um fluxo de trabalho de rastreio assistido por LLM integrado na plataforma SysRev, utilizando o GPT-4-Turbo como rotulador automático. O estudo focou-se em patógenos transmitidos por alimentos de importância para a saúde pública em Inglaterra (por exemplo, Campylobacter, Salmonella, Norovirus, Cryptosporidium, Listeria, VTEC, Yersinia) e as suas ligações a fatores climáticos (por exemplo, temperatura, precipitação, sazonalidade).

O fluxo de trabalho seguiu uma abordagem híbrida humano-LLM:

1. Recolha de Dados: Uma pesquisa estruturada no PubMed (2010–2023) gerou um conjunto de dados de resumos.
2. Criação do Padrão de Ouro (Gold-Standard): Três revisores humanos realizaram o rastreio independente de um conjunto inicial de 365 resumos face aos critérios de elegibilidade (exigindo que os desfechos de doenças humanas estivessem explicitamente ligados ao clima/tempo). As divergências foram resolvidas por consenso para criar um conjunto de dados de padrão de ouro.
3. Refinamento Iterativo: O rotulador automático foi inicialmente configurado com prompts derivados dos critérios de inclusão. Os autores implementaram um processo de refinamento orientado por agentes:
   • O modelo realizou o rastreio do conjunto de padrão de ouro.
   • Os resumos mal classificados (falsos positivos/negativos) foram amostrados.
   • Estes exemplos foram realimentados no LLM para atualizar e refinar os prompts dos critérios de inclusão.
   • O processo repetiu-se até que o desempenho do modelo estabilizasse.
4. Avaliação: O modelo final foi testado num conjunto separado de 1.044 resumos. O desempenho foi medido através de recall, precisão, especificidade, exatidão e exatidão equilibrada (balanced accuracy), comparando-se com o rastreio humano.

Principais Resultados

• Desempenho do Modelo: O modelo de inclusão refinado alcançou 89,2% de recall, 59,2% de precisão, 84,5% de especificidade e 85,4% de exatidão.
• Output de Rastreio: Através do conjunto de avaliação, o modelo identificou 436 estudos (41,7%) como cumprindo os critérios refinados.
• Análise Post-Hoc: Os resumos excluídos pelo modelo, mas inicialmente incluídos pelos humanos, foram reavaliados face aos critérios refinados finais e julgados como não cumprindo estes. Isto sugere que o processo de refinamento iterativo melhorou a consistência das definições de rastreio, em vez de o modelo estar simplesmente a perder estudos válidos.
• Características da Evidência: Os estudos incluídos focaram-se predominantemente em chuva, temperatura, sazonalidade e humidade. Os patógenos mais comuns foram norovírus, Salmonella, Campylobacter e Cryptosporidium. Geograficamente, os estudos concentraram-se na Europa, Ásia e América do Norte.

Principais Contribuições

• Fluxo de Trabalho Operacional: O estudo demonstra um fluxo de trabalho escalável, auditável e reprodutível que integra pesquisa estruturada, perícia humana e refinamento iterativo de LLM dentro de um ambiente institucional seguro.
• Engenharia de Prompt Iterativa: Ao contrário das avaliações de prompts estáticos, este trabalho utiliza explicitamente exemplos mal classificados para atualizar os critérios de inclusão, mostrando como o desempenho do modelo pode ser melhorado dentro de um pipeline operacional.
• Fundação para Evidência Viva: A abordagem aborda a limitação das revisões estáticas ao oferecer um método para gerar bases de evidência que podem ser rapidamente atualizadas à medida que surge nova literatura, apoiando a monitorização de horizontes (horizon scanning) e a avaliação de riscos de saúde-clima.
• Compromisso Estratégico (Trade-off): O fluxo de trabalho prioriza o recall (sensibilidade) em detrimento da precisão, um compromisso deliberado no rastreio de revisões sistemáticas para minimizar falsos negativos, mantendo volumes geríveis de falsos positivos para revisão humana subsequente.

Significado e Alegações
Os autores afirmam que este fluxo de trabalho assistido por LLM fornece uma alternativa de baixo custo e escalável às revisões sistemáticas manuais tradicionais, capaz de reduzir a carga manual enquanto mantém uma alta sensibilidade à literatura relevante. O estudo posiciona o fluxo de trabalho não como um substituto para o julgamento humano ou para revisões sistemáticas completas para inferência causal, mas como uma ferramenta para aumentar a tomada de decisão ao estreitar os conjuntos de evidência candidatos e padronizar os critérios de elegibilidade.

O artigo afirma que tais sistemas são particularmente vitais para doenças infeciosas sensíveis ao clima, onde as relações não estacionárias e o rápido crescimento de evidências tornam as revisões estáticas rapidamente obsoletas. Ao apoiar processos repetíveis e auditáveis, esta abordagem oferece uma base para sistemas de evidência "viva" que podem informar prioridades de vigilância, avaliações de risco e respostas políticas sob incerteza. Os autores observam que, embora a poupança de tempo formal não tenha sido quantificada, espera-se que o fluxo de trabalho reduza significamente o número de registos que requerem rastreio manual completo.

Limitações Reconhecidas
Os autores notam modestamente que o estudo se focou no rastreio de resumos e não na avaliação do texto completo, o que pode limitar a generalização para as fases posteriores de síntese. A avaliação foi conduzida num único conjunto de dados específico de domínio utilizando um único modelo de LLM, e a precisão observada indica que a supervisão humana continua a ser necessária para filtrar falsos positivos. Além disso, o estudo aborda a identificação de estudos, mas ainda não automatiza tarefas subsequentes, como a extração de dados, a avaliação do risco de viés ou a meta-análise.