A large language model-assisted workflow for generating a living evidence base for climate-sensitive foodborne disease

Resumen Técnico: Flujo de Trabajo Asistido por LLM para la Evidencia Viva sobre Enfermedades Transmitidas por Alimentos Sensibles al Clima

Planteamiento del Problema
El cambio climático está alterando las condiciones ambientales que impulsan la transmisión de enfermedades transmitidas por alimentos, creando una base de evidencia en rápida expansión y heterogénea. Las revisiones sistemáticas tradicionales, aunque rigurosas, son demasiado lentas y consumen demasiados recursos para seguir el ritmo de este crecimiento. Las evaluaciones a escala nacional, como la revisión de salud-clima de la Agencia de Seguridad de la Salud del Reino Unido de 2023, requieren el cribado de decenas de miles de registros, un proceso que limita la capacidad de las agencias de salud pública para generar evidencia "viva" que sea rápida, reproducible y relevante para las políticas de adaptación. Si bien el aprendizaje automático ofrece soluciones potenciales, pocos estudios han probado los flujos de trabajo de los Modelos de Lenguaje Extensos (LLM) dentro de entornos operativos de salud pública o los han diseñado específicamente para revisiones vivas.

Metodología
Los autores desarrollaron y evaluaron un flujo de trabajo de cribado asistido por LLM integrado dentro de la plataforma SysRev, utilizando GPT-4-Turbo como el auto-etiquetador. El estudio se centró en patógenos transmitidos por alimentos de importancia para la salud pública en Inglaterra (p. ej., Campylobacter, Salmonella, Norovirus, Cryptosporidium, Listeria, VTEC, Yersinia) y sus vínculos con los impulsores climáticos (p. ej., temperatura, precipitación, estacionalidad).

El flujo de trabajo siguió un enfoque híbrido humano-LLM:

1. Recopilación de Datos: Una búsqueda estructurada en PubMed (2010–2023) generó un conjunto de datos de resúmenes.
2. Creación del Estándar de Oro: Tres revisores humanos cribaron de forma independiente un conjunto inicial de 365 resúmenes frente a los criterios de elegibilidad (que requerían resultados de enfermedades humanas vinculados explícitamente al clima/tiempo). Los desacuerdos se resolvieron por consenso para crear un conjunto de datos de estándar de oro.
3. Refinamiento Iterativo: El auto-etiquetador se configuró inicialmente con instrucciones (prompts) derivadas de los criterios de inclusión. Los autores implementaron un proceso de refinamiento dirigido por agentes:
   • El modelo cribó el conjunto de estándar de oro.
   • Se muestrearon los resúmenes mal clasificados (falsos positivos/negativos).
   • Estos ejemplos se introdujeron de nuevo al LLM para actualizar y refinar los prompts de los criterios de inclusión.
   • El proceso se repitió hasta que el rendimiento del modelo se estabilizó.
4. Evaluación: El modelo final se probó en un conjunto separado de 1,044 resúmenes. El rendimiento se midió mediante la exhaustividad (recall), precisión, especificidad, exactitud y exactitud equilibrada, en comparación con el cribado humano.

Resultos Clave

• Rendimiento del Modelo: El modelo de inclusión refinado logró un 89.2% de exhaustividad, un 59.2% de precisión, un 84.5% de especificidad y un 85.4% de exactitud.
• Resultado del Cribado: A través del conjunto de evaluación, el modelo identificó 436 estudios (41.7%) que cumplían con los criterios refinados.
• Análisis Post-hoc: Los resúmenes excluidos por el modelo pero incluidos inicialmente por los humanos fueron reevaluados frente a los criterios refinados finales y se determinó que no cumplían con ellos. Esto sugiere que el proceso de refinamiento iterativo mejoró la consistencia de las definiciones de cribado, en lugar de que el modelo simplemente omitiera estudios válidos.
• Características de la Evidencia: Los estudios incluidos se centraron predominantemente en la lluvia, la temperatura, la estacionalidad y la humedad. Los patógenos más comunes fueron el norovirus, Salmonella, Campylobacter y Cryptosporidium. Geográficamente, los estudios se concentraron en Europa, Asia y América del Norte.

Contribuciones Clave

• Flujo de Trabajo Operativo: El estudio demuestra un flujo de trabajo escalable, auditable y reproducible que integra la búsqueda estructurada, la experiencia humana y el refinamiento iterativo de LLM dentro de un entorno institucional seguro.
• Ingeniería de Prompts Iterativa: A diferencia de las evaluaciones de prompts estáticos, este trabajo utiliza explícitamente ejemplos mal clasificados para actualizar los criterios de inclusión, mostrando cómo se puede mejorar el rendimiento del modelo dentro de un proceso operativo.
• Base para la Evidencia Viva: El enfoque aborda la limitación de las revisiones estáticas al ofrecer un método para generar bases de evidencia que pueden actualizarse rápidamente a medida que surge nueva literatura, apoyando el escaneo de horizonte y la evaluación de riesgos de salud-clima.
• Compromiso Estratégico: El flujo de trabajo prioriza la alta exhaustividad (sensibilidad) sobre la precisión, un compromiso deliberado en el cribado de revisiones sistemáticas para minimizar los falsos negativos mientras se mantienen volúmenes manejables de falsos positivos para la revisión humana posterior.

Significado y Reivindicaciones
Los autores afirman que este flujo de trabajo asistido por LLM proporciona una alternativa de bajo costo y escalable a la selección manual tradicional, capaz de reducir la carga manual manteniendo una alta sensibilidad hacia la literatura relevante. El estudio posiciona el flujo de trabajo no como un reemplazo del juicio humano o de las revisiones sistemáticas completas para la inferencia causal, sino como una herramienta para aumentar la toma de decisiones al reducir los conjuntos de evidencia candidatos y estandarizar los criterios de elegibilidad.

El artículo sostiene que tales sistemas son particularmente vitales para las enfermedades infecciosas sensibles al clima, donde las relaciones no estacionarias y el rápido crecimiento de la evidencia hacen que las revisiones estáticas queden obsoletas rápidamente. Al apoyar procesos repetibles y auditables, este enfoque ofrece una base para sistemas de evidencia "viva" que pueden informar las prioridades de vigilancia, las evaluaciones de riesgo y las respuestas de política bajo incertidumbre. Los autores señalan que, si bien no se cuantificaron formalmente los ahorros de tiempo, se espera que el flujo de trabajo reduzca significativamente el número de registros que requieren un cribado manual completo.

Limitaciones Reconocidas
Los autores señalan modestamente que el estudio se centró en el cribado de resúmenes en lugar en la evaluación del texto completo, lo que puede limitar la generalización a las etapas posteriores de síntesis. La evaluación se realizó en un único conjunto de datos específico de dominio utilizando un único modelo de LLM, y la precisión observada indica que la supervisión humana sigue siendo necesaria para filtrar los falsos positivos. Además, el estudio aborda la identificación de estudios pero aún no automatiza las tareas posteriores como la extracción de datos, la evaluación del riesgo de sesgo o el metanálisis.