A large language model-assisted workflow for generating a living evidence base for climate-sensitive foodborne disease

Sintesi Tecnica: Flusso di Lavoro Assistito da LLM per l'Evidenza "Living" sulle Malattie Trasmesse dagli Alimenti Sensibili al Clima

Problematica
Il cambiamento climatico sta alterando le condizioni ambientali che guidano la trasmissione delle malattie trasmesse dagli alimenti, creando una base di evidenze in rapida espansione e sempre più eterogenea. Le revisioni sistematiche tradizionali, pur essendo rigorose, sono troppo lente e dispenditive in termini di risorse per tenere il passo con questa crescita. Le valutazioni su scala nazionale, come la revisione salute-clima del 2023 della UK Health Security Agency, richiedono lo screening di decine di migliaia di record, un processo che limita la capacità delle agenzie di sanità pubblica di generare evidenze "living" (vive/aggiornabili), rapide, ripetibili e rilevanti per le politiche di adattamento. Sebbene il machine learning offra potenziali soluzioni, pochi studi hanno testato flussi di lavoro basati su Large Language Models (LLM) all'interno di contesti operativi di sanità pubblica o li hanno progettati specificamente per le revisioni "living".

Metodologia
Gli autori hanno sviluppato e valutato un flusso di lavoro di screening assistito da LLM integrato nella piattaforma SysRev, utilizzando GPT-4-Turbo come auto-etichettatore. Lo studio si è concentrato su patogeni alimentari di importanza per la sanità pubblica in Inghilterra (ad es. Campylobacter, Salmonella, Norovirus, Cryptosporidium, Listeria, VTEC, Yersinia) e i loro legami con i driver climatici (ad es. temperatura, precipitazioni, stagionalità).

Il flusso di lavoro ha seguito un approccio ibrido uomo-LLM:

1. Raccolta Dati: Una ricerca strutturata su PubMed (2010–2023) ha prodotto un dataset di abstract.
2. Creazione del Gold-Standard: Tre revisori umani hanno esaminato indipendentemente un set iniziale di 365 abstract rispetto ai criteri di ammissibilità (che richiedevano esiti patologici umani esplicitamente collegati a clima/meteo). I disaccordi sono stati risolti tramite consenso per creare un dataset "gold-standard".
3. Raffinamento Iterativo: L'auto-etichettatore è stato inizialmente configurato con prompt derivati dai criteri di inclusione. Gli autori hanno implementato un processo di raffinamento guidato da agenti:
   • Il modello ha esaminato il set gold-standard.
   • Gli abstract classificati erroneamente (falsi positivi/negativi) sono stati campionati.
   • Questi esempi sono stati reinseriti nell'LLM per aggiornare e raffinare i prompt dei criteri di inclusione.
   • Il processo si è ripetuto fino a quando le prestazioni del modello si sono stabilizzate.
4. Valutazione: Il modello finale è stato testato su un set separato di 1.044 abstract. Le prestazioni sono state misurate utilizzando recall, precision, specificità, accuratezza e accuratezza bilanciata, confrontandole con lo screening umano.

Risultati Chiave

• Prestazioni del Modello: Il modello di inclusione raffinato ha raggiunto l'89,2% di recall, il 59,2% di precision, l'84,5% di specificità e l'85,4% di accuratezza.
• Output di Screening: Attraverso il set di valutazione, il modello ha identificato 436 studi (41,7%) come rispondenti ai criteri raffinati.
• Analisi Post-Hoc: Gli abstract esclusi dal modello ma inizialmente inclusi dagli umani sono stati rivalutati rispetto ai criteri raffinati finali e giudicati non conformi ad essi. Ciò suggerisce che il processo di raffinamento iterativo ha migliorato la coerenza delle definizioni di screening, piuttosto che indicare una semplice mancanza di studi validi da parte del modello.
• Caratteristiche dell'Evidenza: Gli studi inclusi si sono concentrati prevalentemente su piogge, temperatura, stagionalità e umidità. I patogeni più comuni sono stati norovirus, Salmonella, Campylobacter e Cryptosporidium. Geograficamente, gli studi erano concentrati in Europa, Asia e Nord America.

Contributi Chiave

• Flusso di Lavoro Operativo: Lo studio dimostra un flusso di lavoro scalabile, verificabile e riproducibile che integra ricerca strutturata, competenza umana e raffinamento iterativo tramite LLM all'interno di un ambiente istituzionale sicuro.
• Ingegneria dei Prompt Iterativa: A differenza delle valutazioni di prompt statici, questo lavoro utilizza esplicitamente esempi di classificazione errata per aggiornare i criteri di inclusione, mostrando come le prestazioni del modello possano essere migliorate all'interno di un processo operativo.
• Fondamenta per l'Evidenza "Living": L'approccio affronta il limite delle revisioni statiche, offrendo un metodo per generare basi di evidenza che possono essere rapidamente aggiornate man mano che emerge nuova letteratura, supportando lo screening degli scenari futuri (horizon scanning) e la valutazione del rischio clinico-climatico.
• Compromesso Strategico: Il flusso di lavoro privilegia l'alta recall (sensibilità) rispetto alla precision, un compromesso deliberato nelle revisioni sistematiche per minimizzare i falsi negativi pur mantenendo volumi gestibili di falsi positivi per la successiva revisione umana.

Significato e Rivendicazioni
Gli autori affermano che questo flusso di lavoro assistito da LLM fornisce un'alternativa a basso costo e scalabile alle tradizionali revisioni manuali, capace di ridurre l'onere manuale pur mantenendo un'alta sensibilità verso la letteratura pertinente. Lo studio posiziona il flusso di lavoro non come un sostituto del giudizio umano o delle revisioni sistematiche complete per l'inferenza causale, ma come uno strumento per augmentare il processo decisionale restringendo i set di evidenza candidati e standardizzando i criteri di ammissibilità.

Il documento sostiene che tali sistemi siano particolarmente vitali per le malattie infettive sensibili al clima, dove le relazioni non stazionarie e la rapida crescita delle evidenze rendono le revisioni statiche rapidamente obsolete. Supportando processi ripetibili e verificabili, questo approccio offre una base per sistemi di evidenza "living" che possono informare le priorità di sorveglianza, le valutazioni del rischio e le risposte politiche in condizioni di incertezza. Gli autori osservano che, sebbene i risparmi di tempo formali non siano stati quantificati, il flusso di lavoro dovrebbe ridurre significativamente il numero di record che richiedono lo screening manuale completo.

Limitazioni Riconosciute
Gli autori notano con modestia che lo studio si è concentrato sullo screening degli abstract piuttosto che sulla valutazione del testo completo, il che potrebbe limitare la generalizzabilità alle fasi successive della sintesi. La valutazione è stata condotta su un singolo dataset specifico del dominio utilizzando un unico modello LLM, e la precisione osservata indica che la supervisione umana rimane necessaria per filtrare i falsi positivi. Inoltre, lo studio affronta l'identificazione degli studi ma non automatizza ancora i compiti a valle, come l'estrazione dei dati, la valutazione del rischio di bias o la meta-analisi.