Prospective validation of NeutrinoReview for LLM-assisted systematic review screening: an indoor air quality case study

Sintesi Tecnica: Validazione Prospettica di NeutrinoReview per lo Screening di Revisioni Sistematiche Assistito da LLM

Definizione del Problema
Le revisioni sistematiche sono fondamentali per la sintesi delle evidenze, ma il processo di screening — specificamente lo screening di titoli e abstract — impone un carico di lavoro considerevole. Per mitigare l'errore umano e il bias di selezione, le linee guida standard raccomandano lo screening indipendente da parte di almeno due revisori. Tuttavia, questo requisito dello "doppio screening" aumenta significativamente il tempo e i costi della conduzione delle revisioni. Sebbene i Large Language Models (LLM) offrano il potenziale per automatizzare o pre-filtrare questo processo, le evidenze esistenti sono in gran parte retrospettive. Le valutazioni retrospettive soffrono di limitazioni quali il potenziale rischio di contaminazione dei dati (se il modello è stato addestrato sui dati di benchmark) e l'impossibilità di prevenire l'ottimizzazione post-hoc di prompt o soglie. Manca una prova prospettica derivante da flussi di lavoro di revisione reali che dimostri come il pre-filtraggio basato su LLM possa ridurre il carico di lavoro senza escludere record che sono infine ritenuti rilevanti dal consenso umano.

Metodologia
Questo studio ha condotto una validazione prospettica di NeutrinoReview, un prototipo di ricerca open-source per lo screening assistito da LLM, in parallelo a una revisione sistematica in corso sulle concentrazioni misurate di inquinanti atmosferici indoor in Italia.

• Disegno dello Studio: La valutazione è stata progettata come uno studio non interventistico e prospettico. Gli output di screening di NeutrinoReview e il protocollo di valutazione sono stati bloccati e caricati su un repository (Zenodo) prima che il ground truth del consenso manuale fosse disponibile al team di analisi. Questo design a "output bloccato" (locked-output) previene il bias e garantisce che la valutazione rifletta un reale comportamento di screening piuttosto che risposte ottimizzate su etichette note.
• Fonte dei Dati: La revisione sorgente ha prodotto 1.383 record candidati de-duplicati. Il dataset per l'analisi finale delle prestazioni consisteva di 1.344 record (112 inclusi infine, 1.232 esclusi infine) basati sul consenso manuale di tre revisori umani.
• Configurazione LLM: Lo screening è stato eseguito utilizzando un modello di istruzione LLaMA 3.1-8B auto-ospitato. Sono state valutate sei distinte configurazioni di screening:
  1. Varianti dell'Algoritmo a 5 livelli:
     • MaxSensitivity: Escludeva solo la categoria di rilevanza più bassa (Categoria 5).
     • Balanced: Escludeva le Categorie 4 e 5.
     • Full Automation: Manteneva solo le prime due categorie (1 e 2) per la revisione umana.
  2. Varianti dell'Algoritmo CAL-X: Questo algoritmo utilizza punteggi di probabilità del next-token per mantenere le esclusioni a bassa confidenza. Sono state testate tre soglie corrispondenti a target di sensibilità calibrati:
     • CAL-95: Soglia 63 (target di sensibilità del 95%).
     • CAL-98: Soglia 80 (target di sensibilità del 98%).
     • CAL-99: Soglia 89 (target di sensibilità del 99%).
• Comparatori: Le prestazioni di NeutrinoReview sono state messe a confronto con:
  • Il ground truth del consenso manuale (stato di inclusione finale).
  • Flussi di lavoro simulati di screening a singolo operatore umano (decisioni del singolo revisore).
  • Flussi di lavoro simulati di doppio screening umano (coppie di revisori).
• Metriche: Le metriche primarie includevano la Sensibilità (proporzione di record infine inclusi mantenuti) e la Riduzione del Carico di Lavoro (proporzione di record filtrati prima dello screening umano). Sono state inoltre effettuate simulazioni di costo basate sui tempi di screening osservati.

Risultati Chiave

• Sensibilità: Tutte e sei le configurazioni di NeutrinoReview hanno raggiunto una sensibilità del 100% rispetto al ground truth del consenso manuale. Nessun record che è stato infine incluso dai revisori umani è stato escluso da alcuna configurazione LLM.
• Riduzione del Carico di Lavoro: La riduzione del carico di lavoro variava significativamente per configurazione:
  • CAL-99 (Più Conservativa): Ha ridotto il carico di lavoro del 37,1% (mantenendo 846 record).
  • 5-tier Full Automation (Meno Conservativa): Ha ridotto il carico di lavoro del 74,0% (mantenendo 350 record).
  • Configurazioni intermedie (CAL-98, CAL-95, 5-tier Balanced, 5-tier MaxSensitivity) hanno ottenuto riduzioni compresi tra il 45,6% e il 66,4%.
• Prestazioni dei Comparatori Umani:
  • I flussi di lavoro a singolo operatore umano hanno mancato tra i 5 e i 7 record finalmente inclusi (Sensibilità: 93,8%–9,5%).
  • I flussi di lavoro a doppio operatore umano hanno mancato tra 0 e 3 record finalmente inclusi (Sensibilità: 97,3%–100,0%).
  • Le prestazioni di NeutrinoReview in questo caso specifico sono state comparabili o superiori ai flussi di lavoro a doppio operatore umano osservati per quanto riguarda i record mancanti.
• Implicazioni di Costo: Le simulazioni hanno indicato che l'utilizzo di NeutrinoReview come fase di pre-filtraggio potrebbe far risparmiare tra CHF 571 e CHF 2.280 (a CHF 100/ora) a seconda della configurazione e del numero di screener coinvolti, principalmente riducendo il numero di record che richiedono lo screening manuale di titolo/abstract.

Significatività e Rivendicazioni
L'articolo sostiene che questo studio fornisce evidenza prospettica che il pre-filtraggio basato su LLM può ridurre l'onere dello screening nelle revisioni sistematiche senza compromettere il recupero degli studi rilevanti, almeno nel contesto specifico di questa revisione e implementazione del modello.

• Credibilità dei Risultati: Gli autori sottolineano che il design a "output bloccato" rafforza la credibilità del dato sulla sensibilità del 100%, poiché esclude la possibilità che il modello o l'analisi siano stati tarati sul ground truth noto.
• Applicazione Pratica: Gli autori concludono che NeutrinoReview è più difendibile come complemento allo screening umano piuttosto che come sostituto. Nello specifico, raccomandano la configurazione CAL-99 per un uso pratico cauto, poiché combina i risultati prospettici con una forte evidenza retrospettiva pregressa di alta sensibilità.
• Limitazioni e Ambito: L'articolo dichiara esplicitamente che questi risultati non devono essere interpretati come una validazione generale per tutti i temi di revisione, modelli o contesti. Il caso di zero record mancanti in questo singolo studio di caso non garantisce la sicurezza in tutte le future implementazioni. Gli autori notano che lo studio è stato limitato allo screening di titolo/abstract e non ha tenuto conto dello screening del testo completo, della risoluzione dei conflitti o dei costi infrastrutturali.
• Direzioni Future: Gli autori affermano che sono necessarie ulteriori valutazioni prospettiche ed esami sul campo in più revisioni e domini prima che gli LLM possano essere considerati per la sostituzione non supervisionata dei revisori umani. Fino a quando tali evidenze non saranno disponibili, lo strumento deve essere utilizzato in flussi di lavoro supervisionati o paralleli.