Zero-To-Few Shot Large Language Model Performance in Systematic Review and Meta-Analysis Automation: A Validation Study Across All Major Steps Of Five Published Systematic Reviews

Nel mondo della ricerca medica, il modo più affidabile per rispondere a una domanda è raccogliere ogni singolo studio mai scritto su quel tema, leggerli tutti e combinare i loro risultati in un quadro chiaro. Questo processo è chiamato revisione sistematica. Esso rappresenta il gold standard per decidere quali trattamenti funzionano e quali no, costituendo l'ossatura delle moderne linee guida cliniche. Tuttavia, creare queste revisioni è un compito monumentale. Richiede che team di ricercatori trascorrano mesi o addirittura anni a cercare tra milioni di articoli, leggendo abstract per decidere quali siano rilevanti, estraendo numeri specifici dai testi completi e verificando la qualità della ricerca per garantire che sia attendibile. Il processo è così laborioso da poter costare centinaia di migliaia di dollari e ritardare l'arrivo di informazioni salvavita ai medici e ai pazienti.

Recentemente, è emerso un nuovo tipo di programma informatico noto come modello linguistico di grandi dimensioni (large language model). Si tratta di sistemi addestrati su enormi quantità di testo umano che possono leggere, comprendere e generare linguaggio in modi che spesso imitano l'intelligenza umana. I ricercatori hanno iniziato a chiedersi se questi strumenti potessero farsi carico del lavoro pesante della creazione delle revisioni sistematiche, trasformando un tormento di mesi in una questione di ore. La speranza è che queste macchine possano gestire le parti ripetitive e ricche di dati del lavoro, liberando gli esperti umani affinché possano concentrarsi sulle decisioni complesse che richiedono un giudizio profondo. Ma affinché ciò accada, le macchine devono essere abbastanza accurate da poter essere affidate alle vite dei pazienti.

Un team di ricercatori dell'Université de Montréal e della McGill University ha deciso di testare questa idea con un approccio molto pratico. Non hanno cercato di costruire un robot complesso e completamente automatizzato che gestisca l'intero processo di revisione dall'inizio alla fine. Al contrario, hanno chiesto a una versione specifica e avanzata di un modello linguistico di grandi dimensioni di eseguire ogni fase principale di una revisione sistematica, una dopo l'altra, utilizzando solo istruzioni semplici e i dati di cinque revisioni mediche precedentemente pubblicate. L'obiettivo era vedere se un utente standard, privo di alcuna formazione speciale nell'intelligenza artificiale, potesse ottenere dal computer lo stesso lavoro di un team umano. I ricercatori si sono concentrati su cinque fasi distinte: la creazione dei termini di ricerca per trovare gli articoli, lo screening dei titoli e degli abstract per selezionare gli studi rilevanti, l'estrazione di punti dati specifici dai testi completi, la valutazione della qualità e del potenziale bias degli studi e, infine, la combinazione dei dati per produrre i risultati finali.

I risultati hanno rivelato una storia di sorprendenti punti di forza e chiari limiti. Per quanto riguarda l'estrazione di numeri specifici e fatti dal testo degli articoli medici, il modello informatico è stato straordinariamente bravo. Infatti, ha superato gli autori umani originali che avevano scritto le revisioni. Quando i ricercatori hanno confrontato i dati estratti dal computer con un nuovo standard altamente rigoroso creato da revisori esperti, la macchina è stata corretta nel 93 percento dei casi. È stata anche più veloce, impiegando solo minuti per fare ciò che richiedeva ore agli esseri umani. Allo stesso modo, quando le è stato chiesto di giudicare la qualità degli studi e identificare potenziali difetti o bias, il computer ha ottenuto nuovamente prestazioni migliori rispetto agli umani, con un'accuratezza dell'83 percento. I ricercatori hanno notato che quando il computer commetteva un errore nel giudicare la qualità, tendeva a essere eccessivamente cauto, segnalando uno studio come rischioso quando invece potrebbe essere sicuro, il che è spesso un errore più sicuro da commettere rispetto al mancare un problema reale.

Tuttavia, la macchina ha incontrato difficoltà significative nelle fasi iniziali del processo, dove doveva prendere decisioni basate su informazioni incomplete. Quando al computer è stato chiesto di generare le stringhe di ricerca — ovvero le liste specifiche di parole usate per trovare articoli nei database medici — ha trovato circa l'85 percento degli articoli rilevanti che gli umani avevano trovato. È stato un risultato discreto, ma significava che mancava una parte significativa della letteratura. La situazione è peggiorata quando il computer ha cercato di esaminare il testo completo degli articoli per decidere quali includere nella revisione finale. In questo passaggio, il modello ha perso più della metà degli articoli importanti che i revisori umani avevano correttamente identificato. Sebbene il computer fosse molto bravo a sapere cosa non includere, era scarso nel trovare le cose giuste da tenere. Ciò suggerisce che, sebbene la macchina possa essere uno strumento potente per leggere e organizzare i dati, non è ancora pronta a sostituire gli umani nelle fasi iniziali e critiche di decisione sulla rilevanza della ricerca.

L'ultimo passaggio consisteva nel combinare i dati per calcolare i risultati complessivi della revisione. In questa fase, il computer ha prodotto numeri molto vicini ai risultati umani, sebbene non sempre identici. Le differenze erano piccole e probabilmente dovute al modo in cui la macchina interpretava i dati ambigui o gestiva i dettagli statistici minori. I ricercatori hanno scoperto che il computer poteva generare questi risultati in pochi secondi, un compito che richiederebbe molto più tempo a un essere umano. Tuttavia, lo studio ha evidenziato che far sì che il computer facesse questo lavoro perfettamente richiedeva istruzioni molto specifiche e dettagliate su come gestire i dati mancanti e quali metodi statistici utilizzare. Senza questa guida attenta, i risultati potevano discostarsi leggermente dalla verità.

Lo studio conclude che il percorso verso l'automazione della ricerca medica non è un unico salto, ma una serie di passi in cui sono necessari strumenti diversi per lavori diversi. Per compiti che comportano la lettura ed l'estrazione di fatti, come l'estrazione di dati dalle tabelle o il giudizio sulla qualità degli studi, questi modelli informatici sono già superiori agli umani e possono essere utilizzati immediatamente per velocizzare il lavoro. Ma per i compiti più soggettivi, come decidere quali articoli cercare o quali testi completi mantenere, le macchine non sono ancora abbastanza affidabili da lavorare da sole. I ricercatori suggeriscono che l'approccio più efficace per i non esperti è un modello ibrido: lasciare che il computer si occupi del lavoro pesante di estrazione dei dati e dei controlli di qualità, mantenendo gli esperti umani nel processo per guidare la ricerca e prendere le decisioni finali di screening. Questa partnership potrebbe ridurre drasticamente il tempo e il costo della produzione di evidenze mediche senza sacrificare l'accuratezza di cui i pazienti dipendono.