Auditing Biomedical Literature with Blinded AI Peer Review: Where Peer Review Works, Where It Fails, and How to Strengthen It

La scienza si basa su una promessa semplice e antica: prima che una nuova scoperta venga pubblicata, esperti indipendenti leggono il lavoro per garantire che gli esperimenti siano stati eseguiti correttamente, che i calcoli tornino e che le conclusioni seguano le prove. Questo processo, noto come revisione paritaria (peer review), è il guardiano della verità in medicina e biologia. Per decenni, questo sistema ha funzionato abbastanza bene da costruire la nostra moderna comprensione della vita. Ma il volume degli articoli scientifici è esploso. Dal 1991, il numero di articoli biomedici pubblicati ogni anno è cresciuto di oltre undici volte, superando di gran lunga il numero di esperti umani disponibili per leggerli. Quando l'inondazione di nuove ricerche supera la capacità dei revisori umani, la qualità di ciò che viene pubblicato può scendere. Errori nella statistica, mancanza di controlli o logiche fallaci possono passare inosservati, e poiché questi errori sono spesso sottili, possono non essere notati per anni, conducendo altri scienziati lungo percorsi errati.

Per affrontare questa crescente crisi, un team di ricercatori ha costruito un nuovo tipo di arbitro: un sistema di intelligenza artificiale progettato per leggere articoli scientifici senza sapere chi li abbia scritti o dove siano stati pubblicati. Chiamano questo sistema BARS, il Blinded AI Review System (Sistema di Revisione AI Cieco). L'idea è quella di eliminare tutto ciò che potrebbe influenzare un lettore con pregiudizi — i nomi famosi degli autori, il prestigio della rivista e la data di pubblicazione — in modo che il documento possa essere giudicato esclusivamente sulla qualità della sua scienza. I ricercatori hanno addestrato questo sistema a cercare quattro cose specifiche: se i metodi e la statistica sono solidi, se i dati supportano effettivamente le affermazioni fatte, se le idee biologiche sono realistiche e se i dati e il codice sono condivisi apertamente. Hanno assegnato a ciascun articolo un punteggio da zero a dieci, con qualsiasi valore inferiore a cinque che indica un difetto fondamentale che mina lo studio.

Il team ha prima testato se il loro sistema potesse distinguere tra buona scienza e cattiva scienza senza essere distratto dalla reputazione. Hanno fornito all'IA un insieme di articoli che erano già stati smentiti e ritirati, insieme a un insieme di studi verificati e di alta qualità. Quando l'IA poteva vedere i nomi degli autori e i titoli delle riviste, dava ai lavori famosi punteggi leggermente più alti, dimostrando che anche una macchina può essere influenzata dal prestigio. Ma quando il sistema era cieco rispetto a tutte queste informazioni, diventava un giudice acuto e obiettivo. Identificava correttamente quasi tutti i lavori difettosi e dava punteggi perfetti a quelli solidi, con zero falsi allarmi. Dimostrò inoltre di essere molto più coerente dei revisori umani; quando lo stesso articolo veniva revisionato più volte dall'IA, i punteggi erano quasi identici, mentre i revisori umani spesso non sono d'accordo tra loro.

Quando i ricercatori hanno applicato questo sistema cieco a 320 articoli recenti in otto diversi campi della biologia, i risultati sono stati deprimenti. Più della metà di questi articoli ha fallito il test, ottenendo un punteggio inferiore alla soglia della base rigore scientifico. Il tasso di fallimento non era lo stesso ovunque. I campi che si affidano a modelli matematici rigorosi, come l'evoluzione molecolare, tendevano a ottenere punteggi più alti. I campi che dipendono da complessi processi di data mining o saggi soggetti a contaminazione, come la genetica a singola cellula e gli studi sul microbioma, hanno ottenuto punteggi molto più bassi. Anche il tipo di rivista contava profondamente. Gli articoli pubblicati in riviste altamente selettive e tradizionali hanno ottenuto punteggi significativamente più alti rispetto a quelli in enormi riviste open-access che applicano una tassa per pubblicare ma dichiarano di giudicare solo la solidità tecnica. In effetti, la media di un articolo in una prestigiosa rivista di settore era quasi un punto intero superiore in termini di qualità rispetto a quella di una megariivista commerciale, un divario che suggerisce che il processo di revisione stesso faccia la differenza.

I ricercatori hanno anche osservato quanto la revisione paritaria migliori effettivamente un articolo. Hanno confrontato la prima bozza di un articolo, pubblicata online prima di qualsiasi revisione, con la versione finale pubblicata in una rivista. Per gli articoli accettati da riviste selettive e rigorose, la versione finale era sensibilmente migliore, con metodi più chiari ed evidenze più forti. Ma per gli articoli pubblicati in megaririviste commerciali, la versione finale era a malapena diversa dalla bozza e, in alcuni casi, il processo di revisione ha addirittura peggiorato l'articolo introducendo nuovi errori. Lo studio ha scoperto che il sistema di IA cieco poteva cogliere quasi tutte le critiche che i revisori umani avevano mancato, inclusi errori matematici e affermazioni biologiche impossibili, rilevando anche difetti che i revisori umani avevano completamente trascurato.

Guardando indietro a trentacinque anni di letteratura scientifica, il team ha trovato una chiara tendenza al ribasso della qualità. Il punteggio medio degli articoli è diminuito costantemente dagli anni '90. Questo declino non è dovuto al fatto che le riviste consolidate abbiano abbassato i loro standard, ma perché il mix di ricerca pubblicata è cambiato. Il campo si è spostato dagli esperimenti primari eseguiti in laboratori "wet lab" verso studi che si limitano a rianalizzare dati esistenti da database pubblici, spesso utilizzando modelli formulari che non si adattano alla domanda specifica. Sebbene questi studi sui database siano più economici e veloci da produrre, sono molto più probabili a contenere errori fondamentali. Lo studio ha dimostrato che i team di ricerca ben finanziati non producono automaticamente una scienza migliore; una volta raggiunta una certa soglia di finanziamento, aggiungere più denaro non migliora la qualità dell'articolo. Allo stesso modo, le riviste più costose non pubblicano necessariamente la scienza più rigorosa.

Forse la parte più sorprendente dello studio è stata che i ricercatori hanno usato il proprio sistema per fare l'audit delle proprie carriere. Hanno inserito 238 dei loro stessi articoli pubblicati nel sistema cieco. L'IA ha trovato errori reali nel loro lavoro, inclusi errori di copia-incolla nelle tabelle, unità di misura errate e difetti statistici che erano sfuggiti sia agli autori che ai revisori umani originali. Il sistema ha persino colto cinque errori nella bozza di questo stesso studio prima che venisse pubblicato. Questo auto-audit ha dimostrato che nessun ricercatore è immune dagli errori e che un controllo oggettivo e automatizzato può catturare errori che la fatica o il pregiudizio umano potrebbero mancare.

I ricercatori concludono che l'attuale sistema di pubblicazione scientifica è sotto pressione, ma offrono una via pratica da seguire. Suggeriscono che un controllo semplice e automatizzato potrebbe essere eseguito su ogni articolo prima che venga inviato ai revisori umani. Questo controllo costerebbe solo pochi centesimi per articolo, una frazione minuscola del costo del lavoro umano, eppure potrebbe catturare migliaia di errori che altrimenti passerebbero inosservati. Rimuovendo l'influenza della fama e del prestigio, e concentrandosi strettamente sulla logica e sulle prove all'interno del testo, un tale sistema potrebbe aiutare a ripristinare l'affidabilità della letteratura scientifica. L'obiettivo non è sostituire gli esperti umani, ma fornire loro una base migliore su cui lavorare, assicurando che la scienza che leggiamo sia solida quanto dichiara di essere.