Dated public evidence and known genes for retrospective evaluation of gene prioritization

Nel vasto panorama della medicina moderna, gli scienziati cercano costantemente di prevedere quali geni diventeranno i bersagli per nuovi farmaci. Immaginate un ricercatore che si trova davanti a una biblioteca contenente milioni di libri sulla biologia umana, cercando di indovinare quale volume specifico contenga il segreto per curare una malattia. Per fare queste ipotesi, costruiscono modelli informatici che imparano dai successi passati: osservano i geni che sono già noti per essere bersagli efficaci e cercano di individuare i pattern che li hanno resi tali. La speranza è che questi pattern aiutino a individuare il prossimo grande bersaglio prima ancora che un farmaco venga inventato. Tuttavia, c'è una trappola sottile ma pericolosa in questo processo. Le biblioteche che questi modelli utilizzano non sono statiche; sono collezioni vive che crescono ogni giorno. Non appena un gene diventa famoso e viene sviluppato un farmaco per esso, nuove informazioni su quel gene inondano i database. Se un modello informatico impara da un database che è stato aggiornato dopo che un gene è diventato famoso, potrebbe semplicemente memorizzare il fatto che il gene è famoso, piuttosto che apprendere le ragioni biologiche per cui funziona. Questo è come cercare di prevedere il vincitore di una gara guardando un tabellone che elenca già i risultati; la previsione è tecnicamente corretta, ma non dice nulla sulla velocità o sulla strategia reale del corridore.

Questo problema, noto come "information leakage" (perdita di informazioni), ha reso difficile fidarsi delle prestazioni di molti strumenti di prioritizzazione genica. I ricercatori sospettano da tempo che questi strumenti siano eccessivamente performanti perché stanno accidentalmente sbirciando nel futuro. Per risolvere questo problema, un team di Pfizer ha creato un nuovo dataset meticolosamente datato che permette agli scienziati di riprodurre la storia esattamente come è avvenuta. Invece di utilizzare la versione attuale e aggiornata dei database pubblici, questa nuova risorsa permette ai ricercatori di congelare il tempo in qualsiasi punto dell'ultimo decennio. Possono chiedere al modello informatico di fare una previsione utilizzando solo le informazioni che erano pubblicamente disponibili in una specifica data, e poi verificare se il modello avrebbe identificato correttamente i geni che sono diventati famosi in seguito. Questo approccio elimina il vantaggio di conoscere il risultato in anticipo, costringendo i modelli a fare affidamento su segnali biologici genuini piuttosto che sul rumore dell'accumulo di ricerche.

Il cuore di questo lavoro è una massiccia collezione di tabelle di evidenze che copre quattro aree principali della medicina: cancro, malattie infiammatorie intestinali, metabolismo e psoriasi. I ricercatori hanno raccolto dati da venti diverse fonti pubbliche, come registri di studi clinici, database genetici e mappe proteiche. Per ogni singola informazione in queste tabelle, hanno allegato due metadati critici: una data di rilascio e una classificazione di "leakage". La data di rilascio dice al computer esattamente quando quella specifica informazione è diventata pubblica per la prima volta. La classificazione di leakage funge da filtro, ordinando i dati in base alla probabilità che siano influenzati dalla storia dello sviluppo dei farmaci. Alcuni punti dati rappresentano la pura biologia, come la struttura fisica di una proteina o la sua posizione nel corpo, che esisterebbero indipendentemente dal fatto che qualcuno provi mai a creare un farmaco per essa. Altri punti dati rappresentano la storia stessa della ricerca, come il numero di articoli scientifici scritti su un gene o quanti studi clinici lo hanno testato. Quest'ultimo gruppo è altamente sospetto perché il volume della ricerca spesso aumenta solo dopo che un gene è già noto per essere importante.

Organizzando i dati in questo modo, il team ha creato cinque diversi "feature set", ovvero versioni del dataset, che vanno dalla collezione completa a una versione "solo biologia" che esclude tutta la storia della ricerca e i record dello sviluppo dei farmaci. Ciò consente agli scienziati di testare i loro modelli in diverse condizioni. Possono vedere se un modello funziona bene quando è autorizzato a vedere solo i fatti biologici grezzi, o se performa bene solo quando gli è permesso vedere la storia accumulata degli studi umani. Il dataset include anche un elenco di 19 gruppi di "geni noti", ciascuno con una data precisa che indica quando quel gene è diventato per la prima volta un bersaglio o un'associazione di malattia. Per i bersagli oncologici, questa data è particolarmente rigorosa: è il giorno in cui un registro di studi clinici ha mostrato per la prima volta che uno studio per quel particolare gene era iniziato, garantendo che il modello non potesse conoscere lo studio prima che fosse pubblico.

Quando i ricercatori hanno testato questi strumenti, hanno scoperto che la tempistica dei dati è immensamente importante. Hanno scoperto che molti parametri che oggi sembrano utili sono in realtà solo riflessi di quanto un gene sia stato studiato. Ad esempio, il numero di articoli di ricerca o il numero di connessioni che un gene ha in una rete tende a subire un'impennata dopo che un gene diventa un bersaglio farmacologico. Se un modello utilizza questi parametri, sta essenzialmente usando la chiave di correzione. Il nuovo dataset ha rivelato che quando si rimuovono questi parametri di "storia" e si guarda solo alla biologia esistente prima che il gene diventasse famoso, le prestazioni di molti modelli scendono significativamente. Ciò suggerisce che le valutazioni precedenti di questi strumenti fossero probabilmente troppo ottimistiche perché non tenevano conto di questo leakage. Lo studio non ha trovato una singola soluzione magica che predica tutti i bersagli farmacologici, ma ha fornito un modo rigoroso per separare l'autentico insight biologico dal rumore del volume della ricerca.

I ricercatori hanno anche controllato l'affidabilità delle proprie date e delle etichette. Hanno revisionato manualmente centinaia di record di studi clinici per garantire che le date assegnate ai geni fossero accurate. Hanno scoperto che, sebbene i sistemi automatizzati siano generalmente validi, a volte mancano il segno, in particolare quando un trial viene registrato dopo che è già iniziato o quando un farmaco viene testato per una condizione diversa da quella studiata. Correggendo queste date, hanno garantito che la "macchina del tempo" da loro costruita fosse accurata. Hanno anche verificato che le caratteristiche biologiche, come la dimensione della superficie esterna di una proteina, rimanessero stabili nel tempo e non cambiassero improvvisamente solo perché un gene era diventato famoso. Questa stabilità conferma che le caratteristiche basate sulla biologia sono affidabili e non soffrono dello stesso problema di leakage temporale dei parametri relativi al volume della ricerca.

In definitiva, questo lavoro fornisce un nuovo standard per testare i modelli informatici in biologia. Sposta l'attenzione dal chiedere "Questo modello funziona sui dati di oggi?" al chiedere "Questo modello avrebbe potuto prevedere questo risultato se avesse conosciuto solo ciò che era noto all'epoca?". Il dataset include 183 rilasci archiviati di risorse pubbliche, consentendo a chiunque di ricostruire lo stato della conoscenza scientifica in qualsiasi fine trimestre dal 2016 al 2024. Ciò significa che uno scienziato può ora prendere un nuovo metodo, testarlo contro i dati così come esistevano nel 2018, e vedere se avrebbe identificato con successo i geni che sono diventati bersagli nel 2020. Se fallisce, il metodo non è potente quanto sembrava. Se ha successo, il risultato è molto più credibile.

Le implicazioni di questo lavoro sono profonde per il futuro della scoperta di farmaci. Utilizzando questi dataset datati e privi di leakage, i ricercatori possono smettere di costruire modelli che si limitano a memorizzare la storia della scienza e iniziare a costruire modelli che comprendano veramente la biologia della malattia. Il dataset non garantisce che un nuovo farmaco sarà trovato domani, ma assicura che gli strumenti utilizzati per trovarlo non stiano ingannando se stessi. Offre un modo per distinguere tra un segnale che è veramente biologico e un segnale che è solo un riflesso di quanta attenzione un gene ha ricevuto. In un campo dove la posta in gioco è alta e i dati sono schiaccianti, questa chiarezza è lo strumento più prezioso di tutti. I ricercatori non hanno risolto il problema di trovare nuovi farmaci, ma hanno costruito una bussola migliore per il viaggio, una che punta al vero nord piuttosto che verso i luoghi dove altri viaggiatori sono già stati.