Clinical trial success prediction from open registry text using classical machine learning

Ogni anno, le aziende farmaceutiche investono miliardi di dollari e decenni di sforzi nello sviluppo di nuovi medicinali. Il percorso da un'idea promettente in un laboratorio a una pillola su uno scaffale di una farmacia è lungo e pieno di fallimenti. La maggior parte dei candidati farmaci non arriva mai all'approvazione e, quando falliscono dopo anni di lavoro, la perdita finanziaria è enorme. Più importante ancora, le persone che si volontariano per questi studi affrontano dei rischi senza ricevere i benefici sperati. Poiché le risorse sono finite, ogni dollaro e ogni ora spesi in un farmaco che alla fine fallirà sono una risorsa sottratta a un farmaco che potrebbe avere successo. L'industria cerca da tempo un modo per individuare precocemente questi candidati destinati al fallimento, prima che vengano investiti troppo tempo e denaro, permettendo ai ricercatori di interrompere i programmi deboli e concentrarsi su quelli forti.

Per fare ciò, gli scienziati hanno cercato di prevedere l'esito delle sperimentazioni cliniche, che sono i test rigorosi in cui i nuovi trattamenti vengono somministrati ai pazienti. Queste previsioni sono difficili perché si basano sulla comprensione della complessa biologia umana, del design specifico di uno studio e del comportamento di un nuovo farmaco. Tradizionalmente, gli esperti hanno usato la loro esperienza per indovinare quali trial avrebbero avuto successo, ma questo processo è lento, soggettivo e costoso. Negli ultimi anni, i ricercatori si sono rivolti al machine learning, utilizzando i computer per trovare schemi nei dati che gli esseri umani potrebbero perdere. Tuttavia, molti di questi modelli informatici si basano su dati privati che solo le grandi aziende possono accedere, o richiedono informazioni molecolari complesse che non sempre sono disponibili. Ciò lascia i gruppi più piccoli e i ricercatori accademici senza un modo chiaro per stimare le probabilità di successo di un trial.

Un nuovo studio del ricercatore indipendente Michael Doane esplora se i registri pubblici di queste sperimentazioni, che chiunque può leggere online, contengano informazioni sufficienti per fare queste previsioni. Lo studio si concentra su una vasta collezione di registri di trial da un sito web pubblico chiamato ClinicalTrials.gov. Questo sito funge da registro globale dove i ricercatori devono registrare i loro studi prima di iniziare, pubblicando dettagli sulla malattia trattata, il farmaco testato, il numero di pazienti coinvolti e gli obiettivi della ricerca. Il lavoro di Doane pone una domanda semplice: se si inseriscono le descrizioni testuali di questi registri pubblici in un computer, il computer può imparare a distinguere tra i trial che avranno successo e quelli che falliranno?

Per rispondere a questo, il ricercatore ha utilizzato un dataset chiamato Clinical Trial Outcome Dataset, che fornisce un'etichetta per circa 125.000 trial passati, contrassegnandoli come riusciti o non riusciti in base ai loro risultati finali. La sfida era costruire un modello in grado di prevedere questi esiti utilizzando solo il testo disponibile nel registro pubblico al momento della registrazione del trial, senza sbirciare i risultati finali o utilizzare dati privati delle aziende. Il ricercatore ha dovuto essere estremamente attento per evitare un errore comune chiamato "data leakage" (perdita di dati), in cui un modello informatico impara accidentalmente la risposta leggendo una parte del testo che è stata aggiornata dopo la conclusione del trial. Per esempio, un riassunto di un trial potrebbe essere riscritto anni dopo per includere i risultati finali, e se il computer legge quel testo aggiornato, non sta realmente prevedendo il futuro; sta solo leggendo il passato.

Per prevenire ciò, il ricercatore ha meticolosamente pulito i dati, rimuovendo qualsiasi record in cui il testo potesse essere stato alterato dopo che l'esito era noto. Ha anche escluso campi specifici che descrivevano direttamente i risultati. Una volta che i dati erano sicuri, ha addestrato tre diversi tipi di modelli informatici per cercare schemi nel testo rimanente. Questi modelli sono stati testati su trial provenienti da diverse fasi di sviluppo, note come fasi. I trial di Fase 1 sono la prima volta in cui un farmaco viene testato sugli esseri umani per controllarne la sicurezza, i trial di Fase 2 osservano se il farmaco funziona effettivamente, e i trial di Fase 3 sono studi ampi che confermano l'efficacia e la sicurezza del farmaco prima che possa essere approvato.

I risultati hanno mostrato che i modelli informatici potevano effettivamente trovare segnali utili nel testo pubblico. Il modello con le prestazioni migliori, che utilizzava un metodo chiamato "random forest", è stato in grado di distinguere tra trial di successo e falliti meglio del caso casuale. Nella fase iniziale di test, la Fase 1, il modello ha performato molto bene, classificando correttamente gli esiti in circa il 74 percento dei casi. Ciò significa che, se si prendesse un gruppo di trial di Fase 1, il modello potrebbe identificare quelli con maggiore probabilità di successo con un alto grado di precisione. La prestazione è stata inferiore per i trial di Fase 2, che sono notoriamente difficili da prevedere perché dipendono fortemente dal fatto che il farmaco colpisca il bersaglio biologico corretto, un dettaglio spesso mancante nei riassunti pubblici. Tuttavia, il modello ha comunque performato meglio del caso in questa fase.

Uno dei risultati più interessanti è stato che l'addestramento del modello su una grande varietà di malattie ha effettivamente aiutato a prevedere gli esiti per un gruppo specifico di malattie noto come neuroscienze. I trial di neuroscienze, che trattano condizioni come l'Alzheimer o la depressione, hanno storicamente tassi di fallimento molto elevati. Il ricercatore ha scoperto che quando il computer veniva addestrato sui trial di tutti i campi medici, non solo delle neuroscienze, diventava più bravo a prevedere il successo dei trial di neuroscienze. Ciò suggerisce che le regole generali su come un trial clinico viene progettato e condotto sono simili tra diversi tipi di malattie, e imparare da una vasta gamma di esempi aiuta il computer a comprendere le sfide specifiche del sistema nervoso.

Lo studio ha anche testato il modello contro un set di 7.260 casi difficili che erano stati revisionati manualmente da esperti umani per garantire che non fossero facili da indovinare. Anche contro questi esempi difficili, il modello ha mantenuto la sua capacità di distinguere tra successo e fallimento, dimostrando che non stava solo memorizzando regole semplici, ma stava effettivamente imparando qualcosa sulla natura dei trial clinici. Il ricercatore ha anche controllato se il modello si stesse basando sui nomi delle aziende che sponsorizzavano i trial o sui luoghi in cui si svolgevano. Quando questi dettagli sono stati rimossi, le prestazioni del modello sono diminuite solo leggermente, indicando che il testo che descriveva la scienza e il design dello studio portava la maggior parte del peso predittivo.

Questo lavoro dimostra che le informazioni pubbliche, disponibili da anni ma finora ampiamente non analizzate in questo modo, possiedono un valore significativo per l'industria farmaceutica. I modelli utilizzati in questo studio sono relativamente semplici e non richiedono supercomputer potenti o dati segreti; possono girare su un normale laptop. Ciò rende l'approccio accessibile ai ricercatori accademici, alle organizzazioni non profit e alle aziende più piccole che non hanno accesso a database proprietari. Fornendo un modo per stimare la probabilità di successo utilizzando solo dati aperti, questo metodo offre un nuovo strumento per lo screening dei candidati farmaci. Non sostituisce la necessità del giudizio esperto o il complesso lavoro di sviluppo dei farmaci, ma fornisce un punto di partenza affidabile e oggettivo. Può aiutare i team a decidere quali programmi meritino maggiore attenzione e quali debbano invece essere interrotti precocemente, potenzialmente risparmiando tempo, denaro e il benessere dei pazienti che si volontariano per questi studi cruciali.