Enrollment cuts and primary-outcome changes, not completion-date delays, predict the termination of industry phase 2–3 drug trials: a landmark analysis of ClinicalTrials.gov version histories

Ogni nuovo farmaco che raggiunge lo scaffale della farmacia inizia il suo viaggio come una sperimentazione clinica, un esperimento attentamente pianificato dove i ricercatori testano se un farmaco funziona ed è sicuro per le persone. Queste sperimentazioni non sono affari privati; per legge, le aziende devono registrarle in un database pubblico chiamato ClinicalTrials.gov prima che inizino. Questo registro funge da registro pubblico, registrando gli obiettivi della sperimentazione, quante persone si spera di reclutare e quando si prevede di terminare. Durante la vita di una sperimentazione, questi record vengono aggiornati man mano che i piani cambiano. Per anni, esperti del settore e investitori hanno osservato questi aggiornamenti come una previsione meteorologica, credendo che ripetuti ritardi nella data di fine di una sperimentazione fossero un chiaro segnale di avvertimento che il progetto stava fallendo e poteva essere cancellato. L'assunto era semplice: se un'azienda continua a posticipare la scadenza, qualcosa non va.

Uno studio recente sfida questa convinzione di lunga data guardando non solo allo stato attuale di una sperimentazione, ma all'intera cronologia delle modifiche apportate al suo record pubblico. Il ricercatore, Lars Kullman, ha esaminato migliaia di sperimentazioni farmacologiche sponsorizzate da aziende farmaceutiche per vedere quali cambiamenti specifici nel registro prevedessero effettivamente l'interruzione anticipata di una sperimentazione. Analizzando la cronologia delle versioni di questi record — leggendo essenzialmente ogni singola modifica effettuata nel tempo — lo studio ha scoperto che i segnali di avvertimento che tutti osservano sono spesso fuorvianti. Invece dei ritardi, i veri segnali di problemi sono un'azienda che riduce il suo numero target di partecipanti o che cambia la misurazione principale utilizzata per giudicare il successo del farmaco.

Per raggiungere questa conclusione, il ricercatore ha raccolto un enorme dataset di oltre tredici mila sperimentazioni farmacologiche sponsorizzate dall'industria che erano iniziate tra il 2014 e il 2021. Da questo gruppo, è stato selezionato un campione casuale di quasi quattromila sperimentazioni per un'analisi approfondita. Il ricercatore non ha guardato solo l'esito finale; ha ricostruito la linea temporale di ogni sperimentazione così come è avvenuta, leggendo ogni versione del record dal momento del suo inizio fino a quando non è stata completata o interrotta. Lo studio si è concentrato su tre tipi specifici di cambiamenti che potevano essere individuati precocemente: quante volte la data di fine prevista è stata posticipata, se il numero stimato di persone da reclutare è stato tagliato di almeno un quinto e se il modo primario in cui l'efficacia del farmaco veniva misurata è stato alterato dopo l'inizio della sperimentazione.

L'analisi ha utilizzato un metodo chiamato approccio landmark, il che significa che il ricercatore ha osservato lo stato della sperimentazione in punti specifici nel tempo — dodici, ventiquattro e trentasei mesi dopo il suo inizio — e ha chiesto se i cambiamenti osservati fino a quel punto prevedessero l'esito finale della sperimentazione. I risultati sono stati sorprendenti e hanno ribaltato l'intuizione comune sui ritardi. Lo studio ha scoperto che posticipare la data di completamento, anche più volte, non aveva alcuna capacità di prevedere se una sperimentazione sarebbe stata interrotta. In effetti, circa il sessanta per cento delle sperimentazioni nello studio aveva ritardato la propria data di fine almeno una volta, eppure avevano la stessa probabilità di essere completate come quelle che non avevano mai subito ritardi. Un ritardo, suggerisce i dati, è semplicemente la registrazione di un piano che viene rivisto, non la registrazione di un piano che fallisce.

Al contrario, altri due segnali si sono dimostrati potenti predittori della fine di una sperimentazione. Quando uno sponsor riduceva il proprio obiettivo di arruolamento stimato del venti per cento o più, la sperimentazione aveva circa il doppio delle probabilità di essere interrotta rispetto a quelle che mantenevano il loro obiettivo originale. Questo segnale era costante in tutti i punti temporali, apparendo come un forte segnale di avvertimento sia che accadesse nel primo anno che nel terzo. Allo stesso modo, cambiare la misura dell'esito primario — la metrica specifica utilizzata per decidere se il farmaco funzionava — era anche collegato a una maggiore probabilità di interruzione. Sebbene questa associazione non fosse forte come i tagli all'arruolamento, era un indicatore affidabile che emergeva chiaramente dopo i primi due anni della sperimentazione.

Lo studio ha anche esaminato come questi segnali lavorassero insieme. Quando una sperimentazione non mostrava nessuno di questi segnali di avvertimento, aveva una probabilità del diciotto per cento di essere interrotta. Tuttavia, quando una sperimentazione mostrava tutti e tre i segnali — date ritardate, arruolamento ridotto e cambiamenti negli esiti — la probabilità di interruzione passava al quaranta per cento. Questo schema rimaneva valido anche quando il ricercatore guardava specificamente alla fase più avanzata del test farmacologico, nota come fase tre, dove il rischio di interruzione era più alto per le sperimentazioni che mostravano questi segnali di avvertimento. I risultati suggeriscono che il record pubblico contiene una narrazione nascosta sulla salute di una sperimentazione che è molto più accurata della semplice osservazione di una scadenza mobile.

Le implicazioni di questo lavoro sono significative per chiunque si affidi ai dati pubblici per comprendere la pipeline di sviluppo dei farmaci. Gli investitori, le organizzazioni di ricerca a contratto e persino altri scienziati che pianificano studi di follow-up utilizzano spesso il registro per valutare la stabilità di una sperimentazione concorrente o correlata. Lo studio indica che hanno guardato l'indicatore sbagliato. La pratica comune di trattare una data di completamento ritardata come un segnale di allarme non è supportata dai dati. Inveve, i veri marcatori precoci di problemi sono un'ambizione di reclutare pazienti che si restringe e un cambiamento fondamentale nel modo in cui il successo viene definito. Questi cambiamenti, visibili nella cronologia delle versioni del record pubblico, offrono un quadro molto più chiaro del futuro di una sperimentazione rispetto alla data sul calendario.

Questa ricerca non pretende di risolvere il mistero del perché le sperimentazioni falliscano, poiché esistono molte ragioni, dalle decisioni commerciali alle preoccupazioni sulla sicurezza. Tuttavia, fornisce un metodo concreto e basato sui dati per leggere il record pubblico al fine di identificare quali sperimentazioni siano in reale pericolo. Automatizzando la lettura di queste cronologie delle versioni, è possibile estrarre informazioni che la visione attuale e statica di un record di sperimentazione semplicemente non mostra. Lo studio conclude che la cronologia del registro è uno strumento prezioso, ma solo se impariamo a interpretare i segnali corretti. I ritardi che i professionisti hanno osservato per decenni si sono rivelati essere rumore, mentre i tagli all'arruolamento e i cambiamenti negli obiettivi sono i chiari segnali di avvertimento precoci di una sperimentazione che non terminerà.