Enrollment cuts and primary-outcome changes, not completion-date delays, predict the termination of industry phase 2–3 drug trials: a landmark analysis of ClinicalTrials.gov version histories

Elk nieuw medicijn dat de schappen van de apotheek bereikt, begint zijn reis als een klinische studie, een zorgvuldig gepland experiment waarbij onderzoekers testen of een medicijn werkt en veilig is voor mensen. Deze studies zijn geen privézaken; bij wet moeten bedrijven deze registreren in een publieke database genaamd ClinicalTrials.gov voordat ze beginnen. Dit register fungeert als een openbaar grootboek dat de doelen van de studie, het aantal mensen dat men hoopt te werven en wanneer men van plan is klaar te zijn, vastlegt. Gedurende het leven van een studie worden deze gegevens bijgewerkt wanneer plannen veranderen. Jarenlang hebben experts uit de sector en investeerders deze updates gevolgd als een weersvoorspelling, in de overtuiging dat herhaalde vertragingen in de einddatum van een studie een duidelijk waarschuwingssignaal waren dat het project faalde en mogelijk zou worden geannuleerd. De aanname was simpel: als een bedrijf de deadline steeds verder opschuift, is er iets mis.

Een recente studie daagt dit langgekoesterde geloof uit door niet alleen naar de huidige status van een studie te kijken, maar naar de volledige geschiedenis van wijzigingen in het publieke dossier. De onderzoeker, Lars Kullman, onderzocht duizenden klinische studies gesponsord door farmaceutische bedrijven om te zien welke specifieke wijzigingen in het register daadwerkelijk voorspelden dat een studie voortijdig zou worden stopgezet. Door de versiegeschiedenis van deze records te analyseren—in feite elke enkele bewerking die in de loop van de tijd is doorgevoerd te lezen—vond de studie dat de waarschuwingssignalen waar iedereen op let, vaak misleidend zijn. In plaats van vertragingen zijn de echte signalen van problemen het verlagen van het beoogde aantal deelnemers door een bedrijf of het wijzigen van de belangrijkste maatstaf die wordt gebruikt om het succes van het medicijn te beoordelen.

Om tot deze conclusie te komen, verzamelde de onderzoeker een enorme dataset van meer dan dertiende duizend door de industrie gesponsorde klinische studies die tussen 2014 en 2021 waren gestart. Uit deze groep werd een willekeurige steekproef van bijna vierduizend studies geselecteerd voor een diepgaande analyse. De onderzoeker keek niet alleen naar de uiteindelijke uitkomst; hij reconstrueerde de tijdlijn van elke studie zoals deze zich voltrok, waarbij hij elke versie van het dossier las vanaf het moment van aanvang tot het moment dat de studie ofwel werd voltooid of stopgezet. De studie richtte zich op drie specifieke soorten wijzigingen die vroegtijdig opgemerkt konden worden: hoe vaak de geplande einddatum werd uitgesteld, of het geschatte aantal mensen dat gerekruitteerd zou worden met ten minste een vijfde werd teruggebracht, en of de primaire manier waarop de effectiviteit van het medicijn werd gemeten, na de start van de studie werd gewijzigd.

De analyse maakte gebruik van een methode die de 'landmark approach' wordt genoemd, wat betekent dat de onderzoeker naar de staat van de studie keek op specifieke momenten in de tijd—twaalf, zesentwintig en zevenendertig maanden na de start—en onderzocht of de wijzigingen tot dat punt toe de uiteindelijke afloop van de studie voorspelden. De resultaten waren opmerkelijk en zetten de algemene intuïtie over vertragingen op zijn grondों. De studie vond dat het uitstellen van de voltooiingsdatum, zelfs meerdere malen, geen vermogen had om te voorspellen of een studie zou worden stopgezet. Sterker nog, ongeveer zestig procent van de studies in de studie had hun einddatum ten minste één keer uitgesteld, maar zij waren net zo waarschijnlijkig in staat tot voltooiing als de studies die nooit een vertraging hadden gehad. Een vertraging suggereert volgens de data simpelweg een verslag van een gewijzigd plan, en niet een verslag van een falend plan.

In contrast hiermee bleken twee andere signalen krachtige voorspellers te zijn voor het einde van een studie. Wanneer een sponsor het geschatte aantal inschrijvingen met twintig procent of meer verminderde, was de studie ongeveer twee keer zo waarschijnlijk om te worden stopgezet vergeleken met studies die hun oorspronkelijke doelstelling behielden. Dit signaal was consistent over alle tijdstippen en trad op als een sterk waarschuwingssignaal, of het nu in het eerste jaar of in het derde jaar gebeurde. Evenzo was het wijzigen van de primaire uitkomstmaat—de specifieke metriek die wordt gebruikt om te beslissen of het medicijn werkte—ook gekoppeld aan een hogere kans op stopzetting. Hoewel deze associatie niet zo sterk was als de reducties in inschrijvingen, was het een betrouwbare indicator die duidelijk naar voren kwam na de eerste twee jaar van de studie.

De studie keek ook naar hoe deze signalen samenwerkten. Wanneer een studie geen van deze waarschuwingssignalen vertoonde, had deze een achttien procent kans om te worden stopgezet. Echter, wanneer een studie alle drie de signalen vertoonde—uitgestelde data, verminderde inschrijving en gewijzigde uitkomsten—sprong de kans op stopzetting naar veertig procent. Dit patroon hield stand, zelfs toen de onderzoeker specifiek keek naar de meest gevorderde fase van medicijnonderzoek, bekend als fase drie, waar het risico op stopzetting het grootst is voor studies die deze waarschuwingssignalen vertonen. De bevindingen suggereren dat het publieke dossier een verborgen narratief bevat over de gezondheid van een studie dat veel nauwkeuriger is dan de eenvoudige observatie van een verschuivende deadline.

De implicaties van dit werk zijn aanzienlijk voor iedereen die vertrouwt op publieke gegevens om de pijplijn van de medicijnontwikkeling te begrijpen. Investeerders, contractonderzoeksorganisaties en zelfs andere wetenschappers die vervolgstudies plannen, gebruiken het register vaak om de stabiliteit van een concurrerende of gerelateerde studie in te schatten. De studie geeft aan dat zij naar de verkeerde indicator hebben gekeken. De gangbare praktijk om een uitgestelde voltooiingsdatum als een rood vlaggetje te behandelen, wordt niet ondersteund door de data. In plaats daarvan zijn de echte vroege tekenen van problemen een krimpende ambitie om patiënten te werven en een fundamentele verschuiving in de definitie van succes. Deze veranderingen, zichtbaar in de versiegeschiedenis van het publieke dossier, bieden een veel duidelijker beeld van de toekomst van een studie dan de datum op de kalender.

Dit onderzoek beweert niet de reden te verklaren waarom studies falen, aangezien er vele redenen bestaan, variërend van zakelijke beslissingen tot veiligheidszorgen. Het biedt echter een concrete, op data gebaseerde methode om het publieke dossier te lezen om te identificeren welke studies in werkelijk gevaar zijn. Door het lezen van deze versiegeschiedenissen te automatiseren, is het mogelijk om informatie te extraheren die het huidige, statische beeld van een studierecord simpelweg niet laat zien. De studie concludeert dat het register een waardevol instrument is, maar alleen als we leren de juiste signalen te interpreteren. De vertragingen die professionals al decennia lang in de gaten houden blijken ruis te zijn, terwijl de reducties in inschrijvingen en wijzigingen in doelen de duidelijke, vroege waarschuwingen zijn van een studie die niet zal worden afgerond.