Enrollment cuts and primary-outcome changes, not completion-date delays, predict the termination of industry phase 2–3 drug trials: a landmark analysis of ClinicalTrials.gov version histories

Jede neue Medizin, die das Apothekenregal erreicht, beginnt ihre Reise als klinische Studie, ein sorgfältig geplanter Versuch, bei dem Forscher testen, ob ein Medikament beim Menschen wirkt und sicher ist. Diese Studien sind keine privaten Angelegenheiten; gesetzlich verpflichtet sind Unternehmen dazu, sie in einer öffentlichen Datenbank namens ClinicalTrials.gov zu registrieren, noch bevor sie beginnen. Dieses Register fungiert als öffentliches Hauptbuch, das die Ziele der Studie, die Anzahl der angestrebten Teilnehmer und den geplanten Abschluss dokumentiert. Im Laufe des Lebens einer Studie werden diese Datensätze aktualisiert, wenn sich Pläne ändern. Jahrelang haben Branchenexperten und Investoren diese Aktualisierungen wie eine Wettervorhersage beobachtet, in dem Glauben, dass wiederholte Verzögerungen des Enddatums einer Studie ein klares Warnsignal dafür seien, dass das Projekt fehlschlägt und möglicherweise abgebrochen wird. Die Annahme war simpel: Wenn ein Unternehmen immer wieder die Frist nach hinten verschiebt, stimmt etwas nicht.

Eine aktuelle Studie stellt diesen lang gehegten Glauben infrage, indem sie nicht nur den aktuellen Status einer Studie betrachtet, sondern die gesamte Historie der Änderungen im öffentlichen Datensatz untersucht. Der Forscher Lars Kullman untersuchte tausende von Arzneimittelstudien, die von Pharmaunternehmen gesponsert wurden, um herauszufinden, welche spezifischen Änderungen im Register tatsächlich vorhersagten, dass eine Studie vorzeitig abgebrochen würde. Durch die Analyse der Versionshistorie dieser Datensätze – im Grunde das Lesen jeder einzelnen über die Zeit vorgenommenen Änderung – stellte die Studie fest, dass die Warnsignale, auf die alle achten, oft irreführend sind. Anstatt Verzögerungen sind die wahren Signale für Probleme darin, dass ein Unternehmen die Zielzahl der Teilnehmer senkt oder die primäre Messgröße zur Beurteilung des Erfolgs des Medikaments ändert.

Um zu diesem Schluss zu kommen, sammelte der Forscher einen massiven Datensatz von über dreizehntausend industrie-gesponserten Arzneimittelstudien, die zwischen 2014 und 2021 begonnen hatten. Aus dieser Gruppe wurde eine Zufallsstichprobe von fast viertausend Studien für eine detaillierte Untersuchung ausgewählt. Der Forscher betrachtete nicht nur das Endergebnis; er rekonstruierte den Zeitablauf jeder Studie, wie er sich ereignete, indem er jede Version des Datensatzes von Beginn an las, bis die Studie entweder abgeschlossen oder beendet war. Die Studie konzentrierte sich auf drei spezifische Arten von Änderungen, die frühzeitig erkennbar waren: wie oft das geplante Enddatum nach hinten verschoben wurde, ob die geschätzte Anzahl der zu rekrutierenden Personen um mindestens ein Fünftel gekürzt wurde und ob die primäre Art und Weise, wie die Wirksamkeit des Medikaments gemessen wurde, nach Beginn der Studie geändert wurde.

Die Analyse verwendete eine Methode, die als Landmark-Ansatz bezeichnet wird, was bedeutet, dass der Forscher den Zustand der Studie zu spezifischen Zeitpunkten betrachtete – zwölf, vierundzwanzig und sechsunddreißig Monate nach Beginn – und fragte, ob die bis zu diesem Zeitpunkt beobachteten Änderungen das spätere Schicksal der Studie vorhersagten. Die Ergebnisse waren verblüffend und widersprachen der gängigen Intuition über Verzögerungen. Die Studie fand heraus, dass das Verschieben des Abschlussdatums, selbst mehrfach, keine Fähigkeit besaß, vorherzusagen, ob eine Studie abgebrochen würde. Tatsächlich hatten etwa sechzig Prozent der Studien in der Untersuchung ihr Enddatum mindestens einmal verschoben, dennoch war die Wahrscheinlichkeit ihres Abschlusses genauso hoch wie bei jenen, die nie eine Verzögerung erlebten. Eine Verzögerung ist laut den Daten schlicht das Protokoll eines revidierten Plans und kein Protokoll eines scheiternden Plans.

Im Gegensatz dazu erwiesen sich zwei andere Signale als starke Prädiktoren für das Ende einer Studie. Wenn ein Sponsor sein geschätztes Rekrutierungsziel um zwanzig Prozent oder mehr reduzierte, war die Studie etwa doppelt so wahrscheinlich von einem Abbruch betroffen wie jene, die ihr ursprüngliches Ziel beibehielten. Dieses Signal war über alle Zeitpunkte hinweg konsistent und erschien als starkes Warnzeichen, egal ob es im ersten oder im dritten Jahr auftrat. Ähnlich verhielt es sich mit der Änderung des primären Ergebnismaßes – der spezifischen Metrik, die entscheidet, ob das Medikament wirkte –, was ebenfalls mit einer höheren Abbruchwahrscheinlichkeit verknüpft war. Obwohl diese Verbindung nicht so stark war wie bei den Rekrutierungskürzungen, war sie ein zuverlässiger Indikator, der sich deutlich nach den ersten zwei Jahren der Studie zeigte.

Die Studie untersuchte auch, wie diese Signale zusammenwirkten. Wenn eine Studie keines dieser Warnsignale aufwies, bestand eine achtzehnprozentige Chance auf einen Abbruch. Wenn eine Studie jedoch alle drei Signale aufwies – verzögerte Daten, reduzierte Rekrutierung und geänderte Ergebnisse –, stieg die Wahrscheinlichkeit eines Abbruchs auf vierzig Prozent. Dieses Muster blieb auch bestehen, wenn der Forscher speziell die fortgeschrittenste Phase der Arzneimittelprüfung betrachtete, bekannt als Phase III, in der das Risiko eines Abbruchs bei Studien, die diese Warnsignale zeigten, am höchsten ist. Die Ergebnisse legen nahe, dass der öffentliche Datensatz eine verborgene Erzählung über die Gesundheit einer Studie enthält, die weitaus präziser ist als die einfache Beobachtung einer sich verschiebenden Frist.

Die Auswirkungen dieser Arbeit sind bedeutend für jeden, der sich auf öffentliche Daten verlässt, um die Pipeline der Arzneimittelentwicklung zu verstehen. Investoren, Auftragsforschungsinstitute und sogar andere Wissenschaftler, die Folgestudien planen, nutzen das Register oft, um die Stabilität einer konkurrierenden oder verwandten Studie einzuschätzen. Die Studie deutet darauf hin, dass sie auf den falschen Indikator schauen. Die gängige Praxis, ein verspätetes Abschlussdatum als Warnflagge zu behandeln, wird durch die Daten nicht gestützt. Stattdessen sind die wahren Frühwarnzeichen für Probleme eine schrumpfende Ambition bei der Patientenrekrutierung und eine grundlegende Änderung der Definition von Erfolg. Diese Änderungen, die in der Versionshistorie des öffentlichen Datensatzes sichtbar sind, bieten ein viel klareres Bild der Zukunft einer Studie als das Datum auf dem Kalender.

Diese Forschung beansprucht nicht, das Rätsel zu lösen, warum Studien scheitern, da es viele Gründe gibt, von geschäftlichen Entscheidungen bis hin zu Sicherheitsbedenken. Sie bietet jedoch eine konkrete, datengestützte Methode, um den öffentlichen Datensatz zu lesen, um zu identifizieren, welche Studien in echter Gefahr sind. Durch die Automatisierung des Lesens dieser Versionshistorien ist es möglich, Informationen zu extrahieren, die die derzeitige, statische Ansicht eines Studienberichts einfach nicht zeigt. Die Studie kommt zu dem Schluss, dass das Register ein wertvolles Werkzeug ist, aber nur, wenn wir lernen, die richtigen Signale zu interpretieren. Die Verzögerungen, die Praktiker seit Jahrzehnten beobachten, entpuppten sich als Rauschen, während die Kürzungen der Rekrutierung und die Änderungen der Ziele die klaren, frühen Warnungen für eine Studie sind, die nicht abgeschlossen wird.