Temporally validated clinical trial outcome prediction from public registry text: a leakage-audited comparison of biomedical transformers and classical NLP

Die Entwicklung neuer Medikamente ist eine lange, teure und unsichere Reise. Die meisten Wirkstoffkandidaten, die in die Testphase eintreten, schaffen es nie bis in das Apothekenregal. Da der Einsatz so hoch ist, suchen Forscher und Unternehmen ständig nach Wegen, vorherzusagen, welche Studien wahrscheinlich erfolgreich sein werden, bevor sie Jahre und Millionen von Dollar investieren. Jahrzehntelang basierten diese Vorhersagen auf komplexen Daten über die Molekularstruktur des Medikaments, die spezifische Krankheit, die es bekämpft, oder das Unternehmen, das die Studie durchführt. Oft sind diese Informationen in privaten Datenbanken verschlossen oder erfordern teure Abonnements für den Zugriff. Dies schafft eine Barriere, durch die nur finanzstarke Organisationen in der Lage sind, die Werkzeuge aufzubauen, die nötig sind, um die Zukunft der medizinischen Forschung zu prognostizieren. Aber was wäre, wenn die Antworten bereits offen vor einem lägen, geschrieben in den öffentlichen Beschreibungen der Studien selbst?

Eine aktuelle Studie des unabhängigen Forschers Michael Doane untersuchte, ob ein Computerprogramm lernen kann, den Erfolg klinischer Studien allein anhand der kostenlosen, öffentlichen Texte auf der Website ClinicalTrials.gov vorherzusagen. Diese Website dient als globales Register, in dem jede klinische Studie registriert werden muss, wobei das Studiendesign, die beteiligten Patienten und die Ziele der Forschung detailliert beschrieben werden. Doane wollte wissen, ob ein modernes Sprachmodell – eine Art von künstlicher Intelligenz, die darauf trainiert wurde, menschliche Sprache zu verstehen – diese öffentlichen Beschreibungen lesen und die Studien nach ihrer Erfolgswahrscheinlichkeit ordnen kann. Um dies zu erreichen, verwendete er einen massiven Datensatz von Studienergebnissen, der vom Clinical Trial Outcome Dataset generiert wurde, welcher Belege aus Nachrichtenberichten und öffentlichen Ergebnissen zusammenstellt, um eine Erfolgswahrscheinlichkeit für jede Studie zuzuweisen. Das Ziel war es zu sehen, ob eine KI aus diesen automatisierten Wahrscheinlichkeiten lernen und dieses Wissen dann auf neue, ungesehene Studien anwenden kann, speziell solche mit Fokus auf Neurowissenschaften, ohne während ihres Trainings die endgültigen Ergebnisse zu kennen.

Der Forscher trainierte drei separate Computermodelle, eines für jede Phase der Arzneimittelprüfung: frühe Sicherheitsprüfungen, intermediäre Tests und groß angelegte abschließende Studien. Er fütterte diese Modelle mit den öffentlichen Texten aus tausenden Studien, die vor 2019 abgeschlossen wurden, wobei die automatisierten Erfolgswahrscheinlichkeiten als einzige Orientierungshilfe dienten, um etwas zu lernen. Entscheidend war, dass die Modelle die Studienergebnisse, die Daten oder die spezifischen Identifikatoren, die die Antwort verraten könnten, nicht sehen durften. Stattdessen mussten sie sich ausschließlich auf die narrativen Beschreibungen des Studiendesigns und der beteiligten Personen verlassen. Um sicherzustellen, dass die Ergebnisse echt und kein Zufall der Daten waren, legte der Forscher eine strenge Regel fest: Die Modelle würden nur an Studien getestet, die nach 2019 abgeschlossen wurden – ein Zeitraum, den die Modelle noch nie gesehen hatten. Dieser Ansatz, bekannt als temporale Validierung, ahmt die reale Anwendung eines Vorhersagewerkzeugs nach, indem er in die Zukunft blickt, anstatt nur die Vergangenheit auswendig zu lernen.

Die Ergebnisse zeigten, dass die Computermodelle tatsächlich ein Signal für den Erfolg innerhalb des öffentlichen Textes finden konnten. Das primäre Modell, das auf einem System namens BioBERT basiert, welches auf biomedizinischer Literatur vortrainiert wurde, konnte die Studien erfolgreich ordnen. In der frühen Sicherheitsphase erreichte es einen AUC-Wert von 0,67. In der intermediären Phase stieg dieser Wert auf etwa 0,71, und in der abschließenden groß angelegten Phase erreichte er etwa 0,72. Obwohl diese Zahlen bescheiden erscheinen mögen, stellen sie eine signifikante Fähigkeit dar, zwischen erfolgreichen und erfolglosen Studien allein mithilfe öffentlicher Informationen zu unterscheiden. Das Modell schnitt besser ab als das bloße Zufallsergebnis und besser als ältere, einfachere statistische Methoden in den späteren Testphasen. Ein anderes Modell, namens BiomedBERT, schnitt in der finalen Phase sogar noch etwas besser ab und erreichte einen AUC-Wert von fast 0,75.

Was diesen Befund besonders bemerkenswert macht, ist die Effizienz, mit der er erreicht wurde. Der gesamte Prozess, einschließlich des Trainings der komplexen KI-Modelle und des Durchlaufens der Vergleiche, dauerte nur 3,5 Stunden auf einer einzigen Grafikverarbeitungseinheit (GPU) und kostete etwas mehr als einen Dollar an Strom und Cloud-Computing-Gebühren. Dies steht in starkem Kont contrast zu den massiven Supercomputern und teuren Datensätzen, die oft mit der Forschung im Bereich der künstlichen Intelligenz assoziiert werden. Die Studie demonstrierte, dass ein Forscher mit bescheidenen Ressourcen diese Ergebnisse unter Verwendung ausschließlich kostenloser, öffentlicher Daten reproduzieren konnte. Die Modelle waren in der Lage, allein aus den Textbeschreibungen zu lernen, was beweist, dass die Art und Weise, wie eine Studie in einem öffentlichen Register beschrieben wird, verborgene Muster enthält, die mit ihrem späteren Ausgang korrelieren.

Dennoch hob die Studie auch wichtige Einschränkungen hervor. Während die Modelle gut darin waren, Studien zu ranken – also zu bestimmen, welche wahrscheinlicher erfolgreich sein würden als andere –, waren sie nicht perfekt darin, die exakte Erfolgswahrscheinlichkeit vorherzusagen. In den frühen Phasen neigten die Modelle dazu, zu optimistisch zu sein, indem sie höhere Erfolgsraten vorhersagten, als tatsächlich eintraten. Dies deutet darauf hin, dass der Text zwar ein nützliches Signal zur Sortierung von Studien liefert, aber noch nicht in der Lage ist, die Notwendigkeit menschlichen Urteilsvermögens oder detaillierterer Daten zu ersetzen. Die Forscher merkten zudem an, dass sich die Textbeschreibungen im Laufe der Zeit ändern könnten und dass es, falls ein Registereintrag nach Abschluss einer Studie aktualisiert wird, versehentlich die Antwort an das Modell durchsickern lassen könnte. Um dies zu verhindern, wandte die Studie strenge Regeln an, um jegliche Erwähnung von Ergebnissen aus dem Text zu entfernen, bevor die Modelle ihn lasen.

Letztendlich legt diese Arbeit nahe, dass die öffentlichen Aufzeichnungen klinischer Studien eine größere Vorhersagekraft besitzen als bisher angenommen. Durch die Verwendung automatisierter Labels, um ein Sprachmodell zu trainieren, zeigte der Forscher, dass es möglich ist, ein Werkzeug zu bauen, das Arzneimittelstudien allein basierend auf ihren öffentlichen Beschreibungen zu ranken. Dieser Ansatz erfordert keinen Zugriff auf private Unternehmensdaten oder teure proprietäre Datenbanken. Er bietet eine transparente, reproduzierbare Basis, die jeder Forscher nutzen kann, um Studien zu prüfen oder zu entscheiden, welche Studien eine genauere Betrachtung verdienen. Obwohl die Modelle noch nicht bereit sind, endgültige Entscheidungen in der Arzneimittelentwicklung zu treffen, bieten sie eine kraftvolle neue Möglichkeit, die riesigen Mengen an Informationen zu betrachten, die der Öffentlichkeit bereits zur Verfügung stehen, indem sie einfachen Text in einen Wegweiser zur Navigation durch den ungewissen Pfad der medizinischen Entdeckung verwandeln.