Der Bauplan des Scheiterns: Warum manche Pläne schon vor dem Start in sich zusammenbrechen

Stellen Sie sich vor, Sie bauen eine riesige, komplizierte Burg aus tausenden Lego-Steinen. Sie haben einen Plan, ein Budget und ein Team von Baumeistern. Doch manchmal, mitten im Bau, bricht das Ganze in sich zusammen. Den Baumeistern geht das Geld aus, die Anleitung ist zu verwirrend oder das Design ist so komplex, dass niemand mehr versteht, wie das nächste Teil eingesetzt werden muss. In der Welt der medizinischen Wissenschaft sind diese „Burgen“ klinische Studien – Experimente, bei denen Wissenschaftler neue Medikamente an Menschen testen, um zu sehen, ob sie wirken. Wenn eine Studie vorzeitig abbricht, ist das eine Tragödie. Die Menschen, die ihre Zeit und Gesundheit gespendet haben, ziehen keinen Nutzen daraus, die Wissenschaftler verlieren Jahre an Arbeit und Milliarden von Dollar lösen sich in Luft auf.

Lange Zeit dachten Wissenschaftler, dass diese Fehlschläge einfach nur Pech oder zufällige Unfälle seien. Doch jüngste Forschungen haben etwas Überraschendes entdeckt: Der Zusammenbruch ist keineswegs zufällig. Er ist in das Design eingebaut. Genau wie eine Lego-Burg mit zu vielen winzigen, fummeligen Teilen oder ein Bauplan, der auf einem einzigen, zerbrechlichen Stein basiert, kann eine klinische Studie „strukturell fragil“ sein. Das bedeutet, dass die Art und Weise, wie die Regeln geschrieben sind, einen Erfolg fast unmöglich macht. Die große Frage, die sich Forscher gestellt haben, lautet: Wenn wir wissen, dass das Design das Problem ist, können wir dann einfach den Bauplan umgestalten, um den Zusammenbruch zu verhindern, bevor er überhaupt eintritt?

Den Absturz wegdesignen

Diese neue Studie unter der Leitung des unabhängigen Forschers Sam Adeyeli besagt ein klares „Ja“. Das Team hat nicht nur untersucht, warum Studien scheiterten; es führte eine massive Computersimulation durch, um zu sehen, was passieren würde, wenn wir die fehlerhaften Baupläne bereits vor Beginn der Studien korrigieren würden. Sie behandelten klinische Studien wie komplexe Maschinen oder Netzwerke, in denen jede Regel und jede Anforderung ein Zahnrad oder ein Draht ist. Wenn zu viele Zahnräder ineinander verkeilen oder die Drähte verheddert sind, überhitzt die Maschine und stoppt.

Die Forscher nahmen Daten aus fast 97.000 realen Studien, die zwischen 2016 und 2021 registriert wurden. Sie fanden heraus, dass etwa 16 % dieser Studien bereits vor dem Abschluss abgestürzt waren (abgebrochen wurden). Mithunter einem speziellen mathematischen Modell namens „kontrafaktischer Simulation“ stellten sie die Frage: „Was wäre passiert, wenn wir die Regeln für diese gescheiterten Studien geändert hätten, um sie robuster zu machen?“ Sie testeten vier verschiedene Wege, um die Struktur zu verstärken:

1. Die „Weniger ist mehr“-Regel: Die Begrenzung der Anzahl der Regeln, die ein Patient befolgen muss, um an der Studie teilzunehmen.
2. Die „Gleichmäßige Verteilung“-Regel: Die Arbeitslast so zu verteilen, dass kein einzelner Teil des Plans zu viel Druck trägt.
3. Die „Sicherheitsnetz“-Regel: Studien, die von kleineren Gruppen durchgeführt werden, mehr Unterstützung zu geben, ähnlich wie große Unternehmen über mehr Ressourcen verfügen.
4. Das „Super-Design“: Die Kombination aller drei Korrekturen gleichzeitig.

Die Ergebnisse: Milliarden und Tausende Studien retten

Die Simulation zeigte, dass die Reparatur der Architektur besser funktioniert als erwartet. Als die Forscher das „Super-Design“ (Szenario D) anwandten, sank die prognostizierte Ausfallrate von 16,3 % auf 11,9 %.

Um dies einzuordnen: Dies ist nicht nur eine kleine Verbesserung. Es bedeutet, dass von den 15.777 Studien, die in der realen Welt scheiterten, die Simulation suggeriert, dass 4.260 von ihnen hätten gerettet werden können, wenn die Pläne anders gestaltet worden wären. Das sind etwa 710 Studien pro Jahr, die erfolgreich abgeschlossen worden wären, anstatt abzustürzen.

Die finanziellen Auswirkungen sind ebenso erschütternd. Die Studie schätzt, dass diese vermeidbaren Fehlschläge der weltweiten medizinischen Gemeinschaft in diesen sechs Jahren etwa 8,61 Milliarden Dollar gekostet haben. Durch eine Neugestaltung der Protokolle hätten wir dieses Geld sparen können – etwa 1,44 Milliarden Dollar pro Jahr. Die größten Einsparungen wären bei Phase-III-Studien (den großen, abschließenden Tests vor der Markteinführung eines Medikaments) zu erzielen, da diese am teuersten in der Durchführung sind.

Wie die „Lösung“ funktioniert

Die Studie identifizierte drei Hauptgründe, warum die „strukturelle Fragilität“ zu den Abstürzen führte, und wie das Redesign diese behob:

• Das Problem der „Zu vielen Regeln“: Viele Studien hatten Listen von Einschlusskriterien (Regeln, wer teilnehmen darf), die viel zu lang waren. Die Simulation fand heraus, dass das Risiko eines Scheiterns drastisch anstieg, sobald eine Studie mehr als 16 Kriterien hatte. Durch die Deckelung der Regeln auf 16 sank die Ausfallrate signifikant. Es ist wie der Versuch, in einen Club zu kommen, bei dem der Türsteher nicht nur deinen Ausweis prüft, sondern auch deine Schuhe, deine Socken, deine Geburtsurkunde und deine Lieblingsfarbe. Wenn man die Liste auf die Prüfung von Ausweis und Alter reduziert, kommen mehr Leute hinein und die Schlange bewegt sich schneller.
• Das „Schwächstes Glied“-Problem: Einige Studien wiesen eine „Lastkonzentration“ auf, was bedeutete, dass ein oder zwei Teile des Plans die gesamte schwere Arbeit leisteten. Wenn dieser eine Teil versagte, brach die gesamte Studie zusammen. Die Simulation zeigte, dass eine gleichmäßigere Verteilung der Arbeit (Erhöhung der „Entropie“) die Studien wesentlich widerstandsfähiger machte. Es ist wie eine Brücke, die auf einem einzigen riesigen Pfeiler basiert, im Vergleich zu einer Brücke mit vielen kleineren, gleichmäßig verteilten Pfeilern. Wenn ein kleiner Pfeiler bricht, bleibt die Brücke mit vielen Pfeilern stehen.
• Die „Nicht-additive“ Überraschung: Die Forscher fanden etwas Faszinierendes darüber heraus, wie diese Korrekturen zusammenwirken. Wenn man einfach die Ersparnisse jeder Korrektur einzeln addieren würde, würde man eine riesige Gesamtsumme erwarten. Da sich die Korrekturen jedoch überschneiden (zum Beispiel hilft weniger Regeln auch dabei, die Last zu verteilen), ist der Gesamtnutzen etwas geringer als die Summe der Einzelteile. Dies beweist, dass man nicht einfach nur eine Sache nach der anderen reparieren kann, sondern das gesamte System als ein zusammenhängendes Netzwerk betrachten muss.

Was dies für die Zukunft bedeutet

Die Studie kommt zu dem Schluss, dass das Scheitern von Studien kein unvermeidbares Schicksal ist. Es ist ein Designfehler. Die Autoren schlagen vor, dass Förderorganisationen und Ethikkommissionen (die Gruppen, die Studien genehmigen) damit beginnen sollten, den „Strukturellen Fragilitätsindex“ eines Plans zu prüfen, bevor sie ihn zulassen. Wenn ein Plan zu viele Regeln oder eine instabile Struktur hat, sollten sie die Wissenschaftler auffordern, ihn neu zu gestalten – genau wie ein Architekt einen Bauplan korrigieren würde, bevor der Beton gegossen wird.

Obwohl es sich bei dieser Studie um eine Simulation handelt und nicht um ein reales Experiment, bei dem die Studien tatsächlich verändert wurden, basiert die Mathematik auf realen Daten von fast 100.000 Studien. Die Ergebnisse legen nahe, dass wir, indem wir klinische Studien als komplexe Systeme behandeln, die Resilienz benötigen, Milliarden von Dollar und – was noch wichtiger ist – die Zeit und die Hoffnung der Menschen, die sich freiwillig zur Verfügung stellen, um Heilung zu finden, nicht länger verschwenden. Das Ziel ist es, vom Akzeptieren des Scheiterns als „so ist es eben“ zum vollständigen Wegdesignen des Scheiterns überzugehen.