Formalising Sample Size Calculations for the Development of Risk Prediction Models: The Importance of Accounting for Performance Variability

Stellen Sie sich vor, Sie sind ein Koch, der versucht, das perfekte Rezept für ein neues Gericht zu kreieren. Sie haben eine Liste von Zutaten (Prädiktoren) und wollen ein Rezept (ein Modell) zubereiten, das jedem, der es probiert, exakt richtig schmeckt. In der Welt der Medizin werden diese „Rezepte“ als Risikoprädiktionsmodelle bezeichnet. Sie helfen Ärzten zu schätzen, wie wahrscheinlich ein bestimmtes gesundheitliches Ereignis bei einem Patienten ist, wie etwa ein Herzinfarkt oder eine Infektion, basierend auf Dingen wie Alter, Gewicht und Krankengeschichte. Aber hier liegt der knifflige Teil: Nur weil ein Rezept in Ihrer eigenen Küche fantastisch schmeckt, muss es in jeder anderen Küche nicht dasselbe schmecken. Wenn Sie nur wenige Chargen testen, könnten Sie durch reines Glück eine perfekte Geschmacksrichtung getroffen haben, oder Sie könnten eine seltsame, salzige Charge erhalten, nur weil Sie nicht genug Zutaten gemischt haben. Dies ist das Problem der „Variabilität“. Wissenschaftler müssen genau wissen, wie viele Chargen (oder Patienten) sie testen müssen, um sicherzustellen, dass ihr Rezept zuverlässig ist und nicht nur ein glücklicher Zufall.

Lange Zeit war die Standardmethode, um die Anzahl der benötigten Patienten zu ermitteln, darauf abzuzielen, ein „durchschnittlich“ perfektes Ergebnis zu erzielen. Es war so, als würde man sagen: „Wenn wir 1.000 Chargen kochen, sollte der durchschnittliche Geschmack köstlich sein.“ Aber die Autoren dieser Arbeit, Menelaos Pavlou, Rumana Z. Omar und Gareth Ambler, erkannten, dass das Ziel, den Durchschnitt zu treffen, nicht ausreicht. Manchmal kann es selbst dann, wenn der Durchschnitt großartig ist, passieren, dass man eine völlig ungenießbare Charge erhält, nur wegen Pech mit den Zutaten. Sie argumentieren, dass wir das Ziel ändern müssen: Anstatt nur zu hoffen, dass der Durchschnitt gut ist, sollten wir darauf abzielen, sicherzustellen, dass die meisten Chargen, die wir kochen, tatsächlich gut sind. Sie nennen dies die „Wahrscheinlichkeit akzeptabler Leistung“ (Probability of Acceptable Performance). Es ist so, als würden wir sagen: „Wir müssen genug Chargen kochen, damit eine 80-prozentige Chance besteht, dass jede einzelne Charge, die wir aus dem Ofen holen, großartig schmeckt“, anstatt nur zu hoffen, dass der Durchschnitt aller Chargen gut ist.

Das Papier legt nahe, dass die alte Art der Berechnung von Stichprobengrößen oft zu Modellen führt, die instabil sind, insbesondere wenn das Modell nur wenige Zutaten (Prädiktoren) hat. Wenn Sie versuchen, einen Kuchen mit nur zwei Zutaten zu backen, benötigen Sie eine viel größere Küche (mehr Daten), um sicher zu sein, dass Sie nicht nur beim Mischen Glück hatten. Die Autoren nutzten Computersimulationen, um zu zeigen, dass man, wenn man diese „Variabilität“ ignoriert, am Ende ein Modell haben könnte, das auf dem Papier gut aussieht, aber in der realen Welt versagt. Sie schlagen eine neue Methode vor, die dieses Risiko berücksichtigt und oft größere Stichproben erfordert, um sicherzustellen, dass das Modell robust ist. Sie untersuchten auch eine Technik namens „Shrinkage“ (Schrumpfung) – was so ist, als würde man sein Rezept vorsichtig etwas konservativer anpassen – und fanden heraus, dass dies zwar hilft, das Problem aber nicht vollständig löst, wenn man von vornherein nicht genügend Daten hatte.

Das Rezept für eine zuverlässige Vorhersage

Den Bau eines medizinischen Vorhersagemodells wie das Training eines Roboters zu betrachten, der lernt, Katzen auf Fotos zu erkennen. Sie zeigen dem Roboter tausende Bilder, und er lernt die Muster. Wenn Sie ihm nur zehn Bilder zeigen, lernt er vielleicht diese spezifischen zehn Katzen perfekt auswendig, scheitert aber völlig, wenn er eine neue Katze sieht. Dies wird als „Overfitting“ (Überanpassung) bezeichnet, und es ist der Feind einer guten Vorhersage. Um dies zu vermeiden, müssen Wissenschaftler genau wissen, wie viele Bilder (Patienten) sie dem Roboter zeigen müssen.

Das Papier beginnt mit der Erklärung, dass die aktuelle Regel für die Entscheidung, wie viele Patienten benötigt werden, auf den Erwartungswert fokussiert ist. Stellen Sie sich vor, Sie werfen einen Würfel. Der „Erwartungswert“ ist der Durchschnitt, den Sie erhalten, wenn Sie ihn eine Million Mal werfen (was 3,5 ist). Die alte Methode sagt: „Lassen Sie uns den Würfel so oft werfen, dass der Durchschnitt 3,5 ist.“ Aber die Autoren weisen auf einen Fehler hin: Wenn Sie den Würfel nur zehnmal werfen, könnten Sie jedes Mal eine 6 oder jedes Mal eine 1 erhalten. Der Durchschnitt wird langfristig 3,5 sein, aber Ihre spezifischen zehn Würfe könnten eine Katastrophe sein. In medizinischen Begriffen bedeutet dies, dass ein Modell im Durchschnitt über viele Studien hinweg perfekt aussehen mag, aber das spezifische Modell, das für Ihr Krankenhaus erstellt wurde, völlig ungenau sein könnte.

Die Autoren führen ein neues Konzept namens PrAP (Probability of Acceptable Performance) ein. Anstatt sich nur um den Durchschnitt zu kümmern, fragt PrAP: „Wie hoch ist die Wahrscheinlichkeit, dass das Modell, das wir jetzt gerade bauen, gut genug ist?“ Sie definieren einen „gut genug“-Bereich, wie zum Beispiel eine Kalibrierungsslopes zwischen 0,85 und 1,15 (wobei 1 perfekt ist). Das Ziel ist es, eine Stichprobengröße zu wählen, die groß genug ist, damit mit einer Wahrscheinlichkeit von, sagen, 80 % das Modell in diesen „guten“ Bereich fällt.

Die Simulationsküche

Um ihre Idee zu testen, haben die Autoren nicht nur geraten; sie führten tausende Computersimulationen durch. Sie erstellten fiktive Patientendaten mit unterschiedlichen Anzahlen von „Zutaten“ (Prädiktoren), die von 4 bis 28 reichten. Sie verglichen zwei Wege, um zu entscheiden, wie viele Patienten verwendet werden sollten:

1. Der Standardweg: Berechnen der Größe, die nötig ist, damit die durchschnittliche Leistung 0,9 beträgt (nahezu perfekt).
2. Der neue Weg: Berechnen der Größe, die nötig ist, damit die Wahrscheinlichkeit, dass die Leistung zwischen 0,85 und 1,15 liegt, 80 % beträgt.

Die Ergebnisse waren augenöffnend. Wenn die Modelle eine geringe Anzahl an Prädiktoren hatten (wie 4 oder 5), schlug der Standardweg eine relativ kleine Stichprobengröße vor. Als sie jedoch die Simulationen tatsächlich durchführten, stellten sie fest, dass die mit dieser kleinen Stichprobe gebauten Modelle völlig unbeständig waren. Manchmal waren sie großartig, aber oft waren sie schrecklich. Die Wahrscheinlichkeit, ein „gutes“ Modell zu erhalten, lag nur bei etwa 54 % – im Grunde ein Münzwurf!

Im Gegensatz dazu verlangte der neue Weg eine viel größere Stichprobengröße. Für ein Modell mit nur 4 Prädiktoren benötigte der neue Weg 2,7-mal mehr Patienten als der Standardweg. Aber die Belohnung war gewaltig: Mit dieser größeren Stichprobe stieg die Wahrscheinlichkeit für ein gutes Modell auf die angestrebten 80 %. Die Autoren fanden heraus, dass für Modelle mit vielen Prädiktoren (wie 18 oder mehr) die beiden Methoden ähnliche Stichprobengrößen vorschlugen, aber für die kleineren, einfacheren Modelle war der Unterschied massiv.

Der „Shrinkage“-Shortcut?

Das Papier untersuchte auch einen populären Trick namens Shrinkage. Stellen Sie sich vor, Sie haben einen Kuchen gebacken und er ist ein wenig zu süß. Shrinkage ist wie das Entnahme eines winzigen Teils des Zuckers, um ihn sicherer zu machen. In der Statistik bedeutet dies, die Stärke der Vorhersagen eines Modells leicht zu reduzieren, um Überkonfidenz zu vermeiden.

Die Autoren testeten, ob die Verwendung von Shrinkage es Forschern ermöglichen könnte, mit kleineren Stichprobengrößen auszukommen. Sie fanden heraus, dass Shrinkage die durchschnittliche Leistung verbesserte und die Modelle näher an das Perfekte brachte. Es führte jedoch auch eine neue Art von Instabilität ein. Da man schätzen muss, wie viel man „schrumpft“, fügt diese Schätzung eine eigene Unsicherheit hinzu. Die Simulationen zeigten, dass Shrinkage zwar die Chancen auf ein gutes Modell verbesserte, aber das Problem nicht vollständig löste, wenn die Stichprobengröße zu klein war. Tatsächlich bedeutete die zusätzliche Unsicherheit durch Shrinkage bei sehr kleinen Modellen (weniger als 6 Prädiktoren), dass sich die Wahrscheinlichkeit für ein gutes Modell kaum verbesserte. Die Autoren schlagen vor, dass Shrage ein hilfreiches Werkzeug ist, aber es nicht als Zauberstab verwendet werden sollte, um das Sammeln genügend Daten zu umgehen.

Ein Realwelt-Test: Herzklappenoperation

Um zu beweisen, dass ihre Theorie nicht nur eine Computerfantasie war, wandten die Autoren ihre Methoden auf einen echten Datensatz von 16.679 Patienten an, die sich einer Herzklappenoperation unterzogen hatten. Sie wollten ein Modell erstellen, um das Risiko eines Todesfalls im Krankenhaus vorherzusagen.

Mit der Standardmethode berechneten sie, dass sie 2.250 Patienten benötigten. Mit ihrer neuen PrAP-Methode berechneten sie, dass sie 2.740 Patienten benötigten. Sie führten dann eine Simulation durch, bei der sie diese Gruppen wiederholt aus den realen Daten zogen, um zu sehen, was passierte.

Die Ergebnisse bestätigten ihre Vermutungen. Die Gruppe mit 2.250 Patienten (Standard) hatte eine gute mediane Leistung, aber die Modelle variierten stark. Einige waren großartig, einige waren schlecht. Die Gruppe mit 2.740 Patienten (Neu) war viel konsistenter. Fast alle die mit dieser größeren Gruppe gebauten Modelle fielen in den „akzeptablen“ Bereich. Darüber hinaus zeigte die Zugabe von Shrinkage in der größeren Gruppe (2.740) eine klare Verbesserung der Zuverlässigkeit, während die kleinere Gruppe kaum einen Nutzen sah.

Das Fazit

Die Hauptbotschaft dieses Papers ist eine Warnung vor zu viel Bequemlichkeit bei „Durchschnittsergebnissen“. In der hochsensiblen Welt der medizinischen Vorhersage ist eine durchschnittliche Erfolgsrate nicht genug, wenn einzelne Modelle spektakulär scheitern können. Die Autoren schlagen vor, dass Forscher, um wirklich zuverlässige Risikomodelle zu bauen – insbesondere bei Modellen mit weniger Zutaten –, bereit sein müssen, mehr Daten zu sammeln. Sie schlagen einen neuen Weg zur Berechnung von Stichprobengrößen vor, der die Wahrscheinlichkeit des Erfolgs gegenüber dem Durchschnittserfolg priorisiert.

Obwohl dies bedeuten kann, mehr Patienten zu sammeln als bisher als notwendig erachtet wurde, ist der Gegenwert ein stabiles und vertrauenswürdiges Modell. Wie die Autoren anmerken: Wenn man zu 80 % sicher sein will, dass das Modell funktioniert, darf man nicht nur den Durchschnitt anstreben; man muss die Sicherheitsmarge anstreben. Ihre Arbeit liefert die mathematischen Werkzeuge, um genau das zu tun, und stellt sicher, dass, wenn ein Arzt auf ein Vorhersagemodell vertraut, es nicht nur ein glücklicher Tipp ist, sondern ein gut getestetes Rezept.