📊 statistics

Evaluating the impact of outcome delay on the efficiency of sample size re-estimation

Dieser Artikel bewertet, wie Verzögerungen der Ergebnisermittlung in klinischen Studien mit einer Neuschätzung des Stichprobenumfangs die Effizienz verringern, indem sie den durchschnittlichen Stichprobenumfang und die Teststärke aufblähen, insbesondere wenn die neu geschätzte Stichprobengröße kleiner ist als ursprünglich geplant, was zu kostspieligen übermässig starken Studien führt.

Ursprüngliche Autoren: Aritra Mukherjee, Michael J Grayling, James J M S Wason

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aritra Mukherjee, Michael J Grayling, James J M S Wason

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie organisieren eine riesige Party, um ein neues Rezept zu testen. Sie müssen genügend Leute einladen, um sicherzugehen, dass das Rezept ein Hit wird, aber Sie wollen nicht zu viele einladen, sonst verschwenden Sie Geld an Essen, das niemand isst.

In der Welt der klinischen Studien (der Testung neuer Medikamente) sehen sich Wissenschaftler genau diesem Problem gegenüber. Sie müssen abschätzen, wie viele Patienten sie rekrutieren müssen, um die Wirksamkeit eines Medikaments nachzuweisen. Diese Schätzung hängt von einem „Störparameter" ab – einer eleganten Bezeichnung für „eine Variable, über die wir uns nicht sicher sind", wie etwa, wie stark die Ergebnisse von Person zu Person variieren könnten.

Die Lösung: Der „Interne Pilot" (Der Geschmackstest)
Um ihre Schätzung zu korrigieren, verwenden Forscher eine Strategie namens Neuschätzung der Stichprobengröße (Sample Size Re-estimation, SSR). Denken Sie daran als einen „Geschmackstest" auf halber Strecke der Party.

Sie laden eine kleine Gruppe von Menschen ein (die erste Phase).
Sie prüfen die Daten, um zu sehen, wie variabel die Ergebnisse sind.
Daraufhin passen sie die Gesamtzahl der benötigten Gäste an. Wenn die Ergebnisse sehr konsistent sind, benötigen sie möglicherweise weniger Personen. Wenn sie völlig unvorhersehbar sind, benötigen sie möglicherweise mehr.

Das Problem: Die „Pipeline" (Der Slow Cooker)
Hier wird es kompliziert. Bei vielen medizinischen Studien tritt das „Ergebnis" (ist der Patient besser geworden?) nicht sofort ein. Es kann Monate dauern, bis man sieht, ob das Medikament gewirkt hat. Dies wird als Verzögerung des Endpunkts (Outcome Delay) bezeichnet.

Stellen Sie sich vor, Sie sind der Gastgeber der Party. Sie haben 60 Personen für den Geschmackstest eingeladen. Sie warten auf das Feedback dieser Ergebnisse, bevor Sie entscheiden, wie viele weitere Personen Sie einladen sollen.

Das ideale Szenario: Sie hören auf, neue Leute einzuladen, während Sie auf das Feedback warten.
Das reale Szenario: Sie laden weiterhin Leute ein, weil der Einladungsprozess automatisch abläuft. Während Sie auf das Feedback der 60. Person warten (was 8 Monate dauert), laden Sie weiterhin neue Gäste ein.

Bis das Feedback eintrifft, haben Sie möglicherweise insgesamt 100 Personen eingeladen. Doch der Geschmackstest sagte Ihnen, dass Sie nur 80 Personen benötigten, um eine gute Antwort zu erhalten. Sie haben nun 20 „Pipeline-Gäste" – Personen, die auf der Party sind, deren Feedback aber nicht in Ihre Entscheidung einfließt. Sie haben Ressourcen für eine überdimensionierte Studie verschwendet (zu viele Personen, zu hohe Kosten).

Was diese Studie herausfand
Die Autoren dieser Studie führten Tausende von Computersimulationen durch, um zu sehen, wie schlimm dieses „Wartespiel" tatsächlich ist. Sie verwendeten drei Hauptmethoden, um den Schaden zu messen:

Der „Verzögerungseffekt" (Wie oft gehen wir daneben?):
- Sie stellten fest, dass je länger Sie auf die Ergebnisse warten, desto wahrscheinlicher ist es, dass Sie versehentlich zu viele Personen einladen.
- Die große Überraschung: Dieses Problem ist am schlimmsten, wenn das Medikament besser wirkt als erwartet (oder die Daten weniger variabel sind als gedacht). In diesen Fällen sagt Ihnen der „Geschmackstest", dass Sie die Gästeliste kürzen sollen. Aber da Sie während des Wartens weiterhin Leute eingeladen haben, landen Sie trotzdem mit einer riesigen Menschenmenge.
- Umgekehrt ist die Verzögerung nicht so schlimm, wenn die Daten unübersichtlich sind und Sie mehr Personen benötigen. Die zusätzlichen Personen, die Sie während des Wartens eingeladen haben, helfen Ihnen tatsächlich, die höhere Zahl zu erreichen, die Sie benötigten.
Der „RMSE" (Wie weit liegen wir daneben?):
- Dies misst, wie weit die endgültige Anzahl der Gäste von der „perfekten" Zahl entfernt ist.
- Die Studie zeigt, dass mit zunehmender Verzögerung die endgültige Anzahl der Gäste weiter von der Idealzahl abweicht. Die Studie wird weniger effizient.
Die „Kosten" (Der Straf-Score):
- Die Autoren entwickelten einen speziellen Score, der „unterdimensionierte" Studien (nicht genug Personen, um die Wirksamkeit des Medikaments zu beweisen) stärker bestraft als „überdimensionierte".
- Sie stellten fest, dass Verzögerungen zwar meist zu einer Überdimensionierung führen (Geldverschwendung), aber die spezifischen „Kosten" der Verzögerung stark von der ursprünglichen Schätzung abhängen. Wenn Sie annahmen, die Varianz sei hoch (viele Personen benötigt), sich aber als niedrig herausstellte (wenige Personen benötigt), führt die Verzögerung zu einem massiven Kostenanstieg, weil Sie weit mehr rekrutiert haben als notwendig.

Das Rezept für Erfolg
Die Studie schließt mit einer spezifischen Empfehlung zum Umgang mit dieser „Wartezeit":

Warten Sie nicht zu lange, um zu prüfen: Der Zeitpunkt Ihres „Geschmackstests" ist entscheidend.
Der Sweet Spot: Die Autoren schlagen vor, dass für kontinuierliche Daten (wie Blutdruckwerte) die Überprüfung der Daten nach 35 Personen pro Gruppe das beste Gleichgewicht darstellt.
- Wenn Sie zu früh prüfen (weniger Personen), kann Ihre Schätzung wild und ungenau sein.
- Wenn Sie zu spät prüfen (viele Personen), riskieren Sie, eine riesige „Pipeline" unnötiger Gäste einzuladen, während Sie auf die Ergebnisse warten.

Kurz gesagt
Die Verzögerung der Ergebnisse einer klinischen Studie, während Sie weiterhin Patienten rekrutieren, ist wie das Kochen eines Eintopfs, bei dem Sie den Topf voll Wasser halten, während Sie warten, bis die Suppe kocht. Wenn Sie weniger Wasser benötigen als gedacht, haben Sie eine Menge davon verschwendet. Diese Studie zeigt, dass diese Verschwendung am gefährlichsten ist, wenn sich die Studie als „einfacher" als erwartet herausstellt. Um dies zu vermeiden, sollten Forscher ihren „Geschmackstest" (Neuschätzung) nach etwa 35 Patienten pro Gruppe durchführen, anstatt zu warten, bis sie eine riesige Menschenmenge rekrutiert haben.

Technische Zusammenfassung: Bewertung des Einflusses von Verzögerungen bei Ergebnissen auf die Effizienz der Neuberechnung des Stichprobenumfangs

Problemstellung
Die Neuberechnung des Stichprobenumfangs (SSR) ist ein weit verbreitetes adaptives Design, das sicherstellen soll, dass klinische Studien die vorab festgelegten Power-Anforderungen erfüllen, wenn Störparameter (z. B. Varianz, Ereignisraten) in der Planungsphase unsicher sind. Obwohl SSR-Designs, insbesondere verblindete „interne Pilot"-Typen, Flexibilität bieten, gehen sie typischerweise davon aus, dass Behandlungsergebnisse unmittelbar nach der Rekrutierung der Teilnehmer verfügbar sind. In der Praxis beinhalten viele Studien langfristige primäre Endpunkte, bei denen Ergebnisse verzögert eintreffen.

Diese Verzögerung erzeugt einen „Pipeline"-Effekt: Wenn die Rekrutierung während des Wartens auf vorläufige Ergebnisdaten fortgesetzt wird, kann eine signifikante Anzahl von Teilnehmern rekrutiert werden, deren Ergebnisse für die Zwischenanalyse noch nicht verfügbar sind. Ist die Verzögerung beträchtlich, rekrutiert die Studie möglicherweise mehr Teilnehmer, als die neu berechnete Stichprobengröße für notwendig erachtet. Dies führt zu einer überdimensionierten Studie, die unnötige finanzielle Kosten und Ressourcenverschwendung verursacht. Umgekehrt verlängert das Anhalten der Rekrutierung zum Abwarten von Ergebnissen die Studiendauer. Die vorherige Literatur hat gezeigt, dass Ergebnisverzögerungen negative Auswirkungen auf gruppensequenzielle und mehrstufige Designs haben, doch die spezifischen Effizienzverluste für SSR-Designs, insbesondere hinsichtlich der Verteilung des endgültigen Stichprobenumfangs und der Präzision der Neuberechnung, bedurften weiterer Untersuchungen.

Methodik
Die Autoren untersuchen den Einfluss von Ergebnisverzögerungen auf die Effizienz verblindeter SSR-Designs mittels einer Simulationsstudie. Die Studie konzentriert sich auf kontinuierliche Ergebnisse (Normalverteilung) und wird in ergänzendem Material auf binäre Ergebnisse erweitert.

Design-Rahmenwerk: Die Studie geht von einem zweistufigen Design aus, bei dem eine Zwischenanalyse durchgeführt wird, nachdem $n_1$ Teilnehmer rekrutiert wurden. Der Störparameter (Varianz $\sigma^2$ ) wird unter Verwendung der gepoolten Stichprobenvarianz der verblindeten Daten neu geschätzt. Der Stichprobenumfang wird basierend auf dieser Neuberechnung angepasst, um eine Ziel-Power zu erreichen.
Modellierung der Verzögerung: Die Studie modelliert eine Verzögerungsperiode $m$ $m$ (Zeiteinheiten), die zur Beobachtung primärer Ergebnisse erforderlich ist. Es wird angenommen, dass die Rekrutierung während dieses Zeitraums fortgesetzt wird. Die Anzahl der während der Verzögerung rekrutierten „Pipeline"-Teilnehmer ( $n_{delay}$ $n_{d e l a y}$ ) wird unter zwei Rekrutierungsmustern berechnet:
1. Uniform: Konstante Rekrutierungsrate (Poisson-Eintreffen).
2. Linear: Die Rekrutierungsrate steigt linear über die Zeit an (simuliert das Öffnen neuer Standorte).
Endgültiger Stichprobenumfang ( $N^*$ ): Der endgültige Stichprobenumfang wird durch die neu geschätzte Anforderung ( $n^*$ ) und die Pipeline-Teilnehmer bestimmt. Ist $n^*$ größer als die Pipeline-Akkumulation, gilt $N^* = n^*$ . Übersteigt die Pipeline-Akkumulation den neu geschätzten Bedarf, gilt $N^* = n_1 + n_{delay}$ , was zu einer überrekrutierten Studie führt.
Szenarien: Simulationen wurden für 10.000 Replikate über drei Varianzszenarien relativ zur anfänglichen Annahme ( $\sigma^2_{init}$ $σ_{ini t}^{2}$ ) durchgeführt:
- Fall I: Die wahre Varianz ist niedriger ( $\sigma^2 = 8 < 10$ ), was zu einer neu berechneten Stichprobengröße führt, die kleiner als geplant ist.
- Fall II: Die wahre Varianz entspricht der Annahme ( $\sigma^2 = 10 = 10$ ).
- Fall III: Die wahre Varianz ist höher ( $\sigma^2 = 12 > 10$ ), was zu einer neu berechneten Stichprobengröße führt, die größer als geplant ist.
Effizienzkennzahlen: Die Autoren schlagen drei Kennzahlen vor und nutzen diese, um den Einfluss der Verzögerung zu quantifizieren:
1. Verzögerungseinfluss: Der Anteil der Studien, bei denen der endgültige Stichprobenumfang aufgrund von Pipeline-Teilnehmern die neu geschätzte Anforderung überschreitet.
2. Wurzel des mittleren quadratischen Fehlers (RMSE): Misst die Präzision des endgültigen Stichprobenumfangs relativ zur „Orakel"-Stichprobengröße (die Größe, die erforderlich wäre, wenn die wahre Varianz von Anfang an bekannt wäre).
- Kosten: Eine neuartige Kennzahl, definiert als $E[(N^* - n_{oracle})^2 / 100 \times Power(N^*)]$ . Dies bestraft unterdimensionierte Studien stärker als überdimensionierte und spiegelt die schwerwiegendere Konsequenz wider, einen Behandlungseffekt nicht zu erkennen, im Vergleich zu den Kosten einer übermäßigen Rekrutierung.

Hauptergebnisse
Die Simulationsergebnisse zeigen, dass der Einfluss von Ergebnisverzögerungen stark von der Beziehung zwischen der wahren Varianz und dem anfänglich geplanten Stichprobenumfang sowie vom Rekrutierungsmuster abhängt.

Verteilung des endgültigen Stichprobenumfangs: Mit zunehmender Verzögerungslänge ( $m$ ) nimmt die Streuung der Verteilung des endgültigen Stichprobenumfangs ab, da die minimal erreichbare Stichprobengröße steigt (aufgrund der Akkumulation von Pipeline-Teilnehmern).
Fall I (Überplant/Wahre Varianz niedriger): Dieses Szenario leidet am stärksten unter der Verzögerung. Da die neu berechnete Stichprobengröße kleiner als der anfängliche Plan ist, drängen die Pipeline-Teilnehmer die Gesamtzahl der Rekrutierten oft über die erforderliche $n^*$ . Dies führt zu einem hohen „Verzögerungseinfluss" (z. B. ~80 % bei einer 10-monatigen Verzögerung unter uniformer Rekrutierung) und resultiert in häufig überdimensionierten Studien. Die Kennzahlen RMSE und Kosten steigen mit der Verzögerung stark an.
Fall III (Unterplant/Wahre Varianz höher): Dieses Szenario wird am wenigsten von der Verzögerung beeinträchtigt. Die neu berechnete Stichprobengröße ist größer als der anfängliche Plan, sodass Pipeline-Teilnehmer positiv zum erforderlichen Gesamtbeitrag beitragen. Der Verzögerungseinfluss ist minimal, und in einigen Fällen (uniforme Rekrutierung) kann die Fortsetzung der Rekrutierung während der Verzögerung die Effizienz im Vergleich zum Anhalten der Rekrutierung sogar verbessern.
Rekrutierungsmuster: Lineare Rekrutierungsmuster führen im Allgemeinen zu höheren Kosten und größeren Verzögerungseinflüssen im Vergleich zu uniformen Mustern, da die beschleunigte Rekrutierungsrate während der Verzögerungsperiode mehr Pipeline-Teilnehmer generiert.
Stichprobenumfang der ersten Stufe ( $n_1$ ): Eine Erhöhung von $n_1$ reduziert die Variabilität des neu geschätzten Stichprobenumfangs, erhöht jedoch den minimalen endgültigen Stichprobenumfang bei Vorliegen einer Verzögerung. Die Autoren stellen fest, dass ein Stichprobenumfang der ersten Stufe von 35 Teilnehmern pro Arm (insgesamt 70) ein Gleichgewicht zwischen der Gewinnung einer zuverlässigen Varianzschätzung und der Begrenzung der Schwere verzögerungsbedingter Überrekrutierung herstellt.

Bedeutung und Behauptungen
Die Autoren behaupten, dass SSR zwar ein leistungsfähiges Instrument ist, das Ignorieren von Ergebnisverzögerungen in der Planungsphase jedoch zu signifikanten Effizienzverlusten führen kann, die sich hauptsächlich als überdimensionierte Studien mit erhöhten Kosten manifestieren. Die Studie zeigt Folgendes auf:

Kontextabhängiger Einfluss: Die Schwere der Verzögerung ist nicht einheitlich; sie ist am schädlichsten, wenn die wahre Varianz niedriger ist als erwartet, was dazu führt, dass die Studie weniger Teilnehmer benötigt als ursprünglich geplant.
Innovation bei Kennzahlen: Die Einführung der Kennzahl „Kosten" und des „Verzögerungseinflusses" bietet ein differenzierteres Verständnis von Effizienzverlusten als traditionelle Kennzahlen und hebt insbesondere das Risiko einer Überrekrutierung hervor.
Praktische Leitlinien: Die Ergebnisse deuten darauf hin, dass für kontinuierliche Ergebnisdaten die Durchführung der Zwischenanalyse nach der Rekrutierung von 35 Teilnehmern pro Arm eine vernünftige Strategie ist. Dies stimmt mit früheren Empfehlungen für externe Pilotstudien (Teare et al.) überein, erweitert sie jedoch auf den Kontext verblindeter interner Pilot-SSR und balanciert die Notwendigkeit einer präzisen Varianzschätzung gegen das Risiko der Pipeline-Akkumulation aus.
Relative Robustheit: Die Autoren stellen fest, dass Verzögerungen zwar SSR beeinflussen, der Effekt jedoch weniger schwerwiegend ist als bei Designs, die ein frühes Stoppen auf Wirksamkeit oder Nutzlosigkeit erlauben (z. B. Simons zweistufiges Design oder gruppensequenzielle Designs).

Die Autoren schließen, dass sorgfältige Simulationsstudien, die spezifische Rekrutierungsmuster und Verzögerungslängen berücksichtigen, für die Planung von SSR-Studien unerlässlich sind, um potenzielle finanzielle und ressourcenbezogene Nachteile zu mindern. Sie schlagen keine neuen Algorithmen zur Handhabung von Verzögerungen vor, sondern liefern eine quantitative Bewertung des bestehenden „blinden" Ansatzes unter verzögerten Bedingungen.

Technische Zusammenfassung: Bewertung des Einflusses von Verzögerungen bei Ergebnissen auf die Effizienz der Neuberechnung des Stichprobenumfangs

Mehr davon