Evaluating the impact of outcome delay on the efficiency of sample size re-estimation

Technische Samenvatting: Evaluatie van de Impact van Uitkomstvertraging op de Efficiëntie van Herberekening van de Steekproefomvang

Probleemstelling
Herberekening van de steekproefomvang (SSR) is een veelgebruikt adaptief ontwerp dat bedoeld is om ervoor te zorgen dat klinische trials voldoen aan vooraf gespecificeerde power-eisen wanneer lastige parameters (bijvoorbeeld variantie, incidentieraten) onzeker zijn tijdens de planningsfase. Hoewel SSR-ontwerpen, met name geblindeerde "interne pilot"-types, flexibiliteit bieden, gaan ze doorgaans uit van de aanname dat behandelingsuitkomsten direct beschikbaar zijn na rekrutering van deelnemers. In de praktijk omvatten veel trials primaire eindpunten op lange termijn waarbij uitkomsten vertraagd zijn.

Deze vertraging creëert een "pijplijn"-effect: als de rekrutering doorgaat terwijl er wordt gewacht op tussentijdse uitkomstgegevens, kunnen een aanzienlijk aantal deelnemers worden gerekruteerd waarvan de uitkomsten nog niet beschikbaar zijn voor de tussentijdse analyse. Als de vertraging aanzienlijk is, kan de trial meer deelnemers rekruteren dan de herberekende steekproefomvang noodzakelijk acht. Dit leidt tot een trial met te hoge power, wat onnodige financiële kosten en verspilling van middelen met zich meebrengt. Omgekeerd leidt het opschorten van de rekrutering om uitkomsten af te wachten tot een verlenging van de trialduur. Eerdere literatuur heeft vastgesteld dat uitkomstvertragingen negatieve gevolgen hebben voor groepssequentiële en multi-stadia-ontwerpen, maar de specifieke efficiëntieverliezen voor SSR-ontwerpen, met name wat betreft de verdeling van de uiteindelijke steekproefomvang en de precisie van de herberekening, vereisten verder onderzoek.

Methodologie
De auteurs onderzoeken de impact van uitkomstvertraging op de efficiëntie van geblindeerde SSR-ontwerpen met behulp van een simulatiestudie. De studie richt zich op continue uitkomsten (normale verdeling) en wordt in aanvullend materiaal uitgebreid naar binaire uitkomsten.

• Ontwerprame: De studie gaat uit van een twee-stadia-ontwerp waarbij een tussentijdse analyse wordt uitgevoerd nadat $n_1$ deelnemers zijn gerekruteerd. De lastige parameter (variantie $\sigma^2$) wordt herberekend aan de hand van de gepoolde steekproefvariantie van de geblindeerde gegevens. De steekproefomvang wordt aangepast op basis van deze herberekening om een doelpower te bereiken.
• Modellering van Vertraging: De studie modelleert een vertragingstijd $m$ (tijdsenheden) die nodig is om primaire uitkomsten waar te nemen. De rekrutering wordt verondersteld gedurende deze periode door te gaan. Het aantal "pijplijn"-deelnemers ($n_{delay}$) dat tijdens de vertraging wordt gerekruteerd, wordt berekend onder twee rekruteringspatronen:
  1. Uniform: Constant rekruteringspercentage (Poisson-aankomst).
  2. Lineair: Het rekruteringspercentage neemt lineair toe in de tijd (simulatie van het openen van nieuwe locaties).
• Uiteindelijke Steekproefomvang ($N^*$): De uiteindelijke steekproefomvang wordt bepaald door de herberekende vereiste ($n^*$) en de pijplijn-deelnemers. Als $n^*$ groter is dan de pijplijn-accumulatie, dan is $N^* = n^*$. Als de pijplijn-accumulatie de herberekende behoefte overschrijdt, dan is $N^* = n_1 + n_{delay}$, wat resulteert in een trial met te veel gerekruteerde deelnemers.
• Scenario's: Simulaties werden uitgevoerd voor 10.000 replicaten over drie variantiescenario's ten opzichte van de initiële aanname ($\sigma^2_{init}$):
  • Geval I: De ware variantie is lager ($\sigma^2 = 8 < 10$), wat leidt tot een herberekende steekproefomvang die kleiner is dan gepland.
  • Geval II: De ware variantie komt overeen met de aanname ($\sigma^2 = 10 = 10$).
  • Geval III: De ware variantie is hoger ($\sigma^2 = 12 > 10$), wat leidt tot een herberekende steekproefomvang die groter is dan gepland.
• Efficiëntiemaatstaven: De auteurs stellen drie maatstaven voor en gebruiken deze om de impact van vertraging te kwantificeren:
  1. Vertragingseffect: Het aandeel trials waarbij de uiteindelijke steekproefomvang de herberekende vereiste overschrijdt als gevolg van pijplijn-deelnemers.
  2. Wortel-gemiddelde-kwadratenfout (RMSE): Meet de precisie van de uiteindelijke steekproefomvang ten opzichte van de "orakel"-steekproefomvang (de omvang die vereist zou zijn als de ware variantie vanaf het begin bekend was).
  3. Kosten: Een nieuwe maatstaf gedefinieerd als $E[(N^* - n_{oracle})^2 / 100 \times Power(N^*)]$. Dit straft trials met te lage power zwaarder af dan trials met te hoge power, wat de hogere consequentie weerspiegelt van het niet detecteren van een behandelings-effect in vergelijking met de kosten van overmatige rekrutering.

Belangrijkste Resultaten
De simulatieresultaten geven aan dat de impact van uitkomstvertraging sterk afhankelijk is van de relatie tussen de ware variantie en de aanvankelijk geplande steekproefomvang, evenals van het rekruteringspatroon.

• Verdeling van de Uiteindelijke Steekproefomvang: Naarmate de vertragingstijd ($m$) toeneemt, neemt de spreiding van de verdeling van de uiteindelijke steekproefomvang af omdat de minimum haalbare steekproefomvang stijgt (door de accumulatie van pijplijn-deelnemers).
• Geval I (Te veel gepland/Ware variantie lager): Dit scenario lijdt het meest onder vertraging. Omdat de herberekende steekproefomvang kleiner is dan het initiële plan, duwen de pijplijn-deelnemers de totale gerekruteerde teller vaak boven de vereiste $n^*$. Dit leidt tot een hoog "Vertragingseffect" (bijvoorbeeld ~80% voor een vertraging van 10 maanden onder uniform rekruteren) en resulteert in frequente trials met te hoge power. De RMSE- en Kosten-maatstaven nemen scherp toe met de vertraging.
• Geval III (Te weinig gepland/Ware variantie hoger): Dit scenario wordt het minst beïnvloed door vertraging. De herberekende steekproefomvang is groter dan het initiële plan, dus pijplijn-deelnemers dragen positief bij aan de vereiste totale omvang. Het vertragingseffect is minimaal, en in sommige gevallen (uniform rekruteren) kan het voortzetten van de rekrutering tijdens de vertraging zelfs de efficiëntie verbeteren ten opzichte van het opschorten van de rekrutering.
• Rekruteringspatronen: Lineaire rekruteringspatronen leiden over het algemeen tot hogere kosten en grotere vertragingseffecten in vergelijking met uniforme patronen, omdat het versnellende rekruteringspercentage meer pijplijn-deelnemers genereert tijdens de vertragingstijd.
• Steekproefomvang Eerste Stadium ($n_1$): Het vergroten van $n_1$ vermindert de variabiliteit van de herberekende steekproefomvang, maar verhoogt de minimum uiteindelijke steekproefomvang bij aanwezigheid van vertraging. De auteurs vinden dat een steekproefomvang van het eerste stadium van 35 deelnemers per arm (totaal 70) een balans biedt tussen het verkrijgen van een betrouwbare variantieschatting en het beperken van de ernst van vertraging-geïnduceerde overrekrutering.

Betekenis en Beweringen
Het artikel beweert dat SSR een krachtig hulpmiddel is, maar dat het negeren van uitkomstvertraging tijdens de planningsfase kan leiden tot aanzienlijke efficiëntieverliezen, die zich voornamelijk manifesteren als trials met te hoge power en geïnfleerde kosten. De studie toont aan dat:

1. Context-afhankelijk Effect: De ernst van de vertraging is niet uniform; deze is het meest schadelijk wanneer de ware variantie lager is dan verwacht, waardoor de trial minder deelnemers nodig heeft dan oorspronkelijk gepland.
2. Innovatie in Maatstaven: De introductie van de "Kosten"-maatstaf en het "Vertragingseffect" biedt een genuanceerder begrip van efficiëntieverlies dan traditionele maatstaven, en benadrukt specifiek het risico van overrekrutering.
3. Praktische Richtlijnen: De resultaten suggereren dat voor continue uitkomstgegevens het uitvoeren van de tussentijdse analyse na het rekruteren van 35 deelnemers per arm een redelijke strategie is. Dit sluit aan bij eerdere aanbevelingen voor externe pilots (Teare et al.), maar breidt deze uit naar de context van geblindeerde interne pilot-SSR, waarbij de behoefte aan precisie in variantieschatting in evenwicht wordt gebracht met het risico op pijplijn-accumulatie.
4. Relatieve Robuustheid: De auteurs merken op dat hoewel vertraging SSR beïnvloedt, het effect minder ernstig is dan bij ontwerpen die vroegtijdige stopzetting toestaan voor effectiviteit of futiliteit (bijvoorbeeld Simons twee-stadia-ontwerp of groepssequentiële ontwerpen).

De auteurs concluderen dat zorgvuldige simulatiestudies die rekening houden met specifieke rekruteringspatronen en vertragingstijden essentieel zijn voor het plannen van SSR-trials om potentiële financiële en resource-nadelen te mitigeren. Zij stellen geen nieuwe algoritmen voor om met vertraging om te gaan, maar bieden eerder een kwantitatieve beoordeling van de bestaande "blinde" aanpak onder vertraagde omstandigheden.