📊 epidemiology

BUDS: Benchmark Uncertainty Design Selection for Two-Stage Single-Arm Phase II Trials

Het artikel introduceert BUDS, een framework voor het selecteren van twee-fasen single-arm Fase II-trialontwerpen die rekening houdt met de onzekerheid van historische benchmarks door de efficiëntie te optimaliseren over een plausibele reeks uitkomsten, waardoor inflatie van de Type I-fout wordt voorkomen terwijl expliciete afwegingen worden geboden tussen robuustheid en steekproefgrootte-efficiëntie voor zowel binaire als time-to-event eindpunten.

Oorspronkelijke auteurs: Irlmeier, R., Jin, Z., Ye, F.

Gepubliceerd 2026-07-29

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Irlmeier, R., Jin, Z., Ye, F.

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een dief probeert te vangen, maar je weet niet precies hoe de dief eruitziet. Je hebt een schets, maar die is een beetje wazig. In de wereld van de medische wetenschap, specifiek in de vroege stadia van het testen van nieuwe medicijnen, spelen onderzoekers een vergelijkbaar spel. Ze willen weten of een nieuwe behandeling beter werkt dan de "oude manier" van doen. Om dit te doen, voeren ze zogenaamde "Fase II-trials" uit. Beschouw dit als de eerste serieuze auditie voor een nieuwe acteur. De onderzoekers vergelijken de prestaties van het nieuwe medicijn met een "historische benchmark" — een standaardgetal gebaseerd op hoe patiënten gewoonlijk reageren op de huidige beste behandeling. Het is alsof je zegt: "Als het nieuwe medicijn meer dan 10% van de mensen geneest, gaan we door; zo niet, dan stoppen we."

Het probleem is dat dat "10%" getal vaak een gok is. Het kan afkomstig zijn van een kleine studie, of de patiënten kunnen iets anders zijn, of de geneeskunde kan sinds de oude studie een beetje veranderd zijn. Als de onderzoekers het verkeerde getal voor hun benchmark kiezen, kunnen ze per ongeluk denken dat een nutteloos medicijn een held is, of kunnen ze een goed medicijn te vroeg weggooien. Dit artikel behandelt de lastige wiskunde van hoe je deze "medicijn-audities" ontwerpt wanneer je niet 100% zeker weet wat de "standaard" prestatie eigenlijk is. Het gaat over het bouwen van een vangnet zodat je, zelfs als je gok er een beetje naast zit, geen kostbare fout maakt.

De "BUDS"-oplossing: Ontwerpen voor het onbekende

Dit artikel introduceert een nieuw framework genaamd BUDS (Benchmark Uncertainty Design Selection). Beschouw BUDS als een slimme, voorzichtige architect die een brug ontwerpt. Normaal gesproken bereken je bij het bouwen van een brug de belasting op basis van één specifiek gewicht — zeg, een auto die precies 2.000 pond weegt. Je ontwerpt de brug om die auto perfect te dragen. Maar wat als de auto's die de brug oversteken in werkelijkheid ergens tussen de 1.800 en 2.200 pond kunnen wegen? Als je alleen ontwerpt voor 2.000, kan een zware vrachtwagen je brug doen breken.

De auteurs stellen dat traditionele ontwerpen voor medicijnproeven zoals die brug met één enkel gewicht zijn. Ze kiezen één specifific "benchmark" (zoals een genezingspercentage van 10%) en ontwerpen de hele studie daaromheen. Het artikel laat zien dat als de werkelijke benchmark in werkelijkheid hoger is (bijvoorbeeld 15%), deze traditionele ontwerpen spectaculair kunnen falen. Ze kunnen een medicijn als een succes verklaren terwijl het eigenlijk een mislukking is. In hun simulaties vonden de auteurs dat wanneer de werkelijke benchmark slechts een beetje hoger was dan gepland, de foutmarge voor een populair ontwerp genaamd "Simon Optimal" omhoog schoot naar 0,407 (dat is een kans van 40,7% op een vals alarm!) in plaats van de beoogde 10%.

Om dit op te lossen, stelt BUDS voor om het "spel van de enkele gok" te stoppen. In plaats van één getal te kiezen, zouden onderzoekers een plausibele reeks moeten definiëren van wat de benchmark zou kunnen zijn (bijvoorbeeld: "Het genezingspercentage ligt waarschijnlijk tussen de 5% en 15%"). BUDS ontwerpt de trial vervolgens om veilig te werken binnen die gehele reeks.

Hoe BUDS werkt: De "Worst-Case" en "Average" strategieën

Het artikel stelt twee belangrijke manieren voor om de beste trial-ontwerpen te kiezen uit de vele opties die binnen dit nieuwe, bredere veiligheidsnet passen:

BUDS-Worst-Regret: Dit is de "paranoïde" strategie. Het vraagt: "Wat is het slechtste scenario binnen ons bereik, en hoeveel extra werk (patiënten) zouden we nodig hebben om dat specifieke slechtste geval op te vangen?" Het kiest vervolgens het ontwerp dat de maximale teleurstelling of "spijt" minimaliseert als het slechtste scenario de werkelijkheid blijkt te zijn. Het is als inpakken voor een reis waarbij je misschien een zware jas, een lichte jas of helemaal niets nodig hebt. Je kiest de outfit die je comfortabel houdt, zelfs als je in het koudste weer eindigt, ook al ben je daardoor iets te warm gekleed voor een zonnige dag.
BUDS-Avg-EN: Dit is de "gemiddelde" strategie. Het kijkt naar het hele spectrum aan mogelijkheden en kiest het ontwerp dat gemiddeld genomen de minste patiënten gebruikt. Het is als inpakken voor een reis waarbij je een mix van weer verwacht en gewoon over het algemeen efficiënt wilt zijn, zelfs als je op één specifieke dag een beetje het koud zou kunnen hebben.

Wat de simulaties lieten zien

De auteurs hebben duizenden computersimulaties uitgevoerd om te zien hoe deze nieuwe ontwerpen zich verhouden tot de oude. Dit is wat zij vonden:

Veiligheid eerst: De belangrijkste bevinding is dat BUDS-ontwerpen de "vals alarm"-rate (Type I-fout) onder controle houden, ongeacht waar de werkelijke benchmark zich binnen het bereik bevindt. Of de benchmark nu aan de lage kant of de hoge kant van de schatting ligt, de trial zal niet per ongelanje een slecht medicijn als winnaar verklaren. In tegenstelling hiermee zagen de oude ontwerpen met één benchmark hun foutmarges exploderen wanneer de werkelijke benchmark hoger was dan verwacht.
De prijs van veiligheid: Er is een afweging. Om veilig te zijn over een breed bereik aan mogelijkheden, vereisen BUDS-ontwerpen soms meer patiënten dan de oude ontwerpen. Bijvoorbeeld, in een scenario waar de benchmark onzeker was, had een traditioneel ontwerp maximaal 37 patiënten nodig. Het BUDS-ontwerp, om veilig te zijn tegen het slechtste scenario, heeft misschien wel 54 of zelfs 72 patiënten nodig. Het artikel merkt op dat deze extra inschrijving de prijs is voor het niet maken van een fout. Het is beter om een paar extra mensen te testen dan miljoenen te verspillen aan een Fase III-studie voor een medicijn dat niet werkt.
Praktijkvoorbeelden: De auteurs testten hun ideeën op real-world scenario's, zoals een trial voor glioblastoom (een type hersenkanker). Ze keken naar een trial die een benchmark van 0,10 (10%) gebruikte. Wanneer zij BUDS toepasten met een realistische reeks van 0,05 tot 0,13, zou het oude ontwerp een vals alarm-rate van meer dan 0,25 (25%) hebben gehad. Het BUDS-ontwerp hield de foutmarge onder de 0,093 (9,3%), maar vereiste een maximale steekproefomvang van 89 patiënten in plaats van de oorspronkelijke 50.

De kern van de zaak

Het artikel concludeert dat BUDS een transparante manier biedt om de onzekerheid van de medische geschiedenis aan te pakken. Het laat de onzekerheid niet magisch verdwijnen; in plaats daarvan dwingt het onderzoekers om toe te geven: "We weten het niet 100% zeker, dus laten we plannen voor een bereik." Door dit te doen, maakt het de afweging tussen efficiëntie (minder patiënten gebruiken) en robuustheid (voorkomen van vals positieven) expliciet. De auteurs hebben zelfs een gratis computertool gebouwd (een R-pakket en een Shiny-app) zodat andere wetenschappers deze methode kunnen gebruiken om hun eigen trials te ontwerpen.

Kortom, BUDS suggereert dat het in het hoogst inzetbare spel van medicijntesten slimmer is om een brug te ontwerpen die een reeks gewichten kan dragen, dan te gokken op één perfecte schatting. Het artikel beweert niet dat dit het laatste woord is over alle medische trials, maar het biedt een solide, wiskundig onderbouwde manier om te stoppen met gokken en te beginnen met plannen voor het onbekende.

Technische Samenvatting: Benchmark Uncertainty Design Selection (BUDS) voor Two-Stage Single-Arm Fase II Trials

Probleemstelling
Single-arm fase II klinische trials, met name in de oncologie, vertrouwen vaak op two-stage designs (bijv. Simon's design voor binaire eindpunten of het Kwak en Jung/r-KJ framework voor time-to-event eindpunten) om experimentele therapieën te screenen tegen een historische controle-benchmark. Deze designs worden traditioneel gekalibreerd met behulp van een enkele, vaste planning-benchmark ( $\theta_0$ ).

In de praktijk zijn historische benchmarks echter vaak onzeker vanwege kleine steekproefomvang in eerdere studies, populatieheterogeniteit, veranderende criteria voor deelname of evoluerende standaarden van zorg.

De paper identificeert een kritieke kwetsbaarheid in de huidige praktijk: wanneer de werkelijke historische benchmark hoger is dan de waarde die voor de kalibratie van het design is gebruikt, kan de Type I-foutratio aanzienlijk worden opgeblazen. Deze inflatie verhoogt het risico op het doorzetten van ineffectieve behandelingen naar kostbare fase III-trials. Bestaande criteria voor design-selectie optimaliseren doorgaans de efficiëntie (bijv. het minimaliseren van de verwachte steekproefomvang) bij een enkel benchmarkpunt, zonder rekening te houden met deze onzekerheid, waardoor ze statistisch valide zijn bij slechts het specifieke kalibratiepunt, maar potentieel ongeldig over het gehele bereik van plausibele historische waarden.

Methodologie
De auteurs stellen Benchmark Uncertainty Design Selection (BUDS) voor, een framework dat expliciet een vooraf gespecificeerd, klinisch plausibel bereik van benchmarkwaarden ( $\theta_{0L}, \theta_{0U}$ ) incorporeert in het design-selectieproces.

Definitie van het framework: In plaats van een design te selecteren op basis van een enkele $\theta_0$ , vereist BUDS dat kandidaat-designs voldoen aan Type I-fout ( $\alpha$ ) en Type II-fout ( $\beta$ ) restricties over het gehele benchmarkbereik. Vanwege de monotoniciteit van Type I-foutratio's met betrekking tot de benchmarkparameter, demonstreren de auteurs dat het afdwingen van de Type I-foutrestrictie bij de bovengrens van het bereik ( $\theta_{0U}$ ) voldoende is om de fout over het gehele interval te controleren.
Doelfuncties: Binnen de verzameling haalbare designs die voldoen aan de foutrestricties over het bereik, introduceert BUDS twee robuuste optimalisatie-objectieven:
1. BUDS-Worst-Regret: Minimaliseert de maximale "regret" over het benchmarkbereik. Regret wordt gedefinieerd als het verschil tussen de verwachte steekproefomvang (ESS) van een kandidaat-design en de ESS van het lokaal optimale design (het design dat zou worden gekozen als de ware benchmark bekend zou zijn) op elk specifiek punt in het bereik. Deze aanpak beschermt tegen het slechtst denkbare verlies aan efficiëntie.
2. BUDS-Avg-EN: Minimaliseert de gemiddelde verwachte steekproefomvang over het benchmarkbereik, waarbij de voorkeur wordt gegeven aan designs die gemiddeld efficiënt zijn.
Algoritme: De auteurs bieden computationeel efficiënte zoekalgoritmen om optimale designs te identificeren. Voor binaire eindpunten wordt de methode gebruikt door alle mogelijke twee-fase configuraties uitputtend te enumereren. Voor time-to-event (TTE) eindpunten wordt een "zoom" zoekprocedure gebruikt op basis van het restricted-Kwak en Jung (r-KJ) framework. De implementatie is beschikbaar via een open-source R-package (BUDS) en een interactieve Shiny-applicatie.

Belangrijkste Resultaten
De paper evalueert BUDS tegenover klassieke single-benchmark designs (Simon Optimal/Minimax en r-KJ) in representatieve binaire en TTE-scenario's met variërende mate van benchmarkonzekerheid.

Robuustheid tegen misspecificatie: Onder aanzienlijke benchmarkonzekerheid vertonen single-benchmark designs een ernstige inflatie van de Type I-fout. Bijvoorbeeld, een Simon Optimal design gekalibreerd op een responspercentage van 0,10 (met $\alpha=0,10$ ) bereikte een Type I-foutratio van 0,407 wanneer de werkelijke benchmark 0,15 was. Op dezelfde manier zag een r-KJ design gekalibreerd op een 6-maands overlevingskans van 0,50 (met $\alpha=0,05$ ) zijn foutratio naar ongeveer 0,17 stijgen toen de werkelijke overleving 0,67 was. In contrast hiermee behielden door BUDS geselecteerde designs de Type I-foutratio op of onder het nominale niveau over het gehele benchmarkbereik.
Efficiëntie-trade-offs: Het bereiken van robuustheid vereist extra informatie. Naarmate het benchmarkbereik breder wordt, vereisen door BUDS geselecteerde designs grotere maximale steekproefomvang vergeleken met designs die op één enkel punt zijn gekalibreerd. De paper merkt echter op dat BUDS-Worst-Regret designs vaak lagere gemiddelde verwachte steekproefomvang bereiken over het bereik dan de "Minimax" single-benchmark designs, en kleinere eerste-fase steekproefomvang dan zowel de Simon Optimal als de Minimax designs.
Praktische Toepassing: Het toepassen van BUDS op settings voor trials met recidiverend glioblastoom (zowel binaire respons als 6-maands progressievrije overleving) toonde aan dat zelfs bescheiden onzekerheidsbereiken (bijv. 0,05 tot 0,13 voor responspercentages) aanpassingen aan het design noodzakelijk maken. Door BUDS geselecteerde designs controleerden de Type I-fout over deze bereiken, terwijl klassieke designs faalden, waarbij ze vaak slechts een bescheiden toename in steekproefomvang vereisten (bijv. 6 extra patiënten in één TTE-scenario) om robuustheid te bereiken.

Betekenis en Claims
De paper positioneert BUDS als een transparant framework voor trial-planning dat de trade-off tussen robuustheid en efficiëntie expliciet maakt. De primaire betekenis ligt in:

Foutcontrole: Het waarborgt Type I-foutcontrole over een plausibel bereik van historische benchmarks in plaats van bij een enkel, potentieel niet-representatief punt, waardoor het risico op het doorzetten van ineffectieve therapieën door benchmarkmisspecificatie wordt verminderd.
Beslissingstransparantie: Door het vereisen van een specificatie van een benchmarkbereik, dwingt het framework een gestructureerde discussie over onzekerheid af tijdens de protocolontwikkeling, wat bijdraagt aan meer verdedigbare go/no-go beslissingen.
Praktisch Nut: Het framework is toepasbaar op zowel binaire als time-to-event eindpunten, terwijl de operationele eenvoud van klassieke two-stage designs behouden blijft. De beschikbaarheid van het BUDS R-package en de Shiny app vergemakkelijkt directe adoptie door onderzoekers.

De auteurs concluderen dat hoewel BUDS de inherente beperkingen van single-arm studies niet wegneemt, het wel een rationele strategie biedt om de downstream risico's van fout-positieven in fase III-trials te mitigeren door robuustheid te behandelen als een expliciet planningscriterium in plaats van een post hoc overweging.

De "BUDS"-oplossing: Ontwerpen voor het onbekende

Hoe BUDS werkt: De "Worst-Case" en "Average" strategieën

Wat de simulaties lieten zien

De kern van de zaak

Meer zoals dit