Stabilizing Thompson Sampling with Null Hypothesis Bayesian Response-Adaptive Randomization

Dit paper introduceert een nieuwe respons-adaptieve randomisatiemethode die Thompson Sampling stabiliseert door middel van Bayesiaanse hypothese-toetsing, waardoor een evenwicht wordt gevonden tussen dynamische toewijzing aan effectieve behandelingen en de statistische betrouwbaarheid van traditionele gelijke randomisatie.

De kern

Titel: De Slimme Gokker: Hoe een Nieuwe Wiskundige Methode Patiënten Beter Helpt in Medische Proeven

Stel je voor dat je een grote medische proef organiseert om te ontdekken welke van twee medicijnen het beste werkt. Je hebt een Controle-groep (een oud, bekend medicijn of een placebo) en een Nieuw Medicijn.

Traditioneel doe je dit door patiënten willekeurig te verdelen: 50% krijgt het oude, 50% het nieuwe. Dit is eerlijk, maar het is ook een beetje dom als je al weet dat het nieuwe medicijn waarschijnlijk beter werkt. Je wilt dan liever dat meer mensen het nieuwe medicijn krijgen.

Hier komt Thompson Sampling (een populaire, slimme methode) om de hoek kijken.

Het Probleem: De "Gierige" Gokker

Thompson Sampling werkt als een gierige gokker. Zodra het nieuwe medicijn ook maar een klein beetje beter lijkt te werken, schuift de methode de kans om dat medicijn te krijgen direct naar 90% of 95%.

• Het goede: Veel patiënten krijgen het beste medicijn.
• Het slechte: De methode is extreem onstabiel. Soms denkt hij dat het nieuwe medicijn superieur is, terwijl het eigenlijk net zo goed is als het oude. Dan blijft hij 90% van de mensen het nieuwe medicijn geven, terwijl je eigenlijk nog meer bewijs nodig had. Dit kan leiden tot verkeerde conclusies aan het einde van de studie. Het is alsof je een gokker bent die na één winnende hand al zijn hele spaarrekening inzet.

De Oplossing: De "Nul-Hypothese" als Rem

De auteurs van dit paper (Samuel Pawel en Leonhard Held) hebben een slimme oplossing bedacht: Null Hypothesis Bayesian RAR.

In plaats van alleen te kijken naar "Welk medicijn wint?", vragen ze eerst: "Is er überhaupt een verschil?"

Ze introduceren een nieuwe regel in het spel:

1. Hypothese A: Het nieuwe medicijn is beter.
2. Hypothese B: Het nieuwe medicijn is slechter.
3. Hypothese C (De Nul-Hypothese): Er is geen verschil. Ze werken even goed.

De methode gebruikt een wiskundige "rem" (een shrinkage). Als de data nog niet 100% zeker is, zegt de methode: "Oké, we weten het nog niet zeker. Laten we voorlopig even 50/50 doen, net als bij de oude methode."

Hoe meer je twijfelt, hoe dichter de methode bij de veilige 50/50-verdeling blijft. Pas als het bewijs echt overweldigend is, schuift de methode pas echt naar de "gierige" kant.

De Creatieve Analogieën

1. De Weerballon en de Vlieger
Stel je voor dat je een vlieger wilt laten vliegen (het nieuwe medicijn).

• Thompson Sampling is als iemand die zodra er een klein briesje waait, de vlieger direct loslaat en hoopt dat hij de stratosfeer haalt. Als de wind opeens stopt, valt de vlieger neer en heb je je tijd verspild.
• De Nieuwe Methode is als een ervaren vlieger die eerst zegt: "Is het windstatisch? Laten we eerst even wachten en kijken of de wind echt aanhoudt." Als de wind (het bewijs) zwak is, houden we de vlieger stevig vast (50/50 verdeling). Als de wind echt krachtig wordt, laten we pas los.

2. De Weegschaal met een Veer
Stel je een weegschaal voor.

• Bij de oude methode duwt elke kleine steen (een patiënt die geneest) de schaal direct naar één kant.
• Bij de nieuwe methode zit er een veer in het midden van de weegschaal. Deze veer trekt de schaal altijd terug naar het midden (50/50). Je moet pas heel veel steen (sterk bewijs) toevoegen om de veer te overwinnen en de schaal echt naar één kant te duwen. Dit voorkomt dat de weegschaal door een enkele trilling (een toevallige winst) volledig kantelt.

3. De "Spook" in de Kamer
De auteurs noemen dit een "spike-and-slab" prior. Stel je voor dat je in een kamer staat met drie deuren:

• Deur 1: Nieuw medicijn wint.
• Deur 2: Oud medicijn wint.
• Deur 3: Het Spook (Geen verschil).

Zolang je niet zeker weet welk medicijn wint, blijft het "Spook" (Deur 3) een grote kans hebben. Omdat het Spook zegt "er is geen verschil", zorgt het ervoor dat je de deuren 1 en 2 niet te snel kiest. Je blijft rustig en veilig. Pas als het Spook verdwijnt (omdat het bewijs te sterk is), kies je snel de beste deur.

Waarom is dit belangrijk?

1. Ethisch: Het voorkomt dat patiënten onnodig een slechter medicijn krijgen als de methode per ongeluk denkt dat het nieuwe medicijn beter is.
2. Wiskundig: Het voorkomt dat de studie aan het einde verkeerde conclusies trekt (zoals denken dat een medicijn werkt terwijl het dat niet doet).
3. Flexibel: De onderzoekers kunnen zelf kiezen hoe "zorgzaam" ze willen zijn.
   • Kies je voor veiligheid? Zet de "rem" (de kans op het Spook) hoog. Dan blijft het 50/50 tot het bewijs heel sterk is.
   • Kies je voor risico? Zet de rem laag. Dan gedraagt het zich meer als de snelle, gierige gokker.

De Praktijk: Het ECMO-voorbeeld

In het paper kijken ze naar een echte historische proef met ECMO (een hart-longmachine voor pasgeborenen). De oude methode (een soort "winnaar blijft") gaf na twee patiënten al 100% van de nieuwe patiënten het ECMO-medicijn, omdat de eerste twee goed waren verlopen.
De nieuwe methode zou hier meer voorzichtigheid hebben betracht. Het zou zeggen: "Twee patiënten is nog te weinig om zeker te zijn. Laten we nog even 50/50 doen tot we meer zekerheid hebben." Dit maakt de studie betrouwbaarder.

Conclusie

Deze paper introduceert een manier om slimme, adaptieve medische proeven te doen die niet te snel in paniek raken. Het is alsof je een autopilot installeert die niet alleen kijkt naar "wie wint", maar ook vraagt: "Zijn we er echt zeker van?" Als het antwoord "misschien" is, blijft het systeem veilig en eerlijk (50/50). Als het antwoord "ja" is, dan pas schakelt het over naar het beste medicijn.

Dit maakt medisch onderzoek niet alleen sneller, maar vooral ook slimmer en veiliger voor de patiënten.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Stabilizing Thompson Sampling with Null Hypothesis Bayesian Response-Adaptive Randomization" in het Nederlands.

1. Het Probleem

Response-Adaptive Randomization (RAR) is een methode in klinische trials waarbij de toewijzing van patiënten aan behandelingen dynamisch wordt aangepast op basis van oplopende data. Het doel is om meer patiënten toe te wijzen aan effectievere behandelingen. Een populaire aanpak is Thompson Sampling, waarbij patiënten worden gerandomiseerd evenredig aan de Bayesiaanse posterior-kans dat een behandeling de meest effectieve is.

Hoewel Thompson Sampling ethisch aantrekkelijk is (meer patiënten krijgen de beste behandeling), heeft het ernstige nadelen:

• Hoge variabiliteit: De randomisatiekansen kunnen extreem worden (bijna 0% of 100%), wat leidt tot een verhoogd risico dat patiënten toch aan inferieure behandelingen worden toegewezen, vooral bij kleine behandelingseffecten.
• Inferentiële problemen: Het kan leiden tot vertekende schattingen van behandelingseffecten, onderdekking van betrouwbaarheidsintervallen (confidence intervals) en geinflatieerde type I-fouten.
• Ad-hoc oplossingen: Bestaande correcties (zoals "burn-in" periodes, het "cappen" van kansen, of machts-transformaties) zijn vaak willekeurig en staan haaks op de principes van coherent Bayesiaans leren (bijv. een gecapte posterior is geen echte posterior meer).

2. Methodologie: Null Hypothesis Bayesian RAR

De auteurs stellen een nieuwe, principieel Bayesiaanse methode voor die de variabiliteit van Thompson Sampling stabiliseert zonder de coherentie te verliezen. De kern van de methode is het introduceren van een nulhypothese ($H_0$) die stelt dat alle behandelingen even effectief zijn.

Het Kader:
In plaats van alleen te kijken naar de kans dat een behandeling beter is, worden drie hypotheses overwogen:

• $H_-$: De behandeling is minder effectief dan de controle.
• $H_0$: De behandeling en controle zijn even effectief.
• $H_+$: De behandeling is effectiever dan de controle.

De Randomisatieformule:
De kans ($\pi$) om een patiënt toe te wijzen aan de behandeling wordt berekend als een Bayesiaanse gemiddelde van de kansen onder deze hypotheses:
$$\pi = \text{Pr}(H_+ | y) + \frac{1}{2}\text{Pr}(H_0 | y)$$
Hierbij is $y$ de geobserveerde data.

• Als $H_+$ waar is, wordt de patiënt naar de behandeling gestuurd (kans 100%).
• Als $H_-$ waar is, wordt de patiënt naar de controle gestuurd (kans 0%).
• Als $H_0$ waar is (geen verschil), is het logisch om te randomiseren met 50/50.

De Rol van de Prior:
De methode gebruikt een spike-and-slab prior voor het behandelingseffect. De prior-kans op de nulhypothese, $\text{Pr}(H_0)$, fungeert als een afstemparameter (tuning parameter):

• $\text{Pr}(H_0) = 0$: De methode reduceert tot standaard Thompson Sampling (geen shrinkage).
• $\text{Pr}(H_0) = 1$: De methode reduceert tot statische gelijke randomisatie (altijd 50/50).
• $0 < \text{Pr}(H_0) < 1$: De methode interpolatieert coherent tussen beide uitersten. Hoe hoger$\text{Pr}(H_0)$, hoe meer de randomisatiekansen "schrinken" (shrink) naar 50%, wat de variabiliteit reduceert.

Uitbreidingen:

• Meerdere behandelingen: De methode is uitgebreid naar $K$ behandelingsgroepen met hypotheses waarbij één behandeling de beste is, alle behandelingen gelijk zijn, of alle slechter zijn.
• Data-types: De methode is geïmplementeerd voor zowel normale uitkomsten (via log-odds ratios of gemiddelde verschillen) als binomiale uitkomsten (succes/falen), waarbij exacte berekeningen mogelijk zijn zonder benaderingen.

3. Belangrijkste Bijdragen

1. Principieel Alternatief: De auteurs bieden een coherent Bayesiaans alternatief voor de vaak gebruikte, maar willekeurige, "ad-hoc" modificaties van Thompson Sampling.
2. Stabilisatie: De methode lost het probleem van extreme randomisatiekansen op door de shrinkage naar gelijke randomisatie te sturen via de prior-kans op de nulhypothese.
3. Software-implementatie: De methode is beschikbaar gesteld in het open-source R-pakket brar, wat onderzoekers in staat stelt de methode eenvoudig toe te passen.
4. Asymptotisch Gedrag: In tegenstelling tot Thompson Sampling (dat onder $H_0$ blijft "wandelende" kansen vertoont), convergeert deze methode onder $H_0$ naar de gewenste basisrandomisatie (bijv. 50%), wat inferentiële eigenschappen verbetert.

4. Resultaten

De auteurs hebben de methode getest via een reeks simulaties en een re-analyse van de historische ECMO-trial.

• Simulatiestudie:

  • De methode met een $\text{Pr}(H_0)$ van ongeveer 0.75 vertoonde vergelijkbare statistische eigenschappen als Thompson Sampling met "capping" (kansen begrensd tussen 10% en 90%) en machts-transformaties.
  • Patient Benefit: De methode behield een hoger succespercentage dan gelijke randomisatie, maar was iets lager dan ongemodificeerd Thompson Sampling.
  • Inferentiële Kwaliteit: De methode verbeterde aanzienlijk de dekking van betrouwbaarheidsintervallen, verminderde de bias in effect-schattingen en verlaagde de type I-fouten in vergelijking met standaard Thompson Sampling.
  • Imbalans: De methode verminderde de kans op grote onbalans in steekproefgrootte ten gunste van de inferieure behandeling.

• ECMO Trial Re-analyse:

  • Bij de toepassing op de beroemde ECMO-trial (waarbij de randomisatie na twee patiënten extreem werd) toonde de nieuwe methode aan dat de randomisatiekansen minder snel naar 100% zouden zijn gedreven dan bij de originele "play-the-winner" methode of standaard Thompson Sampling, afhankelijk van de gekozen $\text{Pr}(H_0)$. Dit illustreert hoe de methode ethische dilemma's kan mitigeren door minder extreme toewijzingen bij twijfel.

5. Betekenis en Conclusie

De paper introduceert een elegante oplossing voor het fundamentele dilemma in adaptieve trials: het vinden van een balans tussen het ethisch wenselijke (patiënten naar de beste behandeling sturen) en het statistisch noodzakelijke (betrouwbare inferentie behouden).

• Ethische Implicatie: Door de variabiliteit te stabiliseren, wordt het risico verkleind dat patiënten in de vroege fasen van een trial (waar data nog schaars is) per ongeluk aan een slechte behandeling worden toegewezen.
• Statistische Zuiverheid: Het behoudt de coherentie van Bayesiaans leren, in tegenstelling tot eerdere methoden die posterior-kansen willekeurig aanpaste.
• Praktische Toepasbaarheid: De beschikbaarheid van het brar-pakket maakt het voor onderzoekers mogelijk om deze geavanceerde methode direct toe te passen in het ontwerp van klinische trials, met name in situaties waar effecten klein zijn of waar ethische bezwaren tegen extreme randomisatie bestaan.

Kortom, de "Null Hypothesis Bayesian RAR" biedt een robuust, theoretisch onderbouwd kader dat de nadelen van Thompson Sampling oplost terwijl de voordelen behouden blijven.