Technische Samenvatting: Precisie en Besluitvaardigheid als Doelen in Sequentiële Hypothesetoetsing

1. Probleemstelling

Sequentiële hypothesetoetsing biedt flexibiliteit ten opzichte van ontwerpen met een vaste steekproefomvang door de mogelijkheid om data te evalueren terwijl deze zich verzamelt. Er bestaat echter een kritieke spanning tussen stopregels (wanneer te stoppen met het verzamelen van data) en besluitcriteria (hoe de data te interpreteren).

• Het Koppelingsprobleem: Veelgebruikte methoden, zoals het HDI+ROPE-algoritme (Kruschke, 2011, 2013, 2015), koppelen de stopregel direct aan het besluitcriterium. Het algoritme stopt zodra het posterieure Highest Density Interval (HDI) volledig buiten of volledig binnen een Region of Practical Equivalence (ROPE) valt. Hoewel dit een positieve acceptatie van de nulhypothese mogelijk maakt (in tegenstelling tot Null Hypothesis Significance Testing), brengt dit het risico op bevestigingsvooroordeel (confirmation bias) met zich mee door "vroegtijdig pieken" (early peeking). Een breed HDI op een niet-representatieve vroege steekproef kan aan het besluitcriterium voldoen voordat het tijd is, wat een systematische fout-positieve kost met zich meebrengt.
• Het Ontkoppelingsprobleem: Om bias te elimineren, gebruikt de "Precision is the Goal" (PitG) methode (Kruschke, 2015) een methode die de stopregel loskoppelt van het besluit. Het stopt pas wanneer een doelstelling voor posterieure precisie (HDI-breedte, $\omega_{goal}$) is bereikt, ongeacht de uitkomst van de hypothese. Hoewel dit de bias door vroegtijdig pieken elimineert, introduceert het een nieuwe foutmodus: wanneer de nulhypothese waar is (of praktisch gezien zo is), levert PitG vaak onbesliste resultaten op (het HDI overspant de ROPE) in plaats van de nulhypothese correct te accepteren. Deze hoge mate van onbeslisbaarheid beperkt de bruikbaarheid in vakgebieden die een rigoureuze bevestiging van de nul vereisen, zoals bio-equivalentieonderzoeken of software regressietesten.

Het artikel identificeert een gat: er is een methode nodig die de biasvrije eigenschappen van precisie-gebaseerde stopregels behoudt, terwijl het tegelijkertijd zorgt voor een hoog percentage besluitvaardige uitkomsten, met name wanneer de nul waar is.

2. Methodologie

De auteur stelt een nieuw algoritme voor, "Decisive Precision is the Goal" (DPitG), dat het PitG-framework wijzigt door te eisen dat twee voorwaarden gelijktijdig worden vervuld voordat er wordt gestopt:

1. Precisievoorwaarde: De breedte van het posterieure HDI ($\omega_{HDI}$) moet kleiner dan of gelijk zijn aan een vooraf gespecificeerd doel ($\omega_{goal}$).
2. Besluitvaardigheidsvoorwaarde: Het HDI moet volledig binnen (Accepteer) of volledig buiten (Verwerp) de ROPE liggen.

Kerncomponenten

• Gedeeld Beslisregel: Alle drie de algoritmen (HDI+ROPE, PitG, DPitG) gebruiken een identieke beslisregel gebaseerd op de relatie tussen de 95% HDI en de grenzen van de ROPE:
  • Accepteer Nul: HDI $\subset$ ROPE.
  • Verwerp Nul: HDI $\cap$ ROPE = $\emptyset$.
  • Onbeslist: HDI overspant de ROPE.
• Verschillen in Stopcriteria:
  • HDI+ROAP: Stopt onmiddellijk bij een besluitvorming (gekoppeld).
  • PitG: Stopt onmiddellijk bij het bereiken van $\omega_{goal}$ (ontkoppeld), waarna de beslissing wordt gecontroleerd.
  • DPitG: Gaat door met samplen totdat zowel $\omega_{HDI} \le \omega_{goal}$ als een besluitvaardige beslissing mogelijk is.

Theoretisch Kader

Het artikel leidt een gesloten vorm planningformule af voor de verwachte steekproefomvang ($N_{goal}$) die nodig is om een precisiedoel te bereiken onder een normale benadering (Centrale Limietstelling):
$$N_{goal} \propto \frac{V}{\omega_{goal}^2}$$
waarbij $V$ de variantie van de observaties is. Voor een Bernoulli-parameter $\theta$ geldt $V \propto \theta(1-\theta)$. Deze formule stelt onderzoekers in staat om de minimale budgettaire ruimte vooraf te specificeren die nodig is om een gewenste precisie te bereiken, wat dient als een conservatieve bovengrens wanneer $\theta_{null} = 0.5$.

Experimenteel Ontwerp

De methoden werden geëvalueerd met behulp van synthetische datasimulaties gebaseerd op Bernoulli-proeven (single-group binaire data):

• Schaal: $M = 5.000$ onafhankelijke sequenties van maximaal $N_{max} = 1.500$ proeven.
• Parameters: $\theta_{null} = 0.5$, ROPE = $[0.45, 0.55]$ ($\Delta_{ROPE} = 0.1$), en $\omega_{goal} = 0.08$.
• Scenario's: Getest over een reeks ware parameters ($\theta_{true}$) van 0.5 tot 0.8, inclus inclusief het "fair coin" geval waarbij $\theta_{true} = \theta_{null}$.

3. Belangrijkste Resultaten

De simulaties tonen aan dat DPitG succesvol de afweging tussen bias, besluitvaardigheid en samplingskosten beheert.

Prestaties in het "Fair Coin" geval ($\theta_{true} = 0.5$)

• HDI+ROPE: Bereikte een hoge besluitvaardigheidsgraad (98,2%) maar incorporeerde een fout-positieve ratio van 6,3% (onjuiste verwerping van de nul).
• PitG: Bereikte nul fout-positieven maar leed onder een onbeslisbaarheidsratio van 62,1%, waardoor het in de meerderheid van de gevallen waar de nul waar was, geen oordeel kon vellen.
• DPitG: Bereikte een besluitvaardigheidsratio van 97,8% met nul fout-positieven in het fair coin scenario.
  • Kosten: De mediane samplingskosten voor DPitG waren slechts 4,7% hoger dan die van PitG.
  • Efficiëntie: Terwijl PitG exact stopt bij $N_{goal}$, stopt DPitG bij $N_{goal}$ voor een aanzienlijk deel van de experimenten (die waar precisie en besluitvaardigheid vroegtijdig samenvallen), maar verlengt het de sampling alleen wanneer dat nodig is om onbesliste staten op te lossen.

Gevoeligheid en Algemene Trends

• Robuustheid t.o.v. $\omega_{goal}$: Naarmate het precisiedoel $\omega_{goal}$ strenger of ruimer werd gesteld, varieerde de besluitvaardigheidsratio van PitG enorm (dalend naar 0% bij $\omega_{goal} = 0.10$), terwijl DPitG een hoge besluitvaardigheidsratio (>97%) behield over het gehele bereik.
• Bias: Het HDI+ROPE-algoritme vertoonde een significante schattingsbias ($\hat{\theta}$) omdat het kon stoppen op scheve, laag-precieze steekproeven. Zowel PitG als DPitG behielden een bijna-nul geaggregeerde bias over alle $\theta_{true}$ waarden. Het artikel merkt echter op dat hoewel het geaggregeerde verschil verwaarloosbaar is, er enige bias ontstaat wanneer de symmetrie wordt doorbroken (bijv. wanneer $\theta_{true} \neq 0.5$), en binnen de ROPE vertoont PitG een iets hogere bias dan DPitG voor besluitvaardige experimenten, terwijl het patroon voor onbesliste experimenten omdraait.
• Generaliseerbaarheid: De voordelen van DPitG ten opzichte van PitG (hogere besluitvaardigheid met verwaarloosbare extra kosten) bleven bestaan naarmate $\theta_{true}$ zich van de nul bewoog, en het framework is uitbreidbaar naar continue uitkomsten en vergelijkingen tussen twee groepen.

4. Belangrijkste Bijdragen

1. Voorgesteld Algoritme (DPitG): Een nieuwe sequentiële stopregel die een dubbele criterium (precisie + besluitvaardigheid) afdwingt om de hoge onbeslisbaarheidsratio van PitG te elimineren, terwijl de bijna-nul bias-eigenschappen behouden blijven.
2. Gesloten Vorm Planningformule: Een afleiding van $N_{goal} \propto V/\omega_{goal}^2$, die onderzoekers een methode biedt om de benodigde steekproefomvang voor een gegeven precisiedoel vooraf te berekenen, wat compatibel is met pre-registratie.
3. Empirische Validatie: Uitgebreide simulatiebewijzen die aantonen dat DPitG in het fair coin scenario de onbeslisbaarheidsratio van PitG vermindert van ~62% naar ~2% tegen een mediane kosten van slechts ~5% extra samples, zonder de fout-positieve kosten van gekoppelde methoden te dragen.
4. Praktische Tools: De levering van een online interactieve calculator en open-source code om de adoptie van deze methoden in toegepaste settings te faciliteren.

5. Betekenis en Claims

Het artikel positioneert DPitG als de methode bij uitstek voor scenario's waar een betrouwbaar oordeel vereist is en de studie in staat is om ten minste $N_{goal}$ observaties te verzamelen.

• Oplossing van de Spanning: DPitG lost de inherente spanning in PitG op door precisie een noodzakelijke maar niet voldoende voorwaarde te maken voor het stoppen. Het zorgt ervoor dat wanneer een studie stopt, het resultaat zowel precies als besluitvaardig is.
• Wetenschappelijke Rigor: De methode ondersteunt de rigoureuze bevestiging van de nulhypothese, een capaciteit die vaak ontbreekt in NHST en momenteel wordt aangetast door hoge onbeslisbaarheidsratio's in PitG. Dit is cruciaal voor vakgebieden zoals bio-equivalentie, "do-no-harm" testen en futiliteitsstoppen.
• Compatibiliteit met Pre-registratie: Omdat de stopregel volledig vooraf gespecificeerd is (gebaseerd op $N_{goal}$ en $\omega_{goal}$ in plaats van datarijke drempels), sluit het aan bij pre-registratiestandaarden en adresseert het de onnauwkeurigheid in de ontwerpfase die wordt geïmpliceerd in de replicatiecrisis.
• Epistemische Eerlijkheid: De auteur betoogt dat de precisievereiste een kenmerk is, geen gebrek. Het dwingt tot realistische planning en voorkomt dat analisten een oordeel vellen op basis van onvoldoende data. Als de data geen conclusie kunnen ondersteunen binnen het budget, zal DPitG (net als PitG) geen vals oordeel afgeven, maar in tegenstelling tot PitG minimaliseert het de frequentie van dergelijke "onbeslisbare" uitkomsten door de samplingsbudget alleen te verlengen wanneer dat noodzakelijk is.

Het artikel concludeert dat hoewel DPitG in sommige scenario's een bescheiden toename in steekproefomvang kan vereisen vergeleken met PitG, deze kosten verwaarloosbaar zijn in vergelijking met de winst in besluitvaardigheid en het vermijden van de systematische fout-positieve fouten die inherent zijn aan gekoppelde methoden zoals HDI+ROPE.