Anytime-valid simultaneous lower confidence bounds for the true discovery proportion

Deze paper introduceert een methode die het gesloten toetsingskader combineert met veilige, op elk moment geldige inferentie om gelijktijdige ondergrenzen voor de ware ontdekkingenproportie te berekenen, wat optionele stopzetting mogelijk maakt en door een rekentechnische verkorting ook toepasbaar is bij een groot aantal hypothesen.

De kern

Stel je voor dat je een gigantische schatkaart hebt met duizenden mogelijke schatten (hypothesen) verspreid over een landschap. Je wilt weten hoeveel van deze schatten echt bestaan (de "ware ontdekkingen") en hoeveel slechts illusies zijn.

In de wetenschap is dit een heel gewoon probleem: onderzoekers testen vaak duizenden dingen tegelijk. Het probleem is dat ze vaak pas aan het einde van het experiment weten hoeveel ze hebben gevonden, en ze mogen niet stoppen als ze "een beetje" resultaat zien. Dat kost veel tijd en geld.

Dit paper, geschreven door Friederike Preusse, introduceert een slimme nieuwe manier om dit op te lossen. Hier is de uitleg in simpele taal, met wat creatieve vergelijkingen.

1. Het Probleem: De "Strenge Chef"

Stel je voor dat je een detective bent die duizenden verdachten (hypothesen) onderzoekt.

• De oude methode: Je mag pas stoppen met zoeken als je precies 100 verdachten hebt ondervraagd, of als je een vastgestelde datum hebt bereikt. Zelfs als je na 10 verdachten al zeker weet dat 9 van hen schuldig zijn, moet je doorgaan tot 100. Als je stopt, is je bewijs niet geldig.
• Het risico: In het echte leven (zoals bij hersenscans of genetica) is tijd geld. Als je te lang wacht, is het project te duur. Als je te vroeg stopt, zeggen de statistische regels: "Je mag dat niet doen, je resultaten zijn vals!"

2. De Oplossing: De "Veilige Tijdloze Kompas"

De auteur bedacht een methode die werkt als een veilig kompas dat altijd werkt, ongeacht wanneer je kijkt.

• Altijd geldig (Anytime-valid): Je kunt op elk moment in het proces kijken naar je kompas. Of je nu 10 mensen hebt gemeten of 100. Het kompas zegt: "Op dit moment zijn we minimaal 80% zeker dat er X echte schatten zijn." En dit is altijd waar, zelfs als je besluit om morgen weer verder te gaan met meten.
• Simultaan: Je kunt niet alleen kijken naar één groep schatten, maar naar elke mogelijke groep die je maar wilt bedenken. Je kunt zeggen: "Ik ben geïnteresseerd in de schatten in het noorden," en morgen: "Ik ben geïnteresseerd in de schatten in het oosten." Het kompas geeft voor beide groepen direct een betrouwbare ondergrens.

3. Hoe werkt het? (De Metafoor van de "E-Process")

Om dit te doen, gebruikt de auteur iets dat een e-proces (e-process) heet.

• De Vergelijking: Stel je voor dat elke verdachte een "schuld-meter" heeft.
  • Als de verdachte onschuldig is, mag de meter niet te hoog springen.
  • Als de verdachte schuldig is, springt de meter omhoog.
• De Slimme Stap: De oude methoden gebruikten "p-waarden" (een soort kansberekening). De nieuwe methode gebruikt "e-waarden". Je kunt e-waarden vergelijken met een stapel munten.
  • Als iemand onschuldig is, is de kans dat de stapel munten enorm hoog wordt heel klein.
  • Als de stapel munten toch hoog wordt, weten we: "Aha, deze persoon is waarschijnlijk schuldig!"
  • Het mooie is: je kunt deze stapel munten blijven tellen terwijl je meer mensen ondervraagt. Je hoeft niet opnieuw te beginnen. Als je stopt, is de stapel munten nog steeds een geldig bewijs.

4. De Rekenkundige "Truc" (De Snelweg)

Er is een groot probleem: als je 100.000 hypothesen hebt (zoals bij een hersenscan met 100.000 pixels), moet je normaal gesproken miljarden combinaties controleren. Dat is als proberen elke mogelijke route door een labyrint te lopen.

De auteur bedacht een rekenkundige afkorting (een shortcut).

• De Metafoor: In plaats van elke route te lopen, kijk je alleen naar de snelste routes. De auteur laat zien dat je alleen de "slimste" combinaties hoeft te controleren om te weten of je veilig bent. Dit maakt het mogelijk om dit op een normale computer te doen, zelfs bij enorme datasets.

5. Het Toepassen: De Hersenscan

De auteur heeft dit getest op echte data van hersenscans (fMRI).

• Het Scenario: Mensen kregen woorden te zien en moesten beslissen of ze hetzelfde betekenden. De wetenschappers wilden weten: "Welke delen van de hersenen zijn hier actief?"
• Het Resultaat: Ze begonnen met meten. Naarmate er meer mensen deelnamen, zagen ze dat de "ondergrens" van de actieve hersendelen omhoog ging.
  • Na 15 mensen: "We weten nog niets zeker."
  • Na 35 mensen: "We weten nu zeker dat er in dit specifieke gebied minstens 100 actieve cellen zijn."
  • Na 53 mensen: "We weten dat er in het linkerfrontale gebied minstens 38% van de cellen actief is."
• De winst: Ze hoefden niet te wachten tot het einde van het experiment om te weten of het werkte. Ze konden stoppen zodra ze zeker waren, of doorgaan als ze meer zekerheid wilden, zonder dat hun statistiek "kapot" ging.

Samenvatting in één zin

Dit paper geeft wetenschappers een veilig, flexibel kompas waarmee ze tijdens het experiment kunnen kijken hoeveel echte ontdekkingen ze hebben gedaan, zonder bang te hoeven zijn dat ze te vroeg stoppen of te lang wachten, zelfs als ze duizenden dingen tegelijk testen.

Waarom is dit cool?
Het bespaart tijd, geld en maakt wetenschappelijk onderzoek minder star. Je kunt nu "stappen voor stappen" ontdekken, in plaats van alleen aan het einde van de rit.

Technische samenvatting

Probleemstelling

In de statistische inferentie bij het toetsen van meerdere hypothesen (multiple testing) zijn onderzoekers vaak geïnteresseerd in het schatten van het aantal ware ontdekkingen (true discoveries) binnen specifieke subsets van hypothesen. Een veelgebruikte maatstaf hiervoor is de True Discovery Proportion (TDP), gedefinieerd als $1 - \text{FDP}$ (waarbij FDP de False Discovery Proportion is).

Traditionele methoden om ondergrenzen voor de TDP te berekenen (zoals die van Genovese & Wasserman, 2006; Goeman & Solari, 2011) zijn gebaseerd op het gesloten toetsingskader (closed testing framework). Deze methoden hebben echter een cruciale beperking: ze vereisen een vaste steekproefgrootte. Ze zijn niet geldig als de data-analyse voortijdig wordt gestopt (optional stopping) of als de steekproefgrootte dynamisch wordt aangepast op basis van tussentijdse resultaten. In praktische toepassingen, zoals neurowetenschappen (fMRI) of genomics, waar data-acquisitie tijdrovend en duur is, is het echter wenselijk om data sequentieel te verzamelen en beslissingen te nemen op basis van de huidige resultaten, zonder de geldigheid van de statistische conclusies te schenden.

Het doel van dit artikel is een methode te ontwikkelen die anytime-valid (te allen tijde geldig) simultane ondergrenzen voor de TDP biedt. Dit betekent dat de betrouwbaarheidsintervallen geldig zijn op elk willekeurig tijdstip tijdens het dataverzamelingsproces, ongeacht of het proces wordt gestopt of voortgezet.

Methodologie

De auteur combineert twee geavanceerde statistische concepten om dit probleem op te lossen:

1. Het Gesloten Toetsingskader (Closed Testing):
   Dit is een framework om de Family-Wise Error Rate (FWER) te controleren. Om een ondergrens voor het aantal ware ontdekkingen in een subset $R$ te vinden, wordt gekeken naar de grootste subset van $R$ die niet wordt verworpen door het gesloten toetsingsproces.

2. Veilige Anytime-Valid Inference (SAVI) en E-processen:
   In plaats van traditionele p-waarden, maakt de methode gebruik van e-processen. Een e-proces is een stochastisch proces dat op elk tijdstip (stoptijd) een geldige e-waarde oplevert.

   • Een e-waarde ($E$) is een niet-negatieve variabele met een verwachte waarde $\leq 1$ onder de nulhypothese.
   • Een e-proces ($E^{[n]}$) is een adaptief proces ten opzichte van een filtratie, waarbij $E^{[\nu]}$ een geldige e-waarde is voor elke stoptijd $\nu$.
   • De lokale toetsen worden uitgevoerd met een drempelwaarde van $1/\alpha$. Als $E^{[n]} \geq 1/\alpha$, wordt de hypothese verworpen.

De Geproposeerde Procedure:

• Constructie: Op elk tijdstip $n$ worden lokale e-processen berekend voor alle elementaire hypothesen. Voor intersectie-hypothesen (combinaties van elementaire hypothesen) worden deze e-processen samengevoegd (merged). Omdat de afhankelijkheid tussen hypothesen willekeurig kan zijn, wordt het arithmetic mean (rekenkundig gemiddelde) gebruikt als de enige geldige merge-functie voor e-waarden.
• Anytime-Valid Bounds: De ondergrens voor de TDP wordt berekend door het minimum te nemen van de bovengrenzen voor het aantal valse ontdekkingen ($\tau(R)$) die zijn waargenomen tot dat moment. Dit zorgt ervoor dat de grens "carefree" is: hij neemt niet toe als er meer data wordt verzameld, zelfs als de lokale toetsen niet monotoon zijn.
• Formule: De ondergrens voor de TDP op tijdstip $n$ voor een ontdekkingset $R$ is:
  $$\tilde{d}^{[n]}_\alpha(R) = 1 - \frac{\tilde{c}^{[n]}_\alpha(R)}{|R|}$$
  Waar $\tilde{c}^{[n]}_\alpha(R)$ de minimumwaarde is van de maximale grootte van een subset van $R$ die niet is verworpen door het gesloten toetsingsproces op alle tijdstippen $0 \leq \ell \leq n$.

Computationele Versnelling (Shortcut):
Een directe toepassing van gesloten toetsing vereist het testen van $2^m - 1$ hypothesen, wat onhaalbaar is bij grote $m$ (bijv. $>100.000$ in fMRI). De auteur leidt een computationele shortcut af (Lemma 1) die specifiek werkt met e-processen en het rekenkundig gemiddelde.

• In plaats van alle subsets te testen, wordt alleen gekeken naar de subsets met de $h$ kleinste e-proceswaarden binnen de ontdekkingset.
• Dit reduceert de complexiteit van exponentieel naar lineair ($O(m \log m)$ of $O(mr)$), waardoor de methode toepasbaar wordt op grote datasets.

Belangrijkste Bijdragen

1. Anytime-Valid Simultane Bounds: De eerste methode die simultane ondergrenzen voor de TDP biedt die geldig zijn onder optional stopping, zowel voor offline settings (vaste set hypothesen) als sequentiële data.
2. Integratie van E-processen in Closed Testing: Het succesvol combineren van het klassieke closed testing framework met moderne e-processen voor veilige inferentie.
3. Computationele Efficiëntie: De ontwikkeling van een algoritme dat de berekening van deze bounds mogelijk maakt voor datasets met honderdduizenden hypothesen, wat essentieel is voor neuroimaging.
4. Carefree Eigenschap: De methode garandeert dat het verzamelen van extra data nooit nadelig is voor de onderzoeker (de grenzen worden niet slechter door meer data).

Resultaten

Simulatiestudie:

• Validiteit: De empirische non-coverage rate (de frequentie waarmee de ware TDP buiten de ondergrens valt) bleek consistent onder het nominale niveau $\alpha$ (0.2), ongeacht de steekproefgrootte, het effectgrootte, of de afhankelijkheid tussen hypothesen. Dit bevestigt de anytime-validiteit.
• Kracht (Power): De methode convergeerde naar de ware TDP naarmate de steekproefgrootte toenam. Hoewel anytime-valid bounds iets langzamer convergeren dan traditionele methoden (die geen optional stopping toelaten), was het verschil bij redelijke effectgroottes ($\mu \geq 1$) beperkt. De methode bleek robuust bij verschillende correlatieniveaus ($\rho$).
• Vergelijking: De methode werd vergeleken met de bestaande "All-Resolution Inference" (ARI) methode van Goeman et al. (2019). De ARI-methode was iets krachtiger (snellere convergentie) maar miste de garantie van geldigheid bij optional stopping.

Case Study (fMRI):

• De methode werd toegepast op data van een semantische taak in een fMRI-experiment (56 proefpersonen).
• Doel: Het identificeren van actieve hersengebieden (Regions of Interest - ROIs) tijdens het semantische proces.
• Uitkomst: Na het observeren van 53 proefpersonen werden significante activaties gevonden in alle 7 de ROIs die eerder waren geïdentificeerd in meta-analyses (zoals Binder et al., 2009).
• Specificiteit: De methode kon in real-time aangeven wanneer een ROI "interessant" werd (bijv. >10% actieve voxels). De grootste ondergrens voor het percentage actieve voxels was 38,81% in de linker Inferior Frontal Gyrus pars triangularis.
• Dynamiek: De ondergrenzen namen toe naarmate er meer proefpersonen werden toegevoegd, wat aantoont dat de methode geschikt is voor adaptief data-collectie.

Betekenis en Toekomstperspectief

De voorgestelde methode biedt een krachtig instrument voor onderzoekers in velden waar data-acquisitie kostbaar en tijdsintensief is, zoals neurowetenschappen (fMRI) en genomics.

• Flexibiliteit: Onderzoekers hoeven niet langer vast te houden aan een vooraf vastgestelde steekproefgrootte. Ze kunnen stoppen zodra de resultaten voldoende overtuigend zijn, of doorgaan als de resultaten onzeker zijn, zonder de statistische integriteit te verliezen.
• Praktische Toepasbaarheid: Door de computationele shortcut is de methode direct inzetbaar voor moderne, grootschalige datasets.
• Toekomstig Werk: De auteur pleit voor de ontwikkeling van specifiek op fMRI-gegevens toegesneden e-processen die rekening houden met de complexe ruimtelijke en temporale afhankelijkheidsstructuren in hersendata. Ook wordt verwezen naar mogelijke uitbreidingen naar andere foutenmaten en knock-off methoden.

Kortom, dit artikel introduceert een robuust, flexibel en computationeel haalbaar framework voor het real-time monitoren van ontdekkingen in complexe multiple testing scenario's.