Resampling-based multi-resolution false discovery exceedance control

Technische Samenvatting: Resampling-gebaseerde Multi-resolutie Controle van Overschrijding van Valse Ontdekkingen

Probleemstelling
Meervoudige toetsingsprocedures zijn essentieel voor het beheersen van foutenpercentages bij het toetsen van grote aantallen hypothesen. Hoewel controle van de Familywise Error Rate (FWER) garandeert dat er geen valse positieven zijn, is deze vaak te conservatief. Controle van de Overschrijding van Valse Ontdekkingen (False Discovery Exceedance, FDX) biedt een flexibeler alternatief, waarbij wordt gegarandeerd dat het Aandeel Valse Ontdekkingen (False Discovery Proportion, FDP)—het fractie valse ontdekkingen onder alle verworpenen—met een waarschijnlijkheid van ten hoogste $\alpha$ een vooraf gespecificeerde drempel $\gamma$ overschrijdt.

Bestaande resampling-gebaseerde FDX-methoden, zoals de Romano-Wolf-procedure, zijn krachtig onder afhankelijkheid maar bieden doorgaans geen gelijktijdige garanties. Omgekeerd bieden bestaande gelijktijdige FDP-methoden (bijv. Hemerik et al., 2019) betrouwbaarheidsomhulsels voor FDP's over diverse drempels, maar zijn ze niet geoptimaliseerd voor een specifiek FDX-doel $\gamma$, wat vaak resulteert in een lagere kracht voor FDX-controle. Bovendien vertrouwen veel gelijktijdige methoden op betrouwbaarheidsomhulsels met vormen die onafhankelijk van de data moeten worden gekozen, een beperking die hun aanpasbaarheid en kracht beperkt.

Methodologie
Het artikel stelt een resampling-gebaseerde methode voor die de populaire maxT-procedure generaliseert om multi-resolutie FDX-controle te bereiken. De methode vereist dezelfde invoer als maxT: een matrix van gere-sampled toetsingsstatistieken (via permutatie of bootstrap).

1. Een-staps Procedure:
   De kern van de methode definieert een verwerpende drempel $q$. Voor een verzameling transformaties $\mathcal{G}$ (bijv. permutaties) berekent de methode een statistiek $s_g$ voor elke transformatie $g \in \mathcal{G}$:
   $$s_g = \sup \left\{ t \in \mathbb{R} : \frac{R(t, gX)}{R(t, X) \vee 1} > \gamma \right\}$$
   waarbij $R(t, X)$ het aantal verworpenen is bij drempel $t$ voor de waargenomen data, en $R(t, gX)$ het aantal verworpenen is voor de getransformeerde data. De term $R(t, gX)$ dient als een conservatieve schatting van het aantal valse positieven. De definitieve drempel $q$ is het $(1-\alpha)$-kwantiel van de waarden $\{s_g\}_{g \in \mathcal{G}}$.

2. Sequentiële Procedure:
   Een sequentiële variant wordt geïntroduceerd om de kracht uniform te verbeteren. Deze iteratief verfijnt de drempel door subsets van hypothesen te identificeren die waarschijnlijk waarlijke nullen zijn en de drempel opnieuw te berekenen op basis van deze subsets. Dit proces convergeert naar een limietdrempel $q_{lim} \leq q$.

3. Multi-resolutie Garantie:
   De methode biedt een gelijktijdige garantie: met een waarschijnlijkheid van ten minste $1-\alpha$, voor alle drempels $t \geq q$, is de FDP begrensd door $\gamma$. Dit stelt onderzoekers in staat om in te zoomen op subsets van de meest significante hypothesen (bijv. de top $k$ verworpenen) en te beweren dat hun FDP eveneens begrensd is door $\gamma$, zonder dat $\alpha$ of $\gamma$ aangepast hoeven te worden. Merk op dat, als het aantal verworpenen klein genoeg is (specifiek $< \gamma^{-1}$), de methode FWER-controle (FDP = 0) garandeert, gelijktijdig met de FDX-controle.

Belangrijkste Bijdragen

• Gelijktijdige FDX-controle: Het artikel introduceert de eerste methode die gelijktijdige FDX-controle biedt over meerdere resoluties (drempels) terwijl het een kracht behoudt die vergelijkbaar is met niet-gelijktijdige methoden zoals Romano-Wolf.
• Data-afhankelijke Omhulsels: De methode is geformuleerd als een generalisatie van eerdere gelijktijdige benaderingen (Hemerik et al., 2019). Een belangrijke theoretische innovatie is het gebruik van betrouwbaarheidsomhulsels waarvan de vorm afhankelijk is van de data (specifiek de waargenomen aantallen verworpenen $R(t)$). Eerdere methoden vereisten data-onafhankelijke omhulselvormen om geldigheid te behouden, wat hun kracht beperkte.
• Verbinding met maxT: De voorgestelde methode blijkt samen te vallen met de een-staps en sequentiële maxT-procedures wanneer $\gamma = 0$. Naarmate $\gamma$ toeneemt, neemt de kracht van de methode toe, waardoor een gecontroleerd fractie valse positieven mogelijk wordt.
• Praktijktoepasbaarheid: De methode vereist geen afstemmingsparameters buiten $\alpha$ en $\gamma$ (in tegenstelling tot Hemerik et al., 2019, dat kandidaat-omhulsels en andere parameters vereist). Het is geïmplementeerd in het R-pakket rFDP.

Resultaten

• Simulaties: In simulaties met gecorreleerde data toonde de voorgestelde methode een kracht die vergelijkbaar was met de Romano-Wolf-procedure, die wordt beschouwd als de krachtigste niet-gelijktijdige FDX-methode. Het presteerde aanzienlijk beter dan de Lehmann-Romano-methode (die conservatief is onder afhankelijkheid) en de methode van Hemerik et al. (2019) wanneer deze was afgestemd op FDX-controle.
• Analyse van Real Data:
  • Riboflavine-productie: Toegepast op genexpressiedata verwierp de methode 186 hypothesen bij $\gamma=0.1$ met 95% betrouwbaarheid. Tegelijkertijd bood het garanties dat de top 19 hypothesen maximaal één valse ontdekking bevatte, en dat de top 9 geen valse ontdekkingen bevatte (FWER-controle).
  • Muziekrecensies: Toegepast op albumrecensiescores identificeerde de methode trends in scores van artiesten. Het toonde het vermogen om hypothesen te verwerpen op verschillende resoluties (bijv. 22 hypothesen verwerpen bij $\gamma=0.2$ terwijl tegelijkertijd wordt gegarandeerd dat de top 4 geen valse ontdekkingen bevatte).

Betekenis en Claims
Het artikel beweert dat FDX-methoden vaak "bijna gratis" gelijktijdig kunnen worden gemaakt in termen van krachtverlies. Door de vorm van het betrouwbaarheidsomhulsel afhankelijk te laten zijn van de data, lost de methode een belangrijke beperking van eerdere technieken voor gelijktijdige inferentie op. De auteurs benadrukken dat de methode geldig is onder dezelfde aannames als de Romano-Wolf-methode (specifiek, een invariantie-aanname voor de toetsingsstatistieken van waarlijke null-hypothesen). Hoewel de methode een conditionele invariantie aanneemt voor geldigheid in eindige steekproeven, merken de auteurs op dat deze aanname asymptotisch mogelijk onnodig is en dat simulaties suggereren dat de zwakkere conditionele invariantie in de praktijk vaak voldoende is.

Het werk overbrugt de kloof tussen krachtige, niet-gelijktijdige FDX-controle en gelijktijdige FDP-inferentie, en biedt een hulpmiddel dat onderzoekers in staat stelt data te exploreren op verschillende niveaus van granulariteit (resoluties) terwijl strikte statistische garanties worden behouden.