📊 statistics

Nonparametric methods controlling the median of the false discovery proportion

Dit artikel introduceert een niet-parametrische methode voor meervoudig toetsen die de mediaan van het proportion van valse ontdekkingen controleert en bijzonder krachtig is in situaties waarin de meeste alternatieve hypothesen waar zijn, zoals bij non-inferioriteits- of equivalentietests.

Oorspronkelijke auteurs: Jesse Hemerik

Gepubliceerd 2026-03-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jesse Hemerik

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische supermarkt binnenloopt met duizenden producten. Je wilt weten welke producten veilig zijn en welke gevaarlijk. Maar in plaats van één voor één te kijken, heb je een magische scanner die direct duizenden metingen doet.

Het probleem is: je scanner is niet perfect. Soms zegt hij dat een veilig product gevaarlijk is (een "valse alarm"), en soms zegt hij dat een gevaarlijk product veilig is. In de statistiek noemen we die fouten "valse ontdekkingen".

Meestal gaan onderzoekers er van uit dat de meeste producten veilig zijn en dat de scanner maar heel soms een fout maakt. Ze gebruiken daarvoor strenge regels om te voorkomen dat ze te veel veilige producten weggooien.

Maar wat als het andersom is?

Stel je voor dat je een nieuwe, genetisch gemodificeerde maïssoort test. Je verwacht dat bijna alle metingen laten zien dat de maïs veilig is (binnen een bepaalde veilige marge). Je wilt bewijzen: "Kijk, bijna alles is veilig!"

Als je de oude, strenge regels gebruikt, mis je vaak de kans om dit te bewijzen. Die regels zijn te voorzichtig; ze zeggen: "We kunnen niet zeker zijn dat alles veilig is, dus we gooien alles weg."

De oplossing in dit artikel: De "Spiegel-Regel"

Jesse Hemerik (de schrijver van dit artikel) heeft een slimme nieuwe manier bedacht om dit probleem op te lossen. Hij noemt het een "non-parametrische methode", maar laten we het simpel houden:

De Spiegel:
Stel je voor dat je een spiegel hebt. Als je een meetwaarde hebt (bijvoorbeeld: "de maïs is 0.5% giftig"), kijkt de spiegel naar de andere kant: "Wat als het -0.5% was?"
De methode maakt gebruik van het feit dat meetfouten vaak symmetrisch zijn. Als er een fout is, is de kans dat hij naar links gaat net zo groot als dat hij naar rechts gaat.
De Telling:
De nieuwe methode telt twee dingen:
- Hoeveel producten lijken veilig (in de goede richting)?
- Hoeveel producten lijken gevaarlijk (in de spiegel, de verkeerde richting)?
Als je verwacht dat bijna alles veilig is, dan zie je in je data dat de meeste punten aan de "veilige" kant van de spiegel liggen. De methode zegt dan: "Oké, als er zoveel aan de veilige kant staan, dan is de kans dat de paar punten aan de 'gevaarlijke' kant echte fouten zijn, heel klein."
Het Middenpunt (De Mediane):
Oude methoden proberen het gemiddelde aantal fouten klein te houden. Dat is alsof je zegt: "Gemiddeld mag er 1 fout zijn."
Deze nieuwe methode kijkt naar het middenpunt (de mediaan). Dat is alsof je zegt: "In de helft van de gevallen (50%) mag er maximaal 1 fout zijn."
Waarom is dit beter? Omdat in situaties waar je verwacht dat bijna alles goed is, het "gemiddelde" vaak wordt opgetrokken door een paar rare uitschieters. Het "middenpunt" is stabieler en laat je toe om meer goede producten te redden zonder bang te zijn voor een ramp.

Een creatieve analogie: De Vissenvisser

Stel je bent een visser die duizenden vissen uit het water haalt.

De oude methode: Hij denkt: "Ik weet niet zeker of deze vis giftig is. Als ik er 100 pak, kan ik niet garanderen dat er geen giftige tussen zit. Dus ik gooi ze allemaal terug." (Te voorzichtig, weinig vangst).
De nieuwe methode: Hij kijkt naar de vissen en zegt: "Ik zie dat 95% van de vissen er gezond uitziet en 5% ziet er raar uit. Omdat de 'raar' eruitziende vissen precies het tegenovergestelde zijn van de gezonde vissen (symmetrie), weet ik dat de kans dat die 5% echt giftig is, klein is. Ik kan dus gerust die 95% houden, en weet dat ik in de helft van de gevallen geen enkele giftige vis heb gepakt."

Waarom is dit belangrijk?

Veiligheid: Het helpt bij het testen van voedselveiligheid (zoals in het artikel wordt genoemd). Je kunt sneller bewijzen dat een nieuw gewas veilig is.
Snelheid: De oude methoden die dit ook konden, waren extreem traag (als je 1000 producten hebt, duurde het dagen). Deze nieuwe methode is razendsnel (seconden).
Kracht: Het pakt meer "goede" resultaten op zonder de veiligheid te riskeren.

Kort samengevat:
Dit artikel introduceert een slimme, snelle en veilige manier om te bewijzen dat "bijna alles goed is" in een grote groep metingen. Het gebruikt een spiegel-effect om fouten te tellen en kijkt naar het middenpunt in plaats van het gemiddelde, waardoor onderzoekers meer vertrouwen kunnen hebben in hun resultaten, vooral bij voedseltests en medicijnen.

Titel: Nonparametrische methoden voor het beheersen van de mediaan van het aandeel valse ontdekkingen

Auteur: Jesse Hemerik (Econometric Institute, Erasmus University Rotterdam)
Datum: 2 maart 2026

1. Probleemstelling en Context

In veel toepassingen van meervoudig toetsen (multiple hypothesis testing) wordt ervan uitgegaan dat de meeste nulhypothese waar zijn. Er zijn echter situaties, zoals bij niet-inferioriteitstests of equivalentietests (bijvoorbeeld in voedselveiligheidstests voor genetisch gemodificeerde gewassen), waar onderzoekers a priori verwachten dat de meeste parameters binnen een bepaald interval of in een specifieke richting liggen. In deze scenario's zijn de meeste nulhypothese (die non-equivalentie of een negatief effect aangeven) onwaar, en is het doel om dit met data te bevestigen.

De uitdaging is om een meervoudig toetsingsprocedure te ontwikkelen die krachtig (powerful) is in deze specifieke situaties, waar de verwachting is dat de meeste hypothesen "waar" zijn (d.w.z. dat de alternatieve hypothese geldt). Traditionele methoden voor het beheersen van de False Discovery Rate (FDR) (de verwachte waarde van het aandeel valse ontdekkingen) of de Family-Wise Error Rate (FWER) zijn vaak te conservatief of hebben onvoldoende power wanneer de meeste hypothesen onwaar zijn.

Het artikel richt zich op het beheersen van de mediaan van het aandeel valse ontdekkingen (mFDP), in plaats van het gemiddelde (FDR). Het beheersen van de mediaan betekent dat men garandeert dat met een waarschijnlijkheid van ten minste 50% het aandeel valse ontdekkingen onder een bepaalde drempel $\gamma$ blijft.

2. Methodologie

De voorgestelde methode is niet-parametrisch (of semi-parametrisch) en maakt gebruik van een symmetrie-eigenschap van de toetsingsstatistieken.

A. Kernassumptie: Symmetrie

De methode vereist dat de gezamenlijke verdeling van de toetsingsstatistieken $T_j$ die corresponderen met de ware nulhypothese ( $j \in N$ ), symmetrisch is rond hun verwachtingswaarden $\mu_j$ .

Assumptie 2: De vector $(T_j - \mu_j : j \in N)$ is niet-degeneraat en voldoet aan:
$(T_j - \mu_j : j \in N) \stackrel{d}{=} (-(T_j - \mu_j) : j \in N)$
Dit geldt bijvoorbeeld voor multivariate normale verdelingen, maar ook voor veel eindige steekproeven bij niet-parametrische tests (zoals tekenflipping of permutatietests), zelfs als de data niet normaal verdeeld zijn.

B. Schatting van het aandeel valse ontdekkingen (FDP)

De auteur ontwikkelt een mediaan-onbevooroordeelde schatter voor het aantal valse ontdekkingen ( $V$ ) en het aandeel valse ontdekkingen (FDP).

Eenzijdige tests (Directional Testing):
- Nulhypothese: $H_j: \mu_j \leq \delta_j$ .
- Verwerp $H_j$ als $T_j - \delta_j > t$ .
- De schatter voor het aantal valse ontdekkingen is:
  $\tilde{V}(t) = R(t) \wedge R^-(t)$
  Waarbij $R(t)$ het aantal verwerpen is en $R^-(t)$ het aantal statistieken die "ver" in de tegenovergestelde richting liggen ( $T_j - \delta_j < -t$ ).
- Door de symmetrie-assumptie geldt: $P(V(t) \leq \tilde{V}(t)) \geq 0.5$ .
Equivalentietests:
- Nulhypothese: $H_j: |\mu_j| \geq \delta_j$ .
- Verwerp als $|T_j| < \delta_j - t$ .
- Een analoge schatter wordt gedefinieerd waarbij $R^-(t)$ het aantal statistieken telt die ver buiten het equivalentie-interval liggen ( $|T_j| > \delta_j + t$ ).

C. Controle van de mFDP

De procedure kiest een drempel $s^+$ zodanig dat de geschatte FDP $\tilde{FDP}(s^+) \leq \gamma$ .

De procedure verwerpt alle hypothesen met een teststatistiek die strikt groter is dan $s^+$ .
Theorema 5.1 & 5.2: Bewijzen dat onder de symmetrie-assumptie (en eventueel asymptotische voorwaarden) de procedure geldig is: $P(\text{FDP} \leq \gamma) \geq 0.5$ .
De methode is adaptief: als de data sterk in de verwachte richting wijzen (veel valse nulhypothese), wordt de schatting $\tilde{V}$ zeer klein, wat leidt tot hoge power.

D. Vergelijking met bestaande methoden

SAM (Significance Analysis of Microarrays): De voorgestelde methode is conceptueel vergelijkbaar met SAM met $\alpha=0.5$ en slechts twee permutaties, maar is veel sneller en beter afgestemd op de situatie waar de meeste hypothesen onwaar zijn.
SAM+CT (Closed Testing): Hoewel SAM+CT uniformer is, is deze computationally onhaalbaar voor grote $m$ (exponentiële tijd). De nieuwe methode heeft lineaire tijdcomplexiteit na het sorteren van p-waarden.
Benjamini-Hochberg (FDR): De nieuwe methode controleert de mediaan in plaats van het gemiddelde, wat in deze specifieke context (veel signalen) leidt tot betere power.

3. Belangrijkste Bijdragen

Nieuwe mFDP-controle procedures: Introductie van niet-parametrische methoden die specifiek zijn ontworpen voor situaties waar de meeste hypothesen onwaar zijn (bijv. non-inferioriteit en equivalentie).
Mediaan-onbevooroordeelde schatters: Bewijs dat de voorgestelde schatters $\tilde{V}$ voldoen aan $P(V \leq \tilde{V}) \geq 0.5$ onder een zwakke symmetrie-assumptie, zonder afhankelijkheid tussen de teststatistieken te vereisen.
Admissibiliteit: Bewezen dat de aangepaste schatter $\tilde{V}'$ (met een willekeurige coin-flip bij gelijke waarden) admissibel is, d.w.z. dat deze niet uniform kan worden verbeterd zonder de validiteit te schenden.
Efficiëntie: De methode is computationally efficient (lineair in het aantal hypothesen $m$ ), in tegenstelling tot permutatie-gebaseerde methoden zoals SAM+CT die exponentieel zijn.
Flexibiliteit: De methode kan worden toegepast op diverse parameters (coëfficiënten in GLM's, etc.) en werkt zowel voor eenzijdige tests als equivalentietests.

4. Resultaten (Simulaties en Data-analyse)

Schatting van FDP (Section 6.1): In simulaties met $m=500$ hypothesen en verschillende correlaties ( $\rho$ ) en effectgroottes ( $d$ ), presteerde de nieuwe schatter beter dan SAM. Vooral wanneer het aandeel ware nulhypothese ( $\pi_0$ ) laag was (d.w.z. veel signalen), gaf de nieuwe methode lagere (betere) schattingen van het FDP.
Power van mFDP-controle (Section 6.2): De nieuwe procedure (Section 5.1) toonde een hogere power dan:
- De Benjamini-Hochberg procedure (die FDR controleert).
- De Romano-Wolf stap-afwaartse methode (FDX controle).
- De flexibele mFDP-methode uit Hemerik et al. (2024).
  De powervoordeel was het grootst wanneer $\pi_0$ laag was (veel valse hypothesen).
Real-world Data (Section 6.3): Toepassing op een dataset van huizenprijzen in Ames, Iowa.
- Doel: Bewijzen dat veel covariaten geen sterk negatief effect hebben op de prijs (one-sided test).
- Resultaat: De methode verwierp 30 van de 31 hypothesen (met $\gamma=0.1$ ), terwijl Benjamini-Hochberg er slechts 29 verwierp. Bij een verkleinde steekproef ( $n=100$ ) was het verschil nog groter: de nieuwe methode verwierp 27 hypothesen, terwijl Benjamini-Hochberg er slechts 16 verwierp.

5. Significatie en Conclusie

Dit artikel biedt een krachtig alternatief voor traditionele FDR-controle in scenario's waar onderzoekers a priori weten dat de meeste hypothesen onwaar zijn (bijvoorbeeld in veiligheidstests of bio-equivalentie).

Sterke punten: De methode is niet-parametrisch (weinig aannames over de verdeling), robuust tegen afhankelijkheid, computationally efficient en heeft superieure power in "signal-rich" omgevingen.
Beperkingen: De validiteit is gebaseerd op de mediaan (50% betrouwbaarheid) in plaats van het gemiddelde. Dit betekent dat in 50% van de gevallen het FDP hoger kan zijn dan $\gamma$ , maar in de andere 50% lager. Dit is acceptabel in exploratieve settings of wanneer de kosten van een valse ontdekking laag zijn ten opzichte van het gemiste signaal.
Toepassing: De methoden zijn geïmplementeerd in het R-pakket mFDP en zijn direct toepasbaar op diverse statistische problemen, van voedselveiligheid tot economische modellering.

Samenvattend introduceert Hemerik een elegante, symmetrie-gebaseerde aanpak die de beperkingen van bestaande permutatiemethoden overwint en een nieuwe standaard biedt voor meervoudig toetsen in situaties met veel echte effecten.