The Benjamini--Hochberg Procedure Can Fail to Control the FDR for Correlated Two-Sided Gaussian Tests

Technische Samenvatting: De Benjamini–Hochberg-procedure kan de FDR niet onder controle houden voor gecorreleerde tweezijdige Gaussische toetsen

Probleemstelling
Het artikel behandelt een langlopende openstaande vraag in de toetsing van meerdere hypothesen: of de Benjamini–Hochberg (BH) procedure de False Discovery Rate (FDR) op het nominale niveau $\alpha$ onder controle houdt bij willekeurige correlatiestructuren voor tweezijdige Gaussische toetsen. Ho'ewel de BH-procedure bekend staat om het controleren van de FDR onder onafhankelijkheid (Benjamini en Hochberg, 1995) en onder de Positive Regression Dependence on a Subset (PRDS)-voorwaarde (Benjamini en Yekutieli, 2001), bleef de casus van gecorreleerde tweezijdige toetsen onopgelost.

Eerdere literatuur, inclusief empirische studies (Reiner-Benaim, 2007; Kim en van de Wiel, 2008) en invloedrijke reviews (Benjamini, 2010; Sarkar, 2023), vermoedde breed dat FDR-controle standhoudt voor tweezijdige $z$-toetsen met elke correlatiestructuur. Het artikel daagt deze conjectuur uit door te stellen dat het "vouwen" van twee staarten in tweezijdige toetsen ($\{P_i \le t\} = \{X_i \ge c_t\} \cup \{X_i \le -c_t\}$) de argumenten van monotone regressie en totale positiviteit, die werken voor eenzijdige statistieken, verstoort, wat potentieel kan leiden tot FDR-inflatie.

Methodologie en Constructie
Om de conjectuur te weerleggen, construeren de auteurs een specifiek Gaussisch factormodel met $m_N = 100N$ hypothesen, verdeeld in drie blokken:

1. Ware nullen ($96N$): $X^{(0)}_i = \frac{3}{10}Z + \frac{\sqrt{91}}{10}\epsilon_i$.
2. Niet-nul blok 1 ($N$): $X^{(1)}_j = \frac{12}{5} - \frac{3}{10}Z + \frac{\sqrt{91}}{10}\eta_j$.
3. Niet-nul blok 2 ($3N$): $X^{(2)}_k = \frac{22}{5} - \frac{18}{25}Z + \frac{\sqrt{301}}{25}\xi_k$.

Hierbij bewegen de gemiddelden van de niet-nul blokken tegen de latente factor $Z$ in, terwijl het nulblok met $Z$ mee beweegt. Dit creëert een scenario waarin, voor specifieke realisaties van $Z$, de niet-nul signalen het aantal afwijzingen verhogen (waardoor de BH-drempel stijgt) precies op het moment dat de conditionele nulverdeling een zwaardere tweezijdige staart ontwikkelt.

Het bewijs rust op een asymptotische analyse van de empirische cumulatieve distributiefunctie (CDF) van $p$-waarden. De auteurs maken gebruik van een "drempel-bracketing" techniek:

• Zij definiëren een limiterende conditionele CDF $G_z(t)$ voor de $p$-waarden gegeven $Z=z$.
• Zij identificeren een bereik van $z$-waarden waar de BH-drempel $\tau_N$ strikt begrensd is tussen twee waarden $v$ en $w$ (waarbij $v < w < \alpha$).
• Binnen dit bereik wordt aangetoond dat de conditionele False Discovery Proportion (FDP) groter is dan $\alpha$.

Kernbijdragen en Bewijsmechanisme
De primaire bijdrage is een rigoureus tegenvoorbeeld dat bewijst dat FDR-controle faalt voor gecorreleerde tweezijdige Gaussische toetsen. Het bewijs onderscheidt zich door twee innovaties:

1. Vermijden van limiterende uniciteit: Het argument vereist geen uniek limiterend snijpunt of differentieerbaarheid van de CDF bij het snijpunt. In plaats daarvan worden twee strikte tekenvoorwaarden gebruikt om de drempel te klemmen (bracketen).
2. Rigoureuze intervalrekening: Het bewijs maakt gebruik van een eindige collectie ongelijkheden die zijn geverifieerd met behulp van "outward-rounded interval arithmetic" (met de Arb-bibliotheek). Door de latente factorruimte en de $p$-waarde drempelruimte op te delen in rationale rechthoeken, certificeren de auteurs dat specifieke ongelijkheden strikt standhouden. Dit elimineert fouten door zwevend-kommagetallen en biedt een wiskundig certificaat dat de FDR het nominale niveau overschrijdt.

Het bewijs werd gegenereerd door het AI-model GPT-5.6 Pro en vervolgens geverifieerd door de auteur, die ook de numerieke simulaties heeft uitgevoerd en het manuscript heeft opgesteld.

Resultaten

• Theoretisch resultaat: Voor het geconstrueerde model op niveau $\alpha = 0,01$ bewijzen de auteurs dat voor alle voldoende grote $N$, de FDR voldoet aan $\text{FDR}_N > 0,0104$. Dit schendt strikt het nominale niveau van 0,01.
• Numeriek certificaat: Het intervalrekening-certificaat sommeert bijdragen over 1.000 bins van de latente factor $Z$, wat een gecertificeerde ondergrens oplevert van ongeveer $0,0104168$.
• Monte Carlo-experimenten: Gestratificeerde Monte Carlo-simulaties (gestratificeerd op $Z$ om variantie te beheersen) werden uitgevoerd voor $N=50, 100, 200$.
  • Bij $N=200$ was de geschatte FDR $0,010359$, met een 95% betrouwbaarheidsinterval van $[0,010155, 0,010563]$, wat volledig boven het nominale niveau ligt.
  • De resultaten zijn consistent met de asymptotische theoretische bevinding en tonen een falen van controle in eindige steekproeven aan.

Betekenis en Claims
Het artikel beweert een conjectuur te ontkrachten die al twintig jaar breed wordt aanvaard. Het toont aan dat de BH-procedure niet universeel robuust is voor willekeurige correlatiestructuren in tweezijdige Gaussische toetsen, specifiek wanneer de correlatie een koppeling induceert tussen de signaalsterkte en het gedrag van de staart van de nulverdeling.

De auteurs merken op dat de overtreding gering is (ongeveer 4% inflatie ten opzichte van het nominale niveau) en voorkomt in een model met een groot aantal toetsen. Zij stellen expliciet dat het een open vraag blijft of er een universele bovengrens bestaat op de mogelijke inflatie van de FDR, of dat controle gegarandeerd is voor kleinere aantallen toetsen. Het werk benadrukt de beperkingen van de huidige theoretische garanties voor de BH-procedure in complexe, afhankelijke settings en onderstreept de noodzaak van afhankelijkheids-gecorrigeerde alternatieven in dergelijke scenario's.