Improving the Power of Bonferroni Adjustments under Joint Normality and Exchangeability

Titel: Verbetering van de Power van Bonferroni-correcties onder Gezamenlijke Normaliteit en Uitwisselbaarheid

1. Het Probleem

In de statistiek is de Bonferroni-correctie een veelgebruikte methode om de Family-Wise Error Rate (FWER) te beheersen bij het uitvoeren van meerdere hypothesetoetsen. Hoewel deze methode eenvoudig te gebruiken is, staat ze bekend om haar conservatisme, wat leidt tot een lage statistische power (de kans om een echt effect te detecteren). Dit probleem verergert wanneer:

• Het aantal toetsstatistieken zeer groot is.
• De toetsstatistieken afhankelijk van elkaar zijn (niet onafhankelijk).

Bestaande alternatieven (zoals Holm, Benjamini-Hochberg, of methoden gebaseerd op zware staarten) lossen dit deels op, maar vaak ten koste van complexiteit of door minder intuïtief te zijn voor de praktijk. De auteurs richten zich specifiek op de situatie waarbij toetsstatistieken gezamenlijk normaal verdeeld zijn en uitwisselbaar (exchangeable) zijn, wat betekent dat hun gezamenlijke verdeling invariant is onder permutaties.

2. Methodologie

De auteurs stellen een praktische modificatie van de Bonferroni-correctie voor, gebaseerd op eerder werk van Gupta et al. (1973), maar met een cruciale verbetering voor de praktijk.

• Modelaannames:

  • De toetsstatistieken $X = (X_1, ..., X_n)$ zijn standaard genormaliseerd (variantie 1).
  • Ze volgen een multivariate normale verdeling met een gemeenschappelijke correlatie $\rho \in [0, 1)$.
  • De verdeling is uitwisselbaar, wat kan worden gemodelleerd als: $X_i = \sqrt{\rho}Z_0 + \sqrt{1-\rho}Z_i$, waarbij $Z_i$ onafhankelijke standaardnormale variabelen zijn.

• De Kern van de Methode (GNP-MOM):*

  1. Estimatie van $\rho$: In tegenstelling tot Gupta et al. (1973), die aannamen dat $\rho$ bekend is, stelt het artikel voor om $\rho$ te schatten uit de data. De auteurs gebruiken de momenten-schatting (Method of Moments) voorgesteld door Follmann en Proschan (2013):
     $$\hat{\rho}_{MOM} = (1 - s_n^2) \cdot I(s_n^2 < 1)$$
     Hierbij is $s_n^2$ de steekproefvariantie van de toetsstatistieken. De logica is dat onder de nulhypothese (waar $\mu=0$) positief gecorreleerde data dicht bij elkaar clusteren rond een willekeurig getal; de mate van clustering (variabiliteit) bepaalt de correlatie.
  2. Globale Toetsstatistiek: De methode gebruikt het maximum van de absolute waarden van de toetsstatistieken: $M_n(|X|) = \max_{1 \le i \le n} |X_i|$.
  3. Bepaling van de Kritieke Waarde: In plaats van een vaste Bonferroni-drempel, wordt de kritieke waarde $c_\alpha$ numeriek bepaald door de verdeling van het maximum te integreren over de onbekende gemeenschappelijke variabele $Z_0$. De p-waarde wordt berekend als:
     $$p_0(\hat{\rho}) = 1 - \int_{-\infty}^{\infty} \Psi^n_{\mu=\sqrt{\hat{\rho}}z, \sigma=\sqrt{1-\hat{\rho}}}(M_n(|X|)) \phi(z) dz$$
     waarbij $\Psi$ de verdelingsfunctie van de gevouwen normale verdeling (folded-normal) is.

• Theoretische Validatie:
  De auteurs bewijzen dat deze methode de FWER exact controleert op het niveau $\alpha$ wanneer $n \to \infty$. Ze tonen aan dat de schatter $\hat{\rho}_{MOM}$ voldoet aan een specifieke convergentievoorwaarde (Assumptie 1), waardoor de geschatte p-waarde convergeert naar de theoretische p-waarde.

3. Belangrijkste Bijdragen

• Praktische Toepasbaarheid: De methode vereist geen kennis van de onderliggende correlatie $\rho$, maar schat deze direct uit de data, wat de methode toepasbaar maakt in realistische scenario's.
• Hogere Power: De methode behoudt de intuïtieve aard van Bonferroni (identificatie van individuele significante tests) maar bereikt aanzienlijk hogere power, vooral in spare alternatieven (waar slechts een klein aantal toetsen een effect heeft).
• Exacte FWER-controle: In tegenstelling tot veel andere methoden die alleen asymptotische controle bieden, garandeert deze methode (bij voldoende $n$) exacte controle van de FWER.
• Uitbreiding naar Tweezijdige Tests: Het artikel breidt het eerdere werk van Gupta et al. (1973), dat beperkt was tot eenzijdige tests, uit naar tweezijdige tests.

4. Resultaten (Simulaties)

De auteurs voerden uitgebreide simulaties uit met $n=1000$ en variërende correlaties ($\rho$) en significatieniveaus ($\alpha$).

• Spare Alternatieven: Wanneer slechts één toetsstatistiek een niet-nul gemiddelde heeft (extreem spaarzaam), presteert de voorgestelde methode (GNP*-MOM) beter dan of gelijk aan bestaande methoden zoals Bonferroni, HMP (Harmonic Mean P-value), en O'Brien's test. De power neemt toe naarmate $\rho$ en $\alpha$ stijgen, terwijl andere methoden hierin falen.
• Dichtheid van het Effect: Wanneer het aantal niet-nul gemiddelden toeneemt (van spaarzaam naar dichter), behoudt GNP*-MOM een hogere power, vooral wanneer minder dan 10% van de tests een effect heeft.
• FWER-controle (Size): De simulaties tonen aan dat GNP*-MOM de nominale $\alpha$-niveaus (0.01, 0.05, 0.10) zeer nauwkeurig controleert voor verschillende waarden van $n$ en $\rho$. Andere methoden (zoals HMP en Bonferroni) vertonen in bepaalde scenario's te hoge of te lage type-I fouten.
• Identificatie van Significante Tests: Hoewel de methode het maximum altijd als significant identificeert, kan de drempelwaarde te conservatief zijn voor de overige tests in het alternatief (zoals getoond in Figuur 3). De auteurs suggereren dat sequentiële procedures nodig zijn om dit te verbeteren.

5. Betekenis en Conclusie

Deze paper biedt een robuust en intuïtief alternatief voor de traditionele Bonferroni-correctie in situaties met afhankelijke, normaal verdeelde data.

• Voor de Praktijk: Het biedt een "best of both worlds" oplossing: de eenvoud van Bonferroni (identificatie van individuele hits) gecombineerd met de power van meer geavanceerde, afhankelijkheids-aware methoden.
• Beperkingen: De berekening van de kritieke waarde vereist numerieke integratie, wat een rekenkundige barrière kan vormen voor sommige gebruikers. Bovendien is de selectie van alle significante tests (naast het maximum) nog conservatief en vraagt om verder onderzoek naar sequentiële procedures.
• Toekomst: De auteurs zien potentie voor uitbreiding naar T-statistieken en gevallen met verschillende realized $\chi^2$-variabelen.

Kortom, de methode is een waardevolle toevoeging aan de toolbox voor meervoudige toetsing, vooral in de era van grote datasets waar afhankelijkheid tussen tests de regel is in plaats van de uitzondering.