More Permutations Do Not Always Increase Power: Non-monotonicity in Monte Carlo Permutation Tests

Technische Samenvatting: Non-monotonie in Monte Carlo-permutatietests

Probleemstelling
Monte Carlo-permutatietests zijn een standaardinstrument voor modelvrije statistische inferentie, waarbij wordt vertrouwd op het willekeurige aftrekken van $B$ permutaties uit een groep $G$ om een exacte $p$-waarde te benaderen. Een heersende praktische intuïtie suggereert dat het verhogen van het Monte Carlo-budget $B$ onvermijdelijk de testprestaties verbetert, specifiek door de statistische power te vergroten naarmate de Monte Carlo $p$-waarde concentreert rond zijn exacte tegenhanger. Dit artikel daagt die intuïtie uit en toont aan dat de relatie tussen het aantal getrokken permutaties $B$ en de statistische power niet monotoon is. Specifiek kan het verhogen van $B$, onder bepaalde omstandigheden, leiden tot een afname in de waarschijnlijkheid om de nulhypothese te verwerpen onder het alternatief.

Methodologie en Theoretisch Kader
De auteurs analyseren de structurele eigenschappen van de Monte Carlo-permutatietest, gedefinieerd door de verwerpingsregel $p_B(X) \leq \alpha$, waarbij:
$$p_B(X) = \frac{1 + \sum_{i=1}^B \mathbb{1}\{T(X^{\pi_i}) \geq T(X)\}}{B + 1}$$
De analyse rust op het geheelgetalige kritieke aantal $k_B = \lfloor (B+1)\alpha \rfloor - 1$. Het verwerpingsgebeurtenis is equivalent aan het aantal overschrijdingen $R_B(X)$ dat kleiner dan of gelijk is aan $k_B$.

Het kernmechanisme dat non-monotonie aandrijft, is het discrete, stapsgewijze karakter van $k_B$ als functie van $B$. De auteurs onderscheiden twee regimes in de evolutie van $k_B$:

1. Sprongen: Indices waarbij $k_B$ met 1 toeneemt (voorkomend wanneer $\lfloor (B+1)\alpha \rfloor = \lfloor B\alpha \rfloor + 1$).
2. Plateaus: Indices waarbij $k_B$ constant blijft naarmate $B$ toeneemt (voorkomend wanneer $\lfloor (B+1)\alpha \rfloor = \lfloor B\alpha \rfloor$).

Het artikel introduceert een niet-degeneratie-aanname: de conditionele overschrijdingskans $q(X) = P(T(X^\pi) \geq T(X) \mid X)$ is niet bijna zeker gelijk aan 1. Onder deze aanname leiden de auteurs de onvoorwaardelijke power af als $\text{Pow}(B) = E[\phi_B(X)]$, waarbij $\phi_B(X)$ de conditionele verwerpingskans is.

Belangrijkste Bijdragen en Resultaten

1. Bewijs van Non-monotonie:
   Het artikel bewijst dat power geen monotoon niet-dalende functie is van $B$. Specifiek, wanneer $B$ toeneemt binnen een "plateau" (waarbij $k_B$ constant is), vergelijkt de verwerpingsregel een extra Bernoulli-proef met dezelfde vaste drempel. Voor datasets waarbij $0 < q(X) < 1$, maakt dit verwerpen strikt moeilijker, waardoor de power afneemt.

2. Zaagbladstructuur en Lokale Maxima:
   De auteurs karakteriseren de powercurve als een "zaagblad"-patroon vertonend. Zij bewijzen dat strikte lokale maxima in power optreden bij specifieke indices $B$ waarbij een "sprong" in het kritieke aantal direct wordt gevolgd door een "plateau".

   • Stelling 1: Als $k_B - k_{B-1} = 1$ en $k_{B+1} - k_B = 0$, dan is $\text{Pow}(B)$ een strikt lokaal maximum.
   • Oneindig Veel Maxima: Het artikel toont aan dat dergelijke sprong-plateau patronen oneindig vaak voorkomen naarmate $B \to \infty$, wat impliceert dat de powercurve oneindig veel lokale maxima heeft.

3. Aanpassingsvoorwaarde:
   Een eenvoudige voldoende voorwaarde voor een lokaal maximum is $(B+1)\alpha \in \mathbb{N}$. Voor gebruikelijke significantieniveaus $\alpha \in \{0.1, 0.05, 0.01\}$, die de vorm $1/m$ hebben, is deze voorwaarde niet alleen voldoende maar ook noodzakelijk om de verzameling van alle strikte lokale maxima te karakteriseren.

4. Kwantificering van Powerverlies:
   Propositie 1 kwantificeert de omvang van de neerwaartse stappen in power. Het toont aan dat de afname in power bij het bewegen van een sprong-index naar een plateau-index van de orde $O(B^{-1/2})$ is en biedt een verdelingsvrije bovengrens voor deze afname.

5. Concrete Illustratie:
   De auteurs geven een gesloten-vorm voorbeeld met behulp van een twee-steekproeven Bernoulli-probleem. Zij tonen aan dat, hoewel de Monte Carlo-power convergeert naar de exacte power naarmate $B \to \infty$, het pad van convergentie oscillerend is. Afhankelijk van de parameters ($n, p_1$) kan de Monte Carlo-power voor aanzienlijke bereiken van $B$ strikt onder of strikt boven de exacte power liggen, wat verder illustreert dat meer permutaties niet garanderen dat er bij elke stap een "betere" test ontstaat.

Betekenis en Praktische Implicaties
Het artikel betoogt dat non-monotonie geen pathologische curiositeit is, maar een fundamenteel structureel kenmerk van Monte Carlo-permutatietests dat voortkomt uit de discretie van de verwerpingsdrempel. De auteurs verduidelijken dat dit niet impliceert dat "meer permutaties slecht zijn"; het verhogen van $B$ vermindert nog steeds de simulatievariabiliteit en verfijnt de verzameling van haalbare $p$-waarden. Echter, voor het specifieke doel om power te maximaliseren bij een vast niveau $\alpha$, is het simpelweg verhogen van $B$ geen monotoon strategie.

De primaire praktische aanbeveling is een ontwerpregel: beoefenaars moeten $B$ zo kiezen dat $(B+1)\alpha \in \mathbb{N}$. Deze uitlijning plaatst de test op een lokaal powermaximum. Alternatief suggereren de auteurs het gebruik van gerandomiseerde $p$-waarden om de discretie te gladstrijken of het toepassen van sequentiële procedures die adaptief het aantal permutaties bepalen, in plaats van $B$ willekeurig vast te leggen. Het werk dient als een waarschuwing tegen de ononderzochte aanname dat grotere Monte Carlo-budgetten altijd superieure statistische power opleveren.