More Permutations Do Not Always Increase Power: Non-monotonicity in Monte Carlo Permutation Tests

Sintesi Tecnica: Non monotonicità nei test di permutazione Monte Carlo

Enunciato del Problema
I test di permutazione Monte Carlo sono uno strumento standard per l'inferenza statistica senza modello, che si basano sul campionamento casuale di $B$ permutazioni da un gruppo $G$ per approssimare un valore $p$ esatto. Un'intuizione pratica prevalente suggerisce che aumentare il budget Monte Carlo $B$ migliori invariabilmente le prestazioni del test, specificamente aumentando la potenza statistica man mano che il valore $p$ Monte Carlo si concentra attorno al suo corrispettivo esatto. Questo lavoro sfida tale intuizione, dimostrando che la relazione tra il numero di permutazioni campionate $B$ e la potenza statistica non è monotona. Nello specifico, aumentare $B$ può, in determinate condizioni, portare a una diminuzione della probabilità di rifiutare l'ipotesi nulla sotto l'alternativa.

Metodologia e Quadro Teorico
Gli autori analizzano le proprietà strutturali del test di permutazione Monte Carlo definito dalla regola di rifiuto $p_B(X) \leq \alpha$, dove:
$$p_B(X) = \frac{1 + \sum_{i=1}^B \mathbb{1}\{T(X^{\pi_i}) \geq T(X)\}}{B + 1}$$
L'analisi poggia sul conteggio critico a valori interi $k_B = \lfloor (B+1)\alpha \rfloor - 1$. L'evento di rifiuto è equivalente al numero di superamenti $R_B(X)$ essere minore o uguale a $k_B$.

Il meccanismo fondamentale alla base della non monotonicità è la natura discreta e a gradini di $k_B$ in funzione di $B$. Gli autori distinguono tra due regimi nell'evoluzione di $k_B$:

1. Salti: Indici in cui $k_B$ aumenta di 1 (verificandosi quando $\lfloor (B+1)\alpha \rfloor = \lfloor B\alpha \rfloor + 1$).
2. Plateau: Indici in cui $k_B$ rimane costante mentre $B$ aumenta (verificandosi quando $\lfloor (B+1)\alpha \rfloor = \lfloor B\alpha \rfloor$).

Il lavoro introduce un'assunzione di non degenerazione: la probabilità condizionata di superamento $q(X) = P(T(X^\pi) \geq T(X) \mid X)$ non è quasi certamente uguale a 1. Sotto questa assunzione, gli autori derivano la potenza incondizionata $\text{Pow}(B) = E[\phi_B(X)]$, dove $\phi_B(X)$ è la probabilità condizionata di rifiuto.

Contributi e Risultati Chiave

1. Dimostrazione della Non monotonicità:
   Il lavoro dimostra che la potenza non è una funzione monotona non decrescente di $B$. Nello specifico, quando $B$ aumenta all'interno di un "plateau" (dove $k_B$ è costante), la regola di rifiuto confronta una prova bernoulliana aggiuntiva con la stessa soglia fissa. Per dataset in cui $0 < q(X) < 1$, ciò rende il rifiuto strettamente più difficile, causando una diminuzione della potenza.

2. Struttura a Dente di Sega e Massimi Locali:
   Gli autori caratterizzano la curva di potenza come avente un pattern a "dente di sega". Dimostrano che massimi locali stretti nella potenza si verificano in specifici indici $B$ in cui un "salto" nel conteggio critico è immediatamente seguito da un "plateau".

   • Teorema 1: Se $k_B - k_{B-1} = 1$ e $k_{B+1} - k_B = 0$, allora $\text{Pow}(B)$ è un massimo locale stretto.
   • Infiniti Massimi: Il lavoro dimostra che tali pattern salto-plateau si verificano infinite volte al tendere di $B$ all'infinito, implicando che la curva di potenza possiede infiniti massimi locali.

3. Condizione di Allineamento:
   Una semplice condizione sufficiente per un massimo locale è $(B+1)\alpha \in \mathbb{N}$. Per i comuni livelli di significatività $\alpha \in \{0.1, 0.05, 0.01\}$, che sono della forma $1/m$, questa condizione non è solo sufficiente ma necessaria per caratterizzare l'insieme di tutti i massimi locali stretti.

4. Quantificazione della Perdita di Potenza:
   La Proposizione 1 quantifica l'entità dei passi discendenti nella potenza. Dimostra che la diminuzione della potenza nel passare da un indice di salto a un indice di plateau è dell'ordine $O(B^{-1/2})$ e fornisce un limite superiore privo di distribuzione per tale diminuzione.

5. Illustrazione Concreta:
   Gli autori forniscono un esempio in forma chiusa utilizzando un problema Bernoulli a due campioni. Dimostrano che, sebbene la potenza Monte Carlo converga alla potenza esatta al tendere di $B$ all'infinito, il percorso di convergenza è oscillatorio. A seconda dei parametri ($n, p_1$), la potenza Monte Carlo può essere strettamente inferiore o strettamente superiore alla potenza esatta per ampi intervalli di $B$, illustrando ulteriormente che più permutazioni non garantiscono un test "migliore" ad ogni singolo passo.

Significato e Implicazioni Pratiche
Il lavoro sostiene che la non monotonicità non è una curiosità patologica ma una caratteristica strutturale fondamentale dei test di permutazione Monte Carlo che nasce dalla discretezza della soglia di rifiuto. Gli autori chiariscono che ciò non implica che "più permutazioni siano cattive"; aumentare $B$ riduce ancora la variabilità di simulazione e affina l'insieme dei valori $p$ ottenibili. Tuttavia, per il specifico obiettivo di massimizzare la potenza a un livello fisso $\alpha$, aumentare semplicemente $B$ non è una strategia monotona.

La raccomandazione pratica primaria è una regola di progettazione: i praticanti dovrebbero scegliere $B$ tale che $(B+1)\alpha \in \mathbb{N}$. Tale allineamento posiziona il test a un massimo locale di potenza. In alternativa, gli autori suggeriscono di utilizzare valori $p$ randomizzati per appianare la discretezza o di impiegare procedure sequenziali che determinino adattivamente il numero di permutazioni, piuttosto che fissare $B$ arbitrariamente. Il lavoro funge da nota cautelativa contro l'assunzione non esaminata che budget Monte Carlo più grandi producano sempre una potenza statistica superiore.