More Permutations Do Not Always Increase Power: Non-monotonicity in Monte Carlo Permutation Tests

Resumo Técnico: Não monotonicidade em testes de permutação de Monte Carlo

Enunciado do Problema
Os testes de permutação de Monte Carlo são uma ferramenta padrão para inferência estatística livre de modelos, baseando-se na amostragem aleatória de $B$ permutações de um grupo $G$ para aproximar um valor-$p$ exato. Uma intuição prática prevalecente sugere que aumentar o orçamento de Monte Carlo $B$ melhora invariavelmente o desempenho do teste, especificamente ao aumentar o poder estatístico à medida que o valor-$p$ de Monte Carlo se concentra em torno de seu correspondente exato. Este artigo desafia essa intuição, demonstrando que a relação entre o número de permutações amostradas $B$ e o poder estatístico não é monotônica. Especificamente, aumentar $B$ pode, sob certas condições, levar a uma diminuição na probabilidade de rejeitar a hipótese nula sob a alternativa.

Metodologia e Estrutura Teórica
Os autores analisam as propriedades estruturais do teste de permutação de Monte Carlo definido pela regra de rejeição $p_B(X) \leq \alpha$, onde:
$$p_B(X) = \frac{1 + \sum_{i=1}^B \mathbb{1}\{T(X^{\pi_i}) \geq T(X)\}}{B + 1}$$
A análise repousa na contagem crítica de valor inteiro $k_B = \lfloor (B+1)\alpha \rfloor - 1$. O evento de rejeição é equivalente ao número de excessos $R_B(X)$ ser menor ou igual a $k_B$.

O mecanismo central que impulsiona a não monotonicidade é a natureza discreta e em etapas de $k_B$ como função de $B$. Os autores distinguem dois regimes na evolução de $k_B$:

1. Saltos: Índices onde $k_B$ aumenta em 1 (ocorrendo quando $\lfloor (B+1)\alpha \rfloor = \lfloor B\alpha \rfloor + 1$).
2. Patamares: Índices onde $k_B$ permanece constante conforme $B$ aumenta (ocorrendo quando $\lfloor (B+1)\alpha \rfloor = \lfloor B\alpha \rfloor$).

O artigo introduz uma hipótese de não degeneração: a probabilidade condicional de excesso $q(X) = P(T(X^\pi) \geq T(X) \mid X)$ não é quase certamente igual a 1. Sob essa hipótese, os autores derivam o poder incondicional $\text{Pow}(B) = E[\phi_B(X)]$, onde $\phi_B(X)$ é a probabilidade condicional de rejeição.

Principais Contribuições e Resultados

1. Prova da Não Monotonicidade:
   O artigo prova que o poder não é uma função não decrescente monotônica de $B$. Especificamente, quando $B$ aumenta dentro de um "patamar" (onde $k_B$ é constante), a regra de rejeição compara uma tentativa Bernoulli adicional contra o mesmo limiar fixo. Para conjuntos de dados onde $0 < q(X) < 1$, isso torna a rejeição estritamente mais difícil, causando a diminuição do poder.

2. Estrutura em Dente de Serra e Máximos Locais:
   Os autores caracterizam a curva de poder como exibindo um padrão em "dente de serra". Eles provam que máximos locais estritos no poder ocorrem em índices específicos $B$ onde um "salto" na contagem crítica é imediatamente seguido por um "patamar".

   • Teorema 1: Se $k_B - k_{B-1} = 1$ e $k_{B+1} - k_B = 0$, então $\text{Pow}(B)$ é um máximo local estrito.
   • Infinitos Máximos: O artigo demonstra que tais padrões de salto-patamar ocorrem infinitamente muitas vezes à medida que $B \to \infty$, implicando que a curva de poder possui infinitos máximos locais.

3. Condição de Alinhamento:
   Uma condição suficiente simples para um máximo local é $(B+1)\alpha \in \mathbb{N}$. Para níveis de significância comuns $\alpha \in \{0.1, 0.05, 0.01\}$, que são da forma $1/m$, essa condição não é apenas suficiente, mas necessária para caracterizar o conjunto de todos os máximos locais estritos.

4. Quantificação da Perda de Poder:
   A Proposição 1 quantifica a magnitude dos passos descendentes no poder. Ela mostra que a diminuição do poder ao mover-se de um índice de salto para um índice de patamar é da ordem $O(B^{-1/2})$ e fornece um limite superior livre de distribuição para essa diminuição.

5. Ilustração Concreta:
   Os autores fornecem um exemplo de forma fechada usando um problema Bernoulli de duas amostras. Eles demonstram que, embora o poder de Monte Carlo convirja para o poder exato à medida que $B \to \infty$, o caminho da convergência é oscilatório. Dependendo dos parâmetros ($n, p_1$), o poder de Monte Carlo pode estar estritamente abaixo ou estritamente acima do poder exato para faixas substanciais de $B$, ilustrando ainda mais que mais permutações não garantem um teste "melhor" a cada passo.

Significado e Implicações Práticas
O artigo argumenta que a não monotonicidade não é uma curiosidade patológica, mas uma característica estrutural fundamental dos testes de permutação de Monte Carlo que surge da discretização do limiar de rejeição. Os autores esclarecem que isso não implica que "mais permutações são ruins"; aumentar $B$ ainda reduz a variabilidade de simulação e refina o conjunto de valores-$p$ alcançáveis. No entanto, para o objetivo específico de maximizar o poder em um nível fixo $\alpha$, simplesmente aumentar $B$ não é uma estratégia monotônica.

A recomendação prática primária é uma regra de projeto: os praticantes devem escolher $B$ tal que $(B+1)\alpha \in \mathbb{N}$. Esse alinhamento coloca o teste em um máximo local de poder. Alternativamente, os autores sugerem o uso de valores-$p$ aleatorizados para suavizar a discretização ou empregar procedimentos sequenciais que determinam adaptativamente o número de permutações, em vez de fixar $B$ arbitrariamente. O trabalho serve como um aviso contra a suposição não examinada de que orçamentos de Monte Carlo maiores sempre produzem poder estatístico superior.