More Permutations Do Not Always Increase Power: Non-monotonicity in Monte Carlo Permutation Tests

Resumen Técnico: No monotonicidad en pruebas de permutación Monte Carlo

Planteamiento del Problema
Las pruebas de permutación Monte Carlo son una herramienta estándar para la inferencia estadística libre de modelos, que se basa en el muestreo aleatorio de $B$ permutaciones de un grupo $G$ para aproximar un valor $p$ exacto. Una intuición práctica predominante sugiere que aumentar el presupuesto Monte Carlo $B$ mejora invariablemente el rendimiento de la prueba, específicamente al aumentar la potencia estadística a medida que el valor $p$ de Monte Carlo se concentra alrededor de su contraparte exacta. Este artículo desafía esa intuición, demostrando que la relación entre el número de permutaciones muestreadas $B$ y la potencia estadística no es monótona. Específicamente, aumentar $B$ puede, bajo ciertas condiciones, conducir a una disminución en la probabilidad de rechazar la hipótesis nula bajo la alternativa.

Metodología y Marco Teórico
Los autores analizan las propiedades estructurales de la prueba de permutación Monte Carlo definida por la regla de rechazo $p_B(X) \leq \alpha$, donde:
$$p_B(X) = \frac{1 + \sum_{i=1}^B \mathbb{1}\{T(X^{\pi_i}) \geq T(X)\}}{B + 1}$$
El análisis se basa en el conteo crítico de valor entero $k_B = \lfloor (B+1)\alpha \rfloor - 1$. El evento de rechazo es equivalente a que el número de excedencias $R_B(X)$ sea menor o igual a $k_B$.

El mecanismo central que impulsa la no monotonicidad es la naturaleza discreta y escalonada de $k_B$ como función de $B$. Los autores distinguen entre dos regímenes en la evolución de $k_B$:

1. Saltos: Índices donde $k_B$ aumenta en 1 (ocurre cuando $\lfloor (B+1)\alpha \rfloor = \lfloor B\alpha \rfloor + 1$).
2. Mesetas: Índices donde $k_B$ permanece constante a medida que $B$ aumenta (ocurre cuando $\lfloor (B+1)\alpha \rfloor = \lfloor B\alpha \rfloor$).

El artículo introduce una suposición de no degeneración: la probabilidad condicional de excedencia $q(X) = P(T(X^\pi) \geq T(X) \mid X)$ no es igual a 1 casi seguramente. Bajo esta suposición, los autores derivan la potencia incondicional $\text{Pow}(B) = E[\phi_B(X)]$, donde $\phi_B(X)$ es la probabilidad condicional de rechazo.

Contribuciones y Resultados Clave

1. Prueba de No Monotonicidad:
   El artículo demuestra que la potencia no es una función monótona no decreciente de $B$. Específicamente, cuando $B$ aumenta dentro de una "meseta" (donde $k_B$ es constante), la regla de rechazo compara una prueba de Bernoulli adicional contra el mismo umbral fijo. Para conjuntos de datos donde $0 < q(X) < 1$, esto hace que el rechazo sea estrictamente más difícil, provocando que la potencia disminuya.

2. Estructura de Diente de Sierra y Máximos Locales:
   Los autores caracterizan la curva de potencia como exhibiendo un patrón de "diente de sierra". Demuestran que los máximos locales estrictos en la potencia ocurren en índices específicos $B$ donde un "salto" en el conteo crítico es seguido inmediatamente por una "meseta".

   • Teorema 1: Si $k_B - k_{B-1} = 1$ y $k_{B+1} - k_B = 0$, entonces $\text{Pow}(B)$ es un máximo local estricto.
   • Infinitos Máximos: El artículo demuestra que tales patrones de salto-meseta ocurren infinitas veces a medida que $B \to \infty$, lo que implica que la curva de potencia tiene infinitos máximos locales.

3. Condición de Alineación:
   Una condición suficiente simple para un máximo local es $(B+1)\alpha \in \mathbb{N}$. Para niveles de significancia comunes $\alpha \in \{0.1, 0.05, 0.01\}$, que son de la forma $1/m$, esta condición no es solo suficiente, sino necesaria para caracterizar el conjunto de todos los máximos locales estrictos.

4. Cuantificación de la Pérdida de Potencia:
   La Proposición 1 cuantifica la magnitud de los pasos descendentes en la potencia. Muestra que la disminución de la potencia al moverse de un índice de salto a un índice de meseta es del orden $O(B^{-1/2})$ y proporciona una cota superior libre de distribución para esta disminución.

5. Ilustración Concreta:
   Los autores proporcionan un ejemplo de forma cerrada utilizando un problema de Bernoulli de dos muestras. Demuestran que, aunque la potencia de Monte Carlo converge a la potencia exacta a medida que $B \to \infty$, la trayectoria de convergencia es oscilatoria. Dependiendo de los parámetros ($n, p_1$), la potencia de Monte Carlo puede estar estrictamente por debajo o estrictamente por encima de la potencia exacta para rangos sustanciales de $B$, ilustrando aún más que más permutaciones no garantizan una prueba "mejor" en cada paso.

Significado e Implicaciones Prácticas
El artículo argumenta que la no monotonicidad no es una curiosidad patológica, sino una característica estructural fundamental de las pruebas de permutación Monte Carlo que surge de la discreción del umbral de rechazo. Los autores aclaran que esto no implica que "más permutaciones sean malas"; aumentar $B$ sigue reduciendo la variabilidad de la simulación y refina el conjunto de valores $p$ alcanzables. Sin embargo, para el objetivo específico de maximizar la potencia a un nivel fijo $\alpha$, simplemente aumentar $B$ no es una estrategia monótona.

La recomendación práctica principal es una regla de diseño: los practicantes deben elegir $B$ de tal manera que $(B+1)\alpha \in \mathbb{N}$. Esta alineación coloca la prueba en un máximo de potencia local. Alternativamente, los autores sugieren utilizar valores $p$ aleatorizados para suavizar la discreción o emplear procedimientos secuenciales que determinen adaptativamente el número de permutaciones, en lugar de fijar $B$ arbitrariamente. El trabajo sirve como una nota de advertencia contra la suposición no examinada de que presupuestos Monte Carlo más grandes siempre producen una potencia estadística superior.