Finite-sample nonparametric mean tests: Leave-one-out duality and asymptotic optimality

Resumen Técnico: Pruebas de media no paramétricas de muestra finita: Dualidad de exclusión de uno y optimalidad asintótica

Planteamiento del problema
El artículo aborda el problema de las pruebas de hipótesis de validez de muestra finita para la media de variables aleatorias no negativas. Específicamente, dadas observaciones i.i.d. $X_1, \dots, X_n$ de una distribución desconocida en $\mathbb{R}_+$ con media $\mu$, el objetivo es probar la hipótesis unilateral:
$$H_0: \mu \le 1 \quad \text{frente a} \quad H_1: \mu > 1.$$
La inferencia no paramétrica estándar para la media es generalmente imposible sin restricciones distribucionales, según lo establecido por Bahadur y Savage [1956], quienes demostraron que para la clase de todas las distribuciones con una media finita, cualquier prueba uniformemente de nivel $\alpha$ tiene un poder a lo sumo $\alpha$ en cada alternativa. Esta imposibilidad surge porque la media no es robusta; una pequeña masa de probabilidad lejos en la dirección desfavorable puede alterar drásticamente la media teniendo, al mismo tiempo, un efecto insignificante en los estadísticos de muestra finita.

Los autores restringen el problema a variables aleatorias no negativas ($X_i \ge 0$). Si bien esto permite la construcción de pruebas válidas, las herramientas existentes son limitadas. Las pruebas estándar de permutación y de rangos no se aplican directamente. Las aproximaciones normales y los métodos de bootstrap ofrecen solo validez asintótica. Los métodos basados en la concentración (por ejemplo, Hoeffding, Bernstein) suelen requerir un soporte acotado conocido, control de la varianza o supuestos de momentos más fuertes, que a menudo no están disponibles en entornos con datos no negativos de cola pesada o altamente sesgados (por ejemplo, pérdidas de seguros, ingresos por cliente).

Metodología: Marco de certificado dual de exclusión de uno (Leave-One-Out)
La contribución metodológica central es un marco de "certificado dual de exclusión de uno". Los autores definen una clase nula de exclusión de uno $\mathcal{P}^n_{loo}$, que incluye distribuciones donde la media condicional satisface $E_P[X_i | X_{-i}] \le 1$ casi seguramente. Esta clase es más amplia que la nula i.i.d. estándar, pero permite un argumento de dualidad riguroso.

Para demostrar que un estadístico $T: \mathbb{R}^n_+ \to [0, 1]$ es un p-valor válido (es decir, $P(T(X) \le \alpha) \le \alpha$ para todo $P \in \mathcal{P}^n_{loo}$), los autores formulan un problema de optimización sobre la clase de distribuciones factibles. Utilizan el dual lagrangiano de este problema. Al introducir multiplicadores de Lagrange no negativos $\lambda^{(i)}_\alpha$, derivan una condición de desigualdad puntual (denotada como cert):
$$\alpha + \sum_{i=1}^n \lambda^{(i)}_\alpha(x_{-i})(x_i - 1) \ge \mathbb{1}\{T(x) \le \alpha\} \quad \forall x \in \mathbb{R}^n_+.$$
Si tales funciones no negativas $\lambda^{(i)}_\alpha$ existen, la dualidad débil garantiza que $T$ es un p-valor válido. Este enfoque reduce la optimización de dimensión infinita sobre distribuciones a la búsqueda de funciones que satisfagan desigualdades puntuales.

Una extensión clave de este marco es el principio de "conmutación dual" (Teorema 5.1). Si dos p-valores $S$ y $T$ admiten certificados duales con propiedades específicas de monotonicidad y orden, su mínimo puntual $\min\{S, T\}$ también es un p-valor válido. Esto permite la combinación de diferentes estrategias de prueba para mejorar la potencia sin sacrificar la validez.

Contribuciones clave y resultados

1. Validación de la razón de verosimilitud no paramétrica ($T_{nplr}$):
   El artículo proporciona una prueba rigurosa de la validez de muestra finita del estadístico $T_{nplr}$ propuesto por Wang y Zhao [2003]. Este estadístico se define mediante una razón de verosimilitud no paramétrica:
   $$T_{nplr}(x) = \min_{t \in [0,1]} \prod_{i=1}^n (1 - t + t x_i)^{-1}.$$
   Aunque Wang y Zhao conjeturaron su validez, y el trabajo concurrente de Ming et al. [2026] lo verificó mediante una representación diferente, este artículo establece su validez bajo la nula de exclusión de uno utilizando el marco de certificado dual.

2. P-valor binomial generalizado ($T_{bin+}$):
   Los autores introducen un nuevo estadístico, $T_{bin+}$, que extiende la prueba binomial exacta de Clopper-Pearson a variables aleatorias no negativas generales. Se construye considerando un escenario de "peor caso" donde las observaciones toman valores en $\{0, x_{max}\}$. El estadístico se define como:
   $$T_{bin+}(x) = \frac{\int_{-1/(x_{max}-1)}^0 \prod_{i \ne j} (1 + s(x_i - 1)) ds}{\int_{-1/(x_{max}-1)}^1 \prod_{i \ne j} (1 + s(x_i - 1)) ds},$$
   donde $j$ es un índice tal que $x_j = x_{max}$. El artículo demuestra que $T_{bin+}$ es un p-valor válido para $\mathcal{P}^n_{loo}$ y proporciona una representación eficiente que involucra integrales de funciones de producto.

3. Estadístico combinado:
   Utilizando el principio de conmutación dual, los autores muestran que el mínimo puntual $\min\{T_{nplr}, T_{bin+}\}$ es un p-valor válido. Este estadístico combinado es más potente que cualquiera de sus componentes por sí solo, ya que $T_{nplr}$ es más sensible a la evidencia distribuida entre múltiples observaciones, mientras que $T_{bin+}$ es más sensible a la evidencia concentrada en unos pocos valores atípicos grandes.

4. Optimalidad asintótica:
   El artículo establece resultados de optimalidad aguda en dos regímenes bajo la nula i.i.d. $\mathcal{P}^n_{iid}$:

   • Detectabilidad Cero-Uno: En el régimen totalmente no paramétrico sin supuestos de momentos, la distancia de Hellinger al cuadrado $H^2(Q_n, \mathcal{P}_0)$ determina la detectabilidad. Si $n H^2 \to \infty$, las pruebas $T_{nplr}$, $T_{bin+}$ y su mínimo logran una potencia asintótica de 1. Si $n H^2 \to 0$, ninguna prueba logra una potencia mayor que $\alpha$.
   • Potencia asintótica local: Bajo alternativas locales regulares que se aproximan a la nula a una tasa de $n^{-1/2}$, la potencia no paramétrica óptima coincide con la de un experimento de desplazamiento de media gaussiana. El artículo demuestra que $T_{bin+}$ y $\min\{T_{nplr}, T_{bin+}\}$ alcanzan esta potencia óptima. En contraste, se muestra que $T_{nplr}$ es estrictamente conservador y no logra alcanzar la potencia asintótica local óptima.

Significado y Reivindicaciones
El artículo afirma resolver la cuestión abierta de la validez de muestra finita del estadístico de razón de verosimilitud no paramétrica $T_{nplr}$ bajo una amplia nula de exclusión de uno. Introduce un nuevo estadístico, $T_{bin+}$, que llena un vacío en las pruebas no paramétricas para datos no negativos extendiendo los métodos binomiales exactos a soportes no acotados.

La significancia del trabajo radica en:

• Rigor Teórico: Proporcionar un marco dual unificado que demuestra la validez sin requerir soporte acotado o supuestos de varianza, que son estándar en las desigualdades de concentración, pero que a menudo son poco realistas en la práctica.
• Optimalidad: Demostrar que, si bien $T_{nplr}$ es válido, es subóptimo en regímenes asintóticos locales, mientras que $T_{bin+}$ alcanza el límite inferior de potencia no paramétrica.
• Utilidad Práctica: La combinación de estos estadísticos produce un método que es tanto válido en muestra finita como asintóticamente óptimo, ofreciendo ganancias de potencia sustanciales sobre los métodos existentes (como los métodos de banda de la CDF, los métodos basados en apuestas y los límites de Bernstein empíricos) en experimentos numéricos.

Los autores enfatizan que sus resultados son específicos para variables aleatorias no negativas y la estructura de la nula de exclusión de uno, distinguiendo su enfoque de los métodos de apuestas secuenciales (por ejemplo, Waudby-Smith y Ramdas [2024]) que se aplican a una nula secuencial más amplia pero que pueden no ofrecer las mismas propiedades de potencia de muestra finita bajo el supuesto i.i.d.