Nonparametric Estimation via Expected Order Statistics

Resumen Técnico: Estimación No Paramétrica mediante Estadísticos de Orden Esperados

Enunciado del Problema
El artículo aborda la estimación de una función de distribución acumulada (CDF), $F$, basada en una muestra independiente e idénticamente distribuida (iid) $X_1, \dots, X_n$. El estimador no paramétrico estándar, la CDF empírica (ECDF), $F_n$, asigna una masa de $1/n$ a cada estadístico de orden observado $X_{i:n}$. Aunque $F_n$ es una piedra angular de la inferencia no paramétrica, los autores señalan que los propios estadísticos de orden son variables aleatorias con variabilidad inherente. Esta variabilidad contribuye al error de estimación de $F_n$. La pregunta central planteada es si el error de estimación puede reducirse reemplazando los estadísticos de orden aleatorios $X_{i:n}$ por estimadores de sus valores esperados, $\mu_{i:n} = E[X_{i:n}]$, creando así una aproximación "más suave" o menos variable de la distribución subyacente.

Metodología
Los autores proponen una nueva familia de estimadores denominada CDF Empírica de Hoeffding (EHCDF), denotada como $F_{n,m}$. Este estimador se construye aplicando un "operador CDF de Hoeffding", $H_m$, a la distribución empírica $F_n$.

1. El Operador de Hoeffding: Para una CDF dada $G$, el operador $H_m$ construye una nueva CDF que coloca una masa de $1/m$ en los estadísticos de orden esperados de una muestra hipotética de tamaño $m$ extraída de $G$. Específicamente, si $\mu_{j:m}(G)$ denota el $j$-ésimo estadístico de orden esperado de una muestra de tamaño $m$ extraída de $G$, entonces:
   $$H_m(G)(x) = \frac{1}{m} \sum_{j=1}^m \mathbb{1}\{\mu_{j:m}(G) \le x\}$$
   El contraparte determinista, $F_m = H_m(F)$, fue estudiado previamente por Hoeffding (1953) y se denomina CDF de Hoeffding (HCDF).

2. El Estimador EHCDF: Dado que $F$ es desconocida, los autores aplican el operador a la ECDF, $F_n$. El estimador resultante es:
   $$F_{n,m} = H_m(F_n) = \frac{1}{m} \sum_{j=1}^m \mathbb{1}\{\hat{\mu}_{j:m} \le x\}$$
   donde $\hat{\mu}_{j:m}$ es el estimador de sustitución (plug-in) del estadístico de orden esperado, calculado como una combinación lineal de los estadísticos de orden observados (una estadística L). El parámetro $m$ puede elegirse arbitrariamente y puede diferir del tamaño de la muestra $n$.

3. Representación por Cuantiles: El artículo utiliza un enfoque basado en cuantiles, definiendo un operador cuantil-Hoeffding $I_m$ que mapea la función cuantil $G^{-1}$ a una función escalonada. Esto permite a los autores aprovechar las propiedades de los espacios $L_p$ y la teoría de convergencia débil.

Contribuciones Clave y Resultados Teóricos

• Propiedades de Muestra Finita:

  • No expansividad: Se demuestra que el operador de Hoeffding $H_m$ es no expansivo en $L_1$. En consecuencia, la distancia entre la EHCDF y su contraparte determinista ($F_m$) está acotada por el error $L_1$ de la ECDF: $\|F_{n,m} - F_m\|_p^p \le \|F_n - F\|_1$.
  • Cierre de funcionales L: El artículo establece que aplicar el operador de Hoeffding a un funcional L produce otro funcional L con pesos actualizados. Específicamente, la EHCDF preserva la media muestral pero reduce determinísticamente las medidas de dispersión y forma. Por ejemplo, la Diferencia Absoluta Media (MAD) se escala por $(m-1)/m$, y la asimetría L por $(m-2)/m$.

• Convergencia Asintótica:

  • Consistencia: Los autores establecen la convergencia casi segura de $F_{n,m}$ a la verdadera CDF $F$ en norma $L_p$ y distancia de Wasserstein ($W_p$) cuando $n, m \to \infty$. Esto se cumple para $m$ fijo (convergencia estocástica hacia $F_m$ seguida de convergencia determinista de $F_m$ hacia $F$) y en el límite conjunto.
  • Convergencia Débil de Procesos Cuantílicos: El artículo analiza el proceso cuantil empírico $Q_{n,m} = \sqrt{n}(F_{n,m}^{-1} - F_m^{-1})$.
    • Para $m$ fijo, $Q_{n,m}$ converge débilmente en $L_p(0, 1)$ hacia un proceso escalonado gaussiano.
    • En el régimen conjunto $n, m \to \infty$ (específicamente si $n = o(m)$), el proceso converge débilmente al límite estándar del puente browniano asociado con la ECDF clásica, estableciendo la equivalencia asintótica con el enfoque clásico bajo estas condiciones.
  • Validez del Bootstrap: Se establece la validez del procedimiento de bootstrap para la EHCDF tanto en regímenes de $m$ fijo como en el límite conjunto.

• Distribuciones Asintóticas de Funcionales:

  • El artículo deriva las distribuciones asintóticas para funcionales basados en distancias, incluyendo normas $L_p$ y distancias de Wasserstein entre el estimador y la distribución verdadera. Estos resultados facilitan las pruebas de bondad de ajuste.

Resultados de Simulación
Los autores realizan un estudio numérico comparando la EHCDF frente a la ECDF y estimadores basados en núcleos (EKCDF y EKCDFM) a través de diversas distribuciones (Normal, $t$ de Student, Weibull, Gamma, Beta, Mezclas) y tamaños de muestra.

• Rendimiento: La EHCDF mejora generalmente a la ECDF en términos de error de estimación $L_p$ (a menudo entre un 5% y un 15%).
• Comparación con Núcleos: Si bien los métodos de núcleos pueden superar a la EHCDF en configuraciones específicas (por ejemplo, distribuciones gaussianas con ancho de banda óptimo), la EHCDF demuestra un rendimiento más estable a través de diferentes configuraciones distribucionales, particularmente al tratar con colas pesadas o problemas de frontera donde los métodos de núcleos pueden requerir transformaciones específicas o selección de ancho de banda.
• Comportamiento del MSE: La reducción del error se localiza principalmente en el cuerpo de la distribución. La estimación en las colas permanece menos precisa, lo cual se atribuye a la naturaleza promediadora del estimador que suaviza las observaciones extremas.

Significado y Afirmaciones
El artículo afirma que la EHCDF ofrece una nueva base para la inferencia no paramétrica que combina una construcción simple con una teoría asintótica manejable.

• Ventaja Teórica: A diferencia de los métodos de núcleos, cuyo análisis asintótico a menudo depende fuertemente de configuraciones específicas (ancho de banda, efectos de frontera) y puede ser técnicamente complejo, la EHCDF admite un tratamiento más directo mediante su representación cuantil mientras mantiene propiedades estadísticas sólidas.
• Utilidad Práctica: El estimador proporciona una alternativa robusta que mejora la ECDF cruda y permanece competitiva con los métodos de núcleos, ofreciendo mayor estabilidad a través de diversos escenarios distribucionales sin necesidad de una compleja selección de ancho de banda o correcciones de frontera.
• Novedad: Según el conocimiento de los autores, $F_{n,m}$ es un nuevo estimador. Si bien Hoeffding (1953) estudió la versión determinista ($F_m$), este artículo extiende el marco al entorno estocástico y empírico y proporciona la primera teoría asintótica integral y análisis de muestra finita para esta familia de estimadores.