Resumen Técnico: Intervalos de Confianza más Estrechos para Cuantiles de Datos Heterogéneos

Declaración del Problema

La inferencia de cuantiles no paramétrica estándar típicamente asume datos independientes e idénticamente distribuidos (i.i.d.). Sin embargo, en muchas aplicaciones modernas, las observaciones son independientes pero surgen de distribuciones distintas (datos heterogéneos). Si bien los resultados clásicos (por ejemplo, Shorack, 1973; van Zuijlen, 1976) establecen que la varianza asintótica de la función de distribución empírica se maximiza bajo el muestreo i.i.d. y puede reducirse significativamente bajo la heterogeneidad, esta ventaja teórica no ha sido utilizada prácticamente para la inferencia.

Actualmente, no existe un método no paramétrico asintóticamente correcto para cuantificar esta reducción de la varianza en entornos heterogéneos generales. En consecuencia, los estadísticos se ven obligados a:

1. Utilizar intervalos de confianza basados en i.i.d., los cuales son excesivamente conservadores (demasiado anchos) cuando hay heterogeneidad presente.
2. Restringir el análisis a escenarios poco realistas donde la heterogeneidad es insignificante, efectivamente regresando al límite i.i.d.

El objetivo de inferencia específico en este trabajo es el cuantil $\bar{Q}_n(\tau)$ correspondiente a la distribución promedio $\bar{F}_n = n^{-1}\sum_{i=1}^n F_{n,i}$, donde $X_i \sim F_{n,i}$ son independientes pero no idénticamente distribuidas.

Metodología

Marco y Supuestos

Los autores consideran una matriz triangular de datos univariados independientes $X_i \sim F_{n,i}$ para $1 \le i \le n$. Los datos se particionan en $g$ grupos, denominados conjuntos de índices $I_{n,j}$, de tal manera que las observaciones dentro de un grupo comparten una distribución común, aunque las distribuciones pueden diferir arbitrariamente entre los grupos.

• Supuesto 1: Para todo $n \ge 2$, existe una partición de índices tal que $F_i = F_{i'}$ para todo $i, i'$ en el mismo grupo, y cada grupo contiene al menos dos índices.
• Supuesto 2: Se cumple una condición de tipo Lindeberg: $n V_n(\tau) \to \infty$ cuando $n \to \infty$, donde $V_n(\tau)$ es la varianza asintótica.

Reducción de la Varianza y Estimación

La varianza de estimación de la función de distribución empírica $\hat{F}$ en el cuantil objetivo está dada por:
$$V_n(\tau) = n^{-1} \sum_{i=1}^n F_i(\bar{Q}_n(\tau)) [1 - F_i(\bar{Q}_n(\tau))]$$
Bajo condiciones i.i.d., $V_n(\tau) \equiv \tau(1-\tau)$. Bajo heterogeneidad, $V_n(\tau) \le \tau(1-\tau)$, manteniéndose generalmente una desigualdad estricta.

La contribución metodológica central es la construcción de un estimador de consistencia de razón $\hat{V}(\tau)$ para esta varianza heterogénea. El estimador aprovecha la estructura de grupos:
$$\hat{V}(\tau) = n^{-1} \sum_{j=1}^g \frac{1}{m_j - 1} \left( \sum_{\ell \in I_{n,j}} \mathbb{1}\{X_\ell \le \hat{Q}(\tau)\} \right) \left( \sum_{\ell \in I_{n,j}} \mathbb{1}\{X_\ell > \hat{Q}(\tau)\} \right)$$
donde $m_j$ es el tamaño del grupo $j$ y $\hat{Q}(\tau)$ es el cuantil empírico. Este estimador se basa en rangos y es invariante ante transformaciones estrictamente crecientes.

Resultados Teóricos

1. Consistencia: Bajo los Supuestos 1 y 2, el estimador $\hat{V}(\tau)$ es de consistencia de razón, lo que significa que $\hat{V}(\tau)/V_n(\tau) \xrightarrow{p} 1$.
2. Normalidad Asintótica: Combinando la consistencia del estimador de la varianza con el Teorema del Límite Central para la función de distribución empírica, los autores establecen:
   $$\left( \frac{n}{\hat{V}(\tau)} \right)^{1/2} (\hat{F}(\bar{Q}_n(\tau)) - \tau) \xrightarrow{d} N(0, 1)$$
3. Intervalos de Confianza: Al invertir el resultado asintótico utilizando desigualdades de Galois (que relacionan las funciones de distribución y de cuantiles), el artículo deriva un intervalo de confianza asintóticamente correcto de $100(1-\alpha)\%$ para $\bar{Q}_n(\tau)$:
   $$(\hat{Q}(\tau - \hat{c}(\alpha)), \hat{Q}(\tau + \hat{c}(\alpha)))$$
   donde $\hat{c}(\alpha) = \hat{V}(\tau)/n^{1/2} \Phi^{-1}(1-\alpha/2)$. Notablemente, este procedimiento no requiere la existencia de una función de densidad de cuantiles.

Resultados de Simulación

Los autores realizaron un estudio de simulación con $n=350$ y 10,000 replicaciones de Monte Carlo para evaluar el desempeño del método.

• Mecanismos Generadores de Datos: Se probaron tres tipos de datos heterogéneos (Normal, Exponencial, Uniforme) con grados variables de heterogeneidad controlados por un parámetro $\gamma \in \{1, 2, 3, 4\}$.
• Diseños de Agrupación: Se compararon dos estrategias de agrupación: "Grupos gemelos" ($m_j=2$, $g=175$) y "Grupos triangulares" ($m_j=j+1$, $g=25$).
• Hallazgos:
  • Reducción de la Varianza: El error de estimación para los datos heterogéneos fue sustancialmente menor que para las muestras i.i.d. extraídas de la distribución promedio. El diseño de "Grupos gemelos", que exhibe mayor heterogeneidad, mostró la mayor reducción de la variabilidad.
  • Cobertura: Los intervalos de confianza propuestos alcanzaron probabilidades de cobertura muy cercanas al nivel nominal del 95% en todos los escenarios (oscilando aproximadamente entre 93.0% y 95.2%).
  • Ancho del Intervalo: Los intervalos resultantes fueron sustancialmente más cortos que aquellos derivados de supuestos i.i.d. estándar, los cuales mostraron ser excesivamente conservadores.

Significado y Reivindicaciones

El artículo afirma proporcionar el primer método no paramétrico general y asintóticamente correcto para construir intervalos de confianza para cuantiles en entornos heterogéneos. Al modelar explícitamente la estructura de grupos y estimar la varianza reducida, el método permite a los estadísticos:

1. Evitar el exceso de conservadurismo de los intervalos basados en i.i.d. cuando los datos son heterogéneos.
2. Obtener inferencia válida sin requerir condiciones de suavidad (como la existencia de una densidad de cuantiles) en las distribuciones subyacentes.
3. Lograr intervalos de confianza significativamente más estrechos que mantienen tasas de cobertura correctas, mejorando así la precisión de la estimación de cuantiles en aplicaciones modernas donde el supuesto i.i.d. se viola.