Estimation beyond Missing (Completely) at Random

1. El Problema: Más allá de MCAR

En la estadística moderna, un desafío fundamental es realizar inferencias sobre una población objetivo cuando los datos observados no son una muestra representativa e independiente. El escenario más común es la ausencia de datos (missing data).

Tradicionalmente, la investigación se ha centrado en dos supuestos:

1. MCAR (Missing Completely at Random): El mecanismo de pérdida de datos es independiente del proceso generador de datos. Es un supuesto muy restrictivo y poco realista en la práctica (ej. encuestas donde ciertos grupos socioeconómicos no responden).
2. MAR (Missing at Random): La probabilidad de que un dato falte depende de las variables observadas. Aunque es más flexible, el artículo señala que el MAR puede presentar problemas de identificabilidad (es decir, es matemáticamente imposible recuperar ciertos parámetros poblacionales incluso bajo este supuesto).

El problema central que aborda este trabajo es: ¿Cómo podemos estimar parámetros poblacionales (como la media) cuando el mecanismo de pérdida de datos es dependiente de los propios datos (MNAR - Missing Not at Random)?

2. Metodología: Modelos de Contaminación de Huber

Para cuantificar la desviación de MCAR de una manera continua y robusta, los autores proponen un marco inspirado en la estadística robusta de Huber. En lugar de asumir un modelo de pérdida de datos específico, introducen dos clases de modelos de "contaminación por $\epsilon$":

• Modelos de Contaminación Arbitraria ($\mathcal{P}_{arb}$): Se asume que la distribución observada es una mezcla de un componente MCAR (proporción $1-\epsilon$) y un componente de contaminación totalmente arbitrario (proporción $\epsilon$). Este modelo es muy general pero muy pesimista: si $\epsilon$ es suficientemente grande, la estimación de la media se vuelve imposible.
• Modelos de Contaminación Realizable ($\mathcal{R}$): Esta es la contribución metodológica clave. Aquí, se asume que la contaminación no es arbitraria, sino que proviene de una versión MNAR de la misma distribución base $P$. Es decir, los datos "contaminados" siguen la misma lógica de la población, pero su mecanismo de observación es sesgado. Este modelo es mucho más realista para aplicaciones prácticas (como encuestas de ingresos o datos metabolómicos).

Para medir el rendimiento, los autores utilizan el marco de cuantiles minimax, ya que el riesgo cuadrático estándar es infinito cuando existe una probabilidad de no observar ningún dato.

3. Contribuciones Clave y Resultados

A. Estimación de la Media (Multivariante y Univariante)

• Contaminación Arbitraria: Desarrollan el algoritmo ITERATIVE_ROBUST_MEAN, que utiliza imputación iterativa para convertir un estimador robusto de datos completos en uno para datos con valores faltantes. Demuestran que el error se descompone en un término MCAR y un término de error robusto que depende de $\epsilon$.
• Contaminación Realizable: Demuestran que, bajo este supuesto, la estimación es mucho más eficiente. En el caso Gaussiano, proponen un estimador de distancia de Kolmogorov mínima. Un resultado sorprendente es que la estimación consistente es posible incluso cuando la proporción de datos faltantes y la contaminación $\epsilon$ convergen lentamente a 1.

B. Regresión Lineal con Respuesta Faltante

El estudio extiende los resultados al escenario de regresión donde la variable dependiente ($Y$) puede faltar. Demuestran que, bajo un diseño "regular" (donde los datos no se concentran en un hiperplano), es posible realizar una estimación consistente de los coeficientes de regresión incluso con una contaminación $\epsilon$ que crece lentamente hacia 1.

C. Adaptación a $\epsilon$ Desconocido

Los autores proponen una estrategia de tipo Lepski que permite que el estimador sea adaptativo. Esto significa que el investigador no necesita conocer de antemano la proporción de contaminación $\epsilon$; el algoritmo puede aprenderla de los datos con un costo computacional y de precisión mínimo.

4. Comparación de Tasas de Convergencia (Resumen de la Tabla 1)

El artículo establece una distinción crítica en la capacidad de estimación:

Clase de Distribución	Contaminación Arbitraria (Límite de $\epsilon$)	Contaminación Realizable (Límite de $\epsilon$)
Gaussiana	$\epsilon < \frac{q}{1+q}$ (Error $\propto \epsilon^2$)	$\epsilon < 1$ (Error $\propto \log^2(1+\kappa)$)
Sub-Gaussiana	$\epsilon < \frac{q}{1+q}$	$\epsilon < 1$
Varianza Finita	$\epsilon < \frac{q}{1+q}$	$\epsilon < 1$

Donde $q$ es la proporción de observación y $\kappa = \frac{\epsilon}{q(1-\epsilon)}$ es el nivel de contaminación efectiva.

5. Significado e Impacto

Este trabajo es significativo porque proporciona un puente teórico entre la estadística de datos faltantes clásica y la estadística robusta.

1. Realismo: Al introducir los modelos "realizables", permite a los científicos modelar sesgos de selección (como la gente con ingresos muy altos que no responde encuestas) sin caer en el pesimismo de la contaminación arbitraria.
2. Robustez Teórica: Establece límites inferiores y superiores (minimax) que definen qué es lo mejor que se puede esperar de cualquier algoritmo en presencia de datos MNAR.
3. Aplicabilidad: Los resultados son aplicables a campos donde el sesgo de selección es inherente, como la epidemiología, la economía y la genómica.