Testing the Missing Completely at Random Assumption for Functional Data

Resumen Técnico: Pruebas del Supuesto de Ausencia Completamente al Azar para Datos Funcionales

Planteamiento del Problema

El Análisis de Datos Funcionales (FDA, por sus siglas en inglés) tradicionalmente asume que las observaciones están disponibles sobre un dominio común. Sin embargo, en muchas aplicaciones prácticas, los datos están "parcialmente observados", lo que significa que cada función es observable solo en un subconjunto $O$ del dominio $I$, con valores faltantes en $I \setminus O$. Un requisito previo crítico para la mayoría de los métodos existentes de reconstrucción e inferencia para tales datos es el supuesto de que el mecanismo de ausencia es Ausencia Completamente al Azar (MCAR). Este supuesto postula que la función observada $X$ y el conjunto de observación $O$ son independientes.

Si bien existen numerosos métodos para recuperar datos funcionales faltantes bajo el supuesto MCAR (por ejemplo, Delaigle y Hall, 2016; Kraus, 2015), hay una falta de procedimientos estadísticos generales para validar este supuesto. Las pruebas existentes para MCAR en entornos multivariantes (por ejemplo, Little, 1988) dependen de la agrupación de datos por patrones de ausencia distintos. Este enfoque es inviable para los datos funcionales porque el número de conjuntos de observación distintos es incontablemente infinito y, en la práctica, cada patrón de observación puede ser único. El artículo aborda la brecha de desarrollar un marco de prueba general para determinar si $X$ y $O$ son independientes.

Metodología

1. Partición de los Conjuntos de Observación

El núcleo del marco propuesto es la partición del espacio de conjuntos de observación $\mathcal{K}$ en dos subconjuntos disjuntos, $\mathcal{A}$ y $\mathcal{B}$, tales que $\mathcal{K} = \mathcal{A} \dot{\cup} \mathcal{B}$.

• Partición Ad Hoc: Un enfoque simple divide los datos en funciones "completas" e "incompletas".
• Agrupamiento Sistemático: Los autores proponen un enfoque de agrupamiento basado en centroides. Definen una distancia entre conjuntos $S_1, S_2$ utilizando la medida de diferencia simétrica $d(S_1, S_2) = \lambda(S_1 \triangle S_2)$, que corresponde a la distancia $L^1$ entre sus funciones indicadoras.
• Centros Óptimos: La partición se determina mediante la búsqueda de dos centros óptimos (medianas) $M_A$ y $M_B$ que minimicen la distancia esperada al centro más cercano. Los conjuntos $\mathcal{A}$ y $\mathcal{B}$ se definen como las celdas de Voronoi asociadas con estos centros.
• Restricción del Dominio: Para asegurar una comparación válida, el análisis se restringe a un subdominio $I \subset [0, 1]$ donde ambos grupos tienen una cobertura suficiente (específicamente, $P(t \in O | \mathcal{A}) > 0$ y $P(t \in O | \mathcal{B}) > 0$).

2. Prueba de Hipótesis

La hipótesis nula $H_0$ (MCAR) implica que $X$ y $O$ son independientes. El marco de prueba evalúa una hipótesis más fuerte $H_0^F$:
$$H_0^F: P(X(t) \le z | O \in \mathcal{A}) = P(X(t) \le z | O \in \mathcal{B}), \quad \forall z \in \mathbb{R}, t \in [0, 1].$$
Bajo $H_0^F$, la distribución condicional del proceso dado el grupo de conjunto de observación debe ser idéntica. Los autores proponen dos estadísticas de prueba:

• Comparación de Medias ($T_\mu$):
  Esta estadística compara las funciones de media empírica de los dos grupos, $\hat{\mu}_{\mathcal{A}}(t)$ y $\hat{\mu}_{\mathcal{B}}(t)$.
  $$T_\mu = \sqrt{n} \| \hat{\mu}_{\mathcal{A}} - \hat{\mu}_{\mathcal{B}} \|_\infty$$
  Los autores establecen que bajo MCAR, $T_\mu$ converge al supremo de un proceso gaussiano. Una contribución teórica clave es el manejo del hecho de que las funciones de media empírica de datos parcialmente observados son generalmente discontinuas (càdlàg), lo que requiere el uso del espacio de Skorokhod $D[0, 1]$ en lugar de $L^2[0, 1]$ o $C[0, 1]$.

• Comparación de Distribuciones ($T_F$):
  Esta estadística compara las funciones de distribución condicional empírica $\hat{F}_{\mathcal{A}}(t, z)$ y $\hat{F}_{\mathcal{B}}(t, z)$.
  $$T_F = n \int_{[0,1] \times \Xi} (\hat{F}_{\mathcal{A}}(t, z) - \hat{F}_{\mathcal{B}}(t, z))^2 d(\lambda \otimes \nu)(t, z)$$
  Esta es una estadística de tipo Cramér–von Mises. Se demuestra que es consistente contra una clase más amplia de alternativas que la comparación de medias, ya que detecta diferencias en toda la distribución, no solo en la media.

3. Teoría Asintótica e Implementación

El artículo deriva las distribuciones asintóticas para ambas estadísticas de prueba bajo la hipótesis nula. Las distribuciones límite involucran procesos gaussianos con estructuras de covarianza específicas que dependen de los patrones de observación.

• Estimación de la Covarianza: Los autores proporcionan estimadores para las funciones de covarianza requeridas para aproximar la distribución nula.
• Bandas de Confianza Simultáneas: Se introduce un método para construir bandas de confianza simultáneas para la diferencia en las funciones de media, proporcionando una herramienta gráfica para visualizar posibles violaciones de MCAR.
• Consistencia: Los resultados teóricos (Teorema 3) establecen que las pruebas son consistentes contra alternativas donde las funciones de media o las funciones de distribución difieren entre los grupos.

Resultados Clave

Estudio de Simulación

La metodología fue evaluada utilizando simulaciones de movimiento browniano:

• Error de Tipo I: Bajo MCAR, ambas pruebas ($T_\mu$ y $T_F$) mantuvieron tasas de error cercanas al nivel nominal (0.05) a través de varios tamaños de muestra ($n=100, 250, 500$).
• Potencia:
  • En escenarios donde se violó MCAR debido al censado (Ausencia No Al Azar - MNAR), la prueba de distribución $T_F$ demostró una mayor potencia que la prueba de la media $T_\mu$.
  • Específicamente, en escenarios de censado simétrico donde las medias condicionales de los grupos son idénticas ($\|\mu_A - \mu_B\|_\infty = 0$), $T_\mu$ no logró rechazar la hipótesis nula, mientras que $T_F$ detectó con éxito la violación.
  • El enfoque de agrupamiento sistemático funcionó de manera comparable o mejor que las particiones deterministas (por ejemplo, completas vs. incompletas) en muchos escenarios, particularmente para tamaños de muestra más pequeños.

Aplicaciones con Datos Reales

El marco se aplicó a tres conjuntos de datos:

1. Datos de Frecuencia Cardíaca (Proyecto Swiss Kidney): Análisis de 878 perfiles de frecuencia cardíaca. Las pruebas no rechazaron el supuesto MCAR (valores $p$: 0.765 para $T_\mu$, 0.911 para $T_F$). Esto respalda la visión epidemiológica de que la ausencia (debido a la remoción del dispositivo o falla) es aleatoria.
2. Datos de Precios de Electricidad: Análisis de 583 curvas de precios semanales. Las pruebas rechazaron fuertemente MCAR ($p < 0.001$). El gráfico de diferencia de medias mostró desviaciones significativas, alineándose con la estructura del mercado donde los niveles de precios se correlacionan con la duración de la observación (los conjuntos de observación más grandes corresponden a precios más altos).
3. Datos de Temperatura: Análisis de 76 curvas de temperatura diarias. Las pruebas rechazaron MCAR (valores $p$: 0.036 para $T_\mu$, 0.054 para $T_F$). Los resultados sugirieron un posible defecto técnico en el sensor (por ejemplo, sensibilidad a altas temperaturas o problemas de energía) en lugar de una ausencia aleatoria.

Significancia y Contribuciones

El artículo reclama las siguientes contribuciones:

1. Marco Novedoso: Introduce el primer marco de prueba general para el supuesto de MCAR en datos funcionales, superando la inviabilidad del agrupamiento basado en patrones utilizado en entornos multivariantes.
2. Partición Sistemática: Propone un método de agrupamiento adaptativo a los datos basado en la distancia de Fréchet-Nikodym-Aronszajn para dividir sistemáticamente los conjuntos de observación, en lugar de depender únicamente de definiciones ad hoc.
3. Avance Teórico: Establece resultados asintóticos para datos funcionales en el espacio de Skorokhod $D[0, 1]$, acomodando las discontinuidades inherentes a las funciones de media parcialmente observadas.
4. Superioridad de las Pruebas de Distribución: Los autores demuestran que comparar las distribuciones completas ($T_F$) es más robusto y potente que comparar las medias ($T_\mu$), particularmente en casos donde la ausencia afecta a los momentos de orden superior o a las formas de la distribución pero no a la media.
5. Utilidad Práctica: La metodología proporciona una herramienta de diagnóstico para que los investigadores validen los supuestos subyacentes a sus métodos de reconstrucción de datos funcionales, ilustrada por su capacidad para detectar defectos de sensores y ausencias impulsadas por el mercado en ejemplos del mundo real.

Los autores señalan que, aunque su enfoque es general, la potencia de la prueba depende de la elección de la partición. Sugieren que para tamaños de muestra pequeños, las particiones deterministas guiadas por expertos podrían ser preferibles, y el trabajo futuro podría explorar métodos de clasificación supervisada para optimizar la separación de grupos.