Predictive Distributions and the Transition from Sparse to Dense Functional Data

Este artículo presenta un enfoque basado en distribuciones predictivas gaussianas para estimar las puntuaciones de componentes principales funcionales a partir de datos longitudinales escasos, demostrando cómo estas distribuciones convergen hacia los valores verdaderos a medida que aumenta la densidad de las observaciones y aplicando este marco para abordar la inconsistencia de las predicciones puntuales en modelos lineales funcionales.

Lo esencial

Imagina que tienes un amigo muy especial que te cuenta su historia de vida, pero lo hace de una manera muy extraña: solo te habla en fragmentos, en momentos aleatorios y, además, le tiembla la voz un poco (hay "ruido" o errores en lo que dice).

En el mundo de los datos, esto se llama datos longitudinales dispersos. Tenemos muchas personas (o sujetos), pero para cada una solo tenemos unas pocas mediciones en momentos irregulares, y esas mediciones no son perfectas.

El problema tradicional en estadística ha sido intentar adivinar la historia completa (la "trayectoria") de cada persona basándose en esos pocos fragmentos. Los estadísticos intentaban dar una respuesta única y exacta (un punto): "Tu historia fue exactamente así". Pero el paper nos dice: "¡Eso es imposible!". Si solo tienes 2 o 3 datos de alguien, no puedes saber con certeza absoluta cómo fue su vida completa entre esos puntos. Intentar dar una respuesta exacta es como intentar dibujar un mapa completo de un país solo con tres puntos que te dio un turista.

La Nueva Idea: En lugar de un punto, da un "Mapa de Probabilidad"

Los autores proponen un cambio de mentalidad radical. En lugar de intentar adivinar el punto exacto donde está la verdad, deberíamos dibujar un mapa de probabilidad (una distribución predictiva).

La analogía del "Círculo de Incertidumbre":
Imagina que tu amigo te dice: "Ayer comí algo".

• El enfoque viejo (Punto): Te dice: "Comiste una manzana". (Puede que sea mentira, o que hayas comido una pera. Es una predicción arriesgada).
• El enfoque nuevo (Distribución Predictiva): Te dice: "Es muy probable que hayas comido una manzana, pero también podría ser una pera, y muy poco probable que hayas comido un elefante". Dibuja un círculo alrededor de la manzana que se hace más grande o más pequeño dependiendo de cuánta información tengas.

Este "círculo" es la Distribución Predictiva. No te dice exactamente qué pasó, sino dónde es más probable que esté la verdad y cuánto nos falta para saberlo con certeza.

¿Qué pasa cuando tenemos más datos? (De "Disperso" a "Dense")

El paper estudia qué sucede cuando pasamos de tener pocos datos (dispersos) a tener muchos (densos).

1. Fase Dispersa (Pocos datos): Imagina que tienes solo 2 puntos de tu amigo. Tu "círculo de probabilidad" es enorme. Cubre casi todo el mapa porque no sabes nada seguro. La incertidumbre es gigante.
2. Fase Densa (Muchos datos): Ahora tu amigo te habla cada hora. Tienes miles de puntos.
   • El efecto mágico: A medida que obtienes más datos, ese "círculo de probabilidad" se encoge. Se contrae.
   • Al final, cuando tienes datos suficientes, el círculo se convierte en un punto minúsculo (una masa de punto) justo encima de la verdad.

El paper demuestra matemáticamente que este encogimiento es predecible y consistente. Cuanto más datos tienes, más pequeño se vuelve tu "círculo de duda" hasta que la duda desaparece casi por completo.

La Analogía de la "Lupa" y el "Punto Focal"

Piensa en los datos como la luz del sol y tu modelo estadístico como una lupa.

• Datos dispersos: La luz llega de forma muy difusa. Si intentas concentrarla en un punto, el foco es borroso y grande. No puedes quemar un papel (no puedes predecir con precisión).
• Datos densos: La luz es intensa y constante. La lupa concentra toda esa energía en un punto muy pequeño y caliente. Ahora sí puedes quemar el papel (predecir con precisión).

El paper nos dice: "No intentes quemar el papel cuando la luz es débil (pocos datos). En su lugar, dibuja un círculo donde probablemente estará el fuego. Y a medida que la luz se vuelve más fuerte, verás cómo ese círculo se encoge hasta convertirse en el punto exacto del fuego".

¿Por qué es importante esto? (Cuantificación de la Incertidumbre)

En la vida real, esto es crucial para la medicina o las finanzas.

• Si un médico tiene pocos datos de un paciente (pocas visitas), no debe decirte: "Tu presión arterial será exactamente 120". Debe decirte: "Con los datos que tenemos, es muy probable que esté entre 110 y 130, pero hay mucha duda".
• El paper proporciona las herramientas matemáticas para calcular ese "entre 110 y 130" de forma rigurosa y demostrar que, si el paciente vuelve a ver al médico más veces, ese rango se hará más estrecho y seguro.

Resumen en una frase

Este paper nos enseña que cuando tenemos poca información, no debemos intentar adivinar un número exacto (porque nos equivocaremos), sino que debemos dibujar un "mapa de probabilidades" que nos diga dónde está la verdad y cuánto nos falta para saberlo con certeza, y nos garantiza que a medida que recopilemos más datos, ese mapa se volverá tan preciso que la duda desaparecerá.

En español sencillo: "Deja de intentar adivinar el número exacto cuando tienes poca información; en su lugar, dibuja un círculo de posibilidades. A medida que consigas más datos, verás cómo ese círculo se encoge hasta convertirse en el punto exacto de la verdad."

Resumen técnico

Resumen Técnico: Distribuciones Predictivas y la Transición de Datos Funcionales Esparsos a Densos

1. Planteamiento del Problema

El análisis de datos funcionales (FDA) enfrenta un desafío fundamental cuando se trabaja con datos longitudinales esparsos. En estos diseños, cada sujeto tiene un número finito y pequeño de observaciones en tiempos irregulares, contaminadas por error de medición.

• La limitación de la predicción puntual: Tradicionalmente, el objetivo es recuperar las trayectorias latentes o los puntajes de los componentes principales funcionales (FPCs, por sus siglas en inglés) mediante estimadores puntuales (como el predictor lineal insesgado óptimo). Sin embargo, en el régimen esparso, no es posible obtener estimadores puntuales consistentes para los FPCs verdaderos ni para las respuestas en modelos de regresión lineal funcional (FLM). La incertidumbre inherente a la escasez de datos impide que un punto estimado converja al valor verdadero a medida que aumenta el tamaño de la muestra ($n$).
• La transición esparsa-densa: Existe una brecha teórica sobre cómo se comportan las estimaciones cuando el diseño de muestreo evoluciona de esparso (pocas observaciones por sujeto) a denso (muchas observaciones por sujeto).

2. Metodología Propuesta

Los autores proponen un cambio de paradigma: en lugar de buscar un punto de predicción (esperanza condicional), se debe estimar la distribución predictiva completa (distribución condicional) de los puntajes de los componentes principales o de la parte predecible de la respuesta.

• Enfoque Bayesiano/Gaussiano: Bajo el supuesto de que el proceso subyacente y los errores de medición son Gaussianos, la distribución condicional de los puntajes FPCs ($\xi_{iK}$) dados los datos observados ($X_i, T_i$) es una distribución normal multivariada.
  • Centro: El predictor lineal insesgado óptimo (PACE).
  • Varianza: La matriz de covarianza condicional ($\Sigma_{iK}$), que cuantifica la incertidumbre restante.
• Métrica de Evaluación: Para cuantificar la discrepancia entre la distribución predictiva estimada y la verdadera (o la masa puntual en el valor real), se utiliza la distancia de Wasserstein de orden 2 ($W_2$). Esta métrica es robusta y permite medir la "contracción" de la distribución hacia un punto.
• Estimación: Se utilizan suavizadores locales lineales para estimar las funciones de media, covarianza y covarianza cruzada, y se aplican técnicas de perturbación para analizar la convergencia de los autovalores y autofunciones estimados.

3. Contribuciones Clave

1. Consistencia de Distribuciones, no de Puntos: Demuestran que, aunque los estimadores puntuales de los FPCs no son consistentes en el régimen esparso, las distribuciones predictivas estimadas sí lo son. A medida que el número de observaciones por sujeto ($m$) aumenta, la distribución predictiva se contrae consistentemente hacia una masa puntual ubicada en el puntaje verdadero.
2. Caracterización de la Contracción: Proporcionan tasas de convergencia precisas para la contracción de la varianza condicional ($\Sigma_{iK}$) y la distancia de Wasserstein entre la distribución estimada y la verdadera.
   • En el régimen denso, la varianza condicional decrece a una tasa de $O_p(m^{-1})$.
   • Se establece la tasa de convergencia para la distancia $W_2$ en función de la densidad de muestreo y la suavidad del proceso.
3. Extensión a Modelos de Regresión Lineal Funcional (FLM): Aplican este marco al FLM donde los predictores son esparsos. Muestran que la distribución predictiva de la parte predecible de la respuesta ($E[Y|X]$) puede estimarse consistentemente, incluso cuando la respuesta observada $Y$ incluye un error aleatorio no predecible.
4. Análisis Asintótico General: A diferencia de estudios previos que requerían supuestos Gaussianos estrictos para la consistencia de los puntajes, este trabajo demuestra que la convergencia de los predictores lineales óptimos hacia los puntajes verdaderos ocurre sin asumir normalidad, aunque la caracterización de la distribución predictiva sí requiere la suposición Gaussiana.

4. Resultados Principales

• Proposición 1 y Teorema 1 (Convergencia de Puntajes): Bajo condiciones de suavidad y sin asumir normalidad, el error entre el predictor lineal óptimo $\tilde{\xi}_{ik}$ y el puntaje verdadero $\xi_{ik}$ es $O_p(m^{-1/2})$ cuando el diseño se vuelve denso ($m \to \infty$).
• Proposición 2 y Teorema 2 (Contracción de la Varianza): Bajo supuestos Gaussianos, la norma de la matriz de covarianza condicional $\|\Sigma_{iK}\|_{op,2}$ decrece como $O_p(m^{-1})$. Esto implica que la incertidumbre sobre la ubicación del puntaje desaparece a medida que se obtienen más datos por sujeto.
• Teorema 3 y 4 (Convergencia de Distribuciones): Se demuestra que la distancia de Wasserstein al cuadrado entre la distribución predictiva $K$-truncada y la masa puntual en el proceso latente converge a cero. La tasa óptima depende de la tasa de decaimiento de los autovalores ($\lambda_k$).
  • Para decaimiento polinomial ($\lambda_k \sim k^{-\alpha_0}$), la tasa óptima es cercana a $O((\log n / n)^{1/6})$.
  • Para decaimiento exponencial, la tasa es $O((\log n / n)^{1/3})$.
• Teorema 5 y 6 (Aplicación al FLM): Se establece la consistencia de la distribución predictiva para la respuesta en modelos de regresión lineal funcional con predictores esparsos. Se introduce una medida de predictibilidad basada en la distancia de Wasserstein ($D_{nK}$) que puede estimarse consistentemente.
• Simulaciones y Aplicación Real:
  • Las simulaciones confirman que tanto el error de predicción como la varianza condicional disminuyen a medida que el diseño pasa de muy esparsos ($m=2$) a denso ($m=50$).
  • Se aplica el método a los datos del Baltimore Longitudinal Study of Aging (BMI y presión arterial sistólica), demostrando cómo construir intervalos de predicción para la respuesta esperada $E[Y|X]$ que reflejan la incertidumbre debido a la escasez de datos.

5. Significado e Impacto

Este trabajo es fundamental porque redefine el objetivo de la inferencia en datos funcionales esparsos.

• Cambio de Perspectiva: Aboga por abandonar la búsqueda de estimadores puntuales consistentes (que son teóricamente imposibles en el régimen esparso) y centrarse en la cuantificación de la incertidumbre mediante distribuciones predictivas.
• Utilidad Práctica: Proporciona herramientas para construir regiones de predicción válidas para trayectorias funcionales y respuestas en modelos de regresión, lo cual es crucial en aplicaciones médicas y longitudinales donde los datos son inherentemente escasos.
• Rigor Teórico: Cierra la brecha teórica sobre el comportamiento asintótico de las estimaciones de componentes principales y regresión funcional al transicionar de diseños esparsos a densos, proporcionando tasas de convergencia explícitas bajo la métrica de Wasserstein.

En resumen, el artículo demuestra que, aunque no podemos "apuntar" con precisión a un valor único en datos esparsos, podemos "mapear" con precisión la distribución de probabilidad de ese valor, y esta mapa se vuelve infinitamente preciso a medida que los datos se vuelven más densos.