Warped multifidelity Gaussian processes for data fusion of skewed environmental data

A continuación se presenta un resumen técnico detallado del artículo "Gaussianos de Multifidelidad Distorsionados para la Fusión de Datos Ambientales Sesgados".

1. Planteamiento del Problema

Las redes de monitoreo ambiental, como las gestionadas por agencias regionales (por ejemplo, ARPA Lombardia en Italia), sufren frecuentemente de brechas de datos (secuencias faltantes) y distribuciones de datos sesgadas.

• El Desafío: Los métodos estándar de fusión de datos e imputación, particularmente aquellos basados en Procesos Gaussianos (GP), asumen que los datos y los errores siguen una distribución normal (Gaussiana). Sin embargo, variables ambientales como la velocidad del viento, la temperatura y la precipitación a menudo exhiben un sesgo significativo.
• La Limitación de los Métodos Existentes:
  • Los Procesos Gaussianos de Multifidelidad (MFGP) estándar asumen relaciones lineales y normalidad, lo que conduce a un rendimiento predictivo deficiente cuando los datos están sesgados.
  • Las transformaciones paramétricas (por ejemplo, Box-Cox) se utilizan a menudo para normalizar los datos, pero requieren parámetros dependientes de los datos. En un contexto de multifidelidad que involucra múltiples fuentes de datos (Alta Fidelidad y Baja Fidelidad), aplicar diferentes transformaciones a cada fuente puede distorsionar la relación entre ellas, violando el principio de invarianza de cuantiles.
  • Los métodos existentes luchan por recuperar secuencias faltantes largas (ausencia estructural) de manera efectiva, especialmente cuando la longitud de la brecha excede la escala de longitud de correlación de los GP estándar.

2. Metodología: Proceso Gaussiano de Multifidelidad Distorsionado (WMFGP)

Los autores proponen el Proceso Gaussiano de Multifidelidad Distorsionado (WMFGP), una extensión del marco autoregresivo MFGP que incorpora una función de distorsión no paramétrica para manejar el sesgo.

Concepto Central

El método opera en un espacio latente donde los datos no normales se transforman en una distribución normal, se entrena el modelo de multifidelidad y los resultados se retrotransforman al espacio original.

Pasos Clave:

1. Distorsión No Paramétrica (Transformación):

   • En lugar de transformaciones paramétricas, el método utiliza una función de distorsión no paramétrica impulsada por datos ($g(\cdot)$).
   • Estima la Función de Distribución Acumulada (CDF) de los datos observados (tanto Alta Fidelidad $y_H$ como Baja Fidelidad $y_L$) utilizando estimación de densidad de kernel.
   • Los datos se mapean a un espacio latente utilizando la inversa de la CDF normal estándar ($\Phi^{-1}$):
     $$N_y = \Phi^{-1}(F_y(y))$$
   • Esto asegura la invarianza de cuantiles: se preserva el orden relativo de los puntos de datos y la relación entre los datos de HF y LF permanece consistente en el espacio latente.

2. Modelado de Multifidelidad en el Espacio Latente:

   • El modelo autoregresivo MFGP se aplica a los datos latentes normalizados ($N_{y_H}, N_{y_L}$).
   • El modelo asume una relación recursiva: $u_H = \rho u_L + \delta + \epsilon$, donde $\rho$ es el parámetro de escalado y $\delta$ es un proceso de discrepancia.
   • Debido a que los datos en el espacio latente están normalizados, se cumplen las suposiciones estándar de GP (normalidad de los errores).

3. Retrotransformación:

   • Las predicciones (media y varianza) realizadas en el espacio latente se transforman de nuevo al espacio físico original utilizando una tabla de búsqueda inversa derivada de las CDF estimadas.
   • Este paso reconstruye las características de distribución sesgada de los datos originales.

4. Estrategia de Aplicación (Agrupamiento):

   • Para manejar la heterogeneidad espacial, los autores emplean agrupamiento k-medias restringido basado en latitud, longitud y altitud.
   • Las estaciones de monitoreo se agrupan en clústeres. Dentro de un clúster, una estación con datos faltantes (HF) se empareja con una estación cercana y altamente correlacionada (LF) para realizar la fusión de datos.

3. Contribuciones Clave

• Algoritmo Novel: Introducción del WMFGP, que integra exitosamente la distorsión no paramétrica con procesos gaussianos de multifidelidad autoregresivos.
• Manejo del Sesgo: El método aborda explícitamente la no normalidad de los datos ambientales sin violar la estructura de correlación entre los diferentes niveles de fidelidad.
• Invarianza de Cuantiles: Al utilizar la distorsión basada en CDF, el método asegura que la relación estadística entre los datos de Alta Fidelidad y Baja Fidelidad se preserve durante la transformación.
• Automatización: A diferencia de los enfoques paramétricos que requieren ajustes ad hoc para cada serie temporal, el WMFGP puede automatizarse para grandes redes de series temporales diversas.

4. Resultados Experimentales

El estudio valida el método mediante dos experimentos de simulación y un estudio de caso del mundo real.

Experimento 1: Ausencia Aleatoria

• Configuración: Datos de velocidad del viento simulados con diversos grados de sesgo (utilizando distribuciones Normal Sesgada Cerrada y Weibull) y patrones de datos faltantes aleatorios.
• Comparación: WMFGP vs. GP estándar, GP Distorsionado (WGP), MFGP estándar y MFGP Box-Cox (BCMF).
• Hallazgos:
  • El WMFGP superó consistentemente a todos los demás modelos en términos de Error Absoluto Medio (MAE), independientemente del nivel de sesgo.
  • El MFGP estándar y el BCMF tuvieron dificultades con altos niveles de sesgo. El BCMF falló particularmente cuando los errores se generaron a partir de distribuciones Weibull, destacando la sensibilidad de las transformaciones paramétricas a la distribución de los datos.
  • El WMFGP mostró estabilidad incluso cuando la relación de datos de HF a LF era baja (hasta un 30-35% de datos de HF).

Experimento 2: Ausencia Estructural (Brechas Largas)

• Configuración: Secuencias faltantes largas simuladas (de 24 a 192 horas) en datos reales de velocidad del viento de ARPA Lombardia.
• Comparación: WMFGP vs. GP, MFGP, Sustituto (solo LF) e Imputación Simple (SI).
• Hallazgos:
  • El WMFGP logró el MAE más bajo en todas las longitudes de brecha.
  • Redujo la discrepancia entre la predicción y los datos reales de Alta Fidelidad en aproximadamente un 50% en comparación con la diferencia cruda entre los datos de LF y HF.
  • A diferencia de la interpolación estándar, el rendimiento del WMFGP no se degradó significativamente a medida que aumentaba la longitud de la brecha, lo que sugiere robustez para datos faltantes a largo plazo.
  • Incertidumbre: Los intervalos de predicción del 95% tuvieron una probabilidad de cobertura de ~90-91%, indicando una cuantificación confiable de la incertidumbre.

Estudio de Caso: ARPA Lombardia

• Aplicación: Rellenar brechas de velocidad del viento en la red regional de Lombardía (más de 120 estaciones).
• Resultado: El método recuperó con éxito los datos faltantes de velocidad del viento, capturando patrones estacionales y cíclicos que la interpolación simple pasó por alto. Esto es crítico para la gestión de la calidad del aire, ya que la velocidad del viento impulsa la dispersión de contaminantes.

5. Significado e Impacto

• Gestión Ambiental: Proporciona una herramienta robusta para que las agencias ambientales llenen las brechas de datos en las redes de monitoreo, lo que conduce a evaluaciones más precisas de la calidad del aire y decisiones políticas mejor informadas.
• Escalabilidad: El método es computacionalmente eficiente y automatizable, lo que lo hace adecuado para conjuntos de datos ambientales a gran escala con miles de series temporales.
• Avance Teórico: Cierra la brecha entre el modelado de multifidelidad y el manejo de datos no normales, ofreciendo una solución donde las suposiciones tradicionales de GP fallan.
• Futuras Direcciones: Los autores señalan que, aunque el marco actual se centra en la correlación temporal, el trabajo futuro podría incorporar dimensiones espaciales (por ejemplo, integración de Lidar para parques eólicos), aunque esto aumentaría la complejidad computacional.

En resumen, el artículo presenta un avance significativo en la fusión de datos ambientales al demostrar que la distorsión no paramétrica permite que los procesos gaussianos de multifidelidad manejen eficazmente datos sesgados, superando a los métodos existentes tanto en precisión como en robustez para rellenar brechas de datos críticas.