An Inverse-Distance Weighting Alignment-DiversityAttention Transformer for Days Ahead Particulate Matter Concentration Forecasting

Resumen Técnico: Un Transformador de Atención de Alineación-Diversidad de Ponderación por Distancia Inversa para el Pronóstico de la Concentración de Material Particulado con Días de Antelación

Planteamiento del Problema
El pronóstico preciso de las concentraciones de material particulado (PM), específicamente PM2.5 y PM10, es crítico para las advertencias de salud pública y la gestión ambiental. Sin embargo, predecir estas series temporales es un desafío debido a su naturaleza altamente no estacionaria, dependencias espacio-temporales complejas y correlaciones locales irregulares. Las arquitecturas de pronóstico existentes suelen sufrir de tres limitaciones primarias:

1. Negligencia de las Dependencias Espaciales: Muchos modelos se centran únicamente en las variaciones temporales, ignorando las dependencias de las muestras a través de múltiples sensores distribuidos espacialmente.
2. Fuga de Información en la Descomposición: Los métodos de descomposición adaptativa (por ejemplo, la Descomposición de Modos Empíricos) a menudo asumen la independencia sobre los segmentos, lo que conduce a inconsistencias semánticas y fuga de información.
3. Limitaciones de la Función de Pérdida: La mayoría de los modelos dependen de objetivos numéricos únicos como el Error Cuadrático Medio (MSE), los cuales no logran alinear explícitamente las predicciones con los niveles definidos de Indicador de Calidad del Aire (AQI), limitando así su interpretabilidad y utilidad.

Metodología: IDW-ADAFormer
Los autores proponen IDW-ADAFormer, un marco basado en iTransformer, adaptativo, diseñado para el pronóstico conjunto a mediano plazo de datos de PM de múltiples sensores distribuidos espacialmente. La arquitectura consta de tres componentes principales:

1. Descomposición Adaptativa de IDW de $k$-Vecinos Más Cercanos:

   • Este módulo separa la serie temporal de entrada en un componente de interpolación espacial (que captura tendencias espaciales) y un componente residual (que preserva las variaciones temporales locales).
   • A diferencia de la descomposición basada en segmentos, este método realiza una descomposición caso por caso mediante la Ponderación por Distancia Inversa (IDW) basada en los $k$-vecinos más cercanos de cada sensor.
   • El tamaño de vecindad $k$ se selecciona de forma adaptativa para cada sensor y paso de tiempo para minimizar el error de reconstrucción.
   • Crucialmente, esta descomposición no contiene parámetros entrenables, lo que evita la fuga de información y la interferencia con el entrenamiento del modelo.

2. Módulo de Atención de Alineación-Diversidad (ADA):

   • El módulo ADA fusiona la entrada original, las estimaciones de IDW y los residuales utilizando un mecanismo de atención modificado con dos núcleos distintos:
     • Núcleo de Alineación entre Sensores (CAK): Fomenta la alineación de la atención entre sensores para capturar patrones espaciales. Utiliza una función de núcleo periódica dependiente de los índices de las variables.
     • Núcleo de Diversidad-Correlación (DCK): Modela dependencias temporales complejas y heterogéneas combinando linealmente componentes de Gauss, Laplace y Cauchy.
   • Las salidas de estos núcleos se fusionan utilizando pesos aprendibles (parámetros $\alpha$ y $\beta$) para equilibrar las contribuciones de las ramas principal, de IDW y residual antes de ser procesadas por el iTransformer.

3. Función de Pérdida Multiobjetivo Consciente del AQI:

   • El objetivo de entrenamiento combina tres componentes para guiar al modelo:
     • Pérdida MSE ($L_1$): Minimización estándar del error de predicción.
     • Pérdida de Forma ($L_2$): Fomenta la consistencia temporal penalizando las discrepancias en las diferencias de primer orden (tendencias) entre los valores predichos y los reales.
     • Pérdida de Nivel de AQI ($L_3$): Impone la consistencia con las categorías de AQI definidas (basadas en los estándares de la EPA de EE. UU.) mediante la minimización de la distancia entre las distribuciones de probabilidad de los niveles de AQI predichos y reales.
   • Estas pérdidas se combinan utilizando pesos ajustables ponderados por incertidumbre.

Contribuciones Clave
El artículo reporta cuatro contribuciones específicas:

1. Descomposición IDW Adaptativa: Un método sin parámetros que separa las tendencias espaciales de las variaciones temporales locales sin causar fuga de información.
2. Atención de Alineación-Diversidad (ADA): Un módulo novedoso que utiliza los núcleos CAK y DCK para modelar simultáneamente la alineación espacial y las dependencias temporales complejas, permitiendo un modelado local preciso.
3. Función de Pérdida Consciente del AQI: Una función de pérdida multiobjetivo que optimiza conjuntamente la precisión de la predicción, la preservación de la tendencia y la consistencia del nivel de AQI, mejorando tanto el rendimiento como la interpretabilidad.
4. Superioridad Empírica: Los experimentos numéricos demuestran que IDW-ADAFormer supera consistentemente a los métodos actuales de vanguardia (incluyendo iTransformer, CrossFormer, DLinear y PatchSTG) para el pronóstico de PM2.5 y PM10 con 1 a 3 días de antelación.

Resultados Experimentales
El modelo fue evaluado con el conjunto de datos PurpleAirSF, que comprende datos horarios de PM2.5 y PM10 de 14 sensores en el área de la Bahía de San Francisco. El estudio comparó IDW-ADAFormer contra ocho otras arquitecturas bajo tres horizontes de predicción: (72, 24), (96, 48) y (120, 72) horas (mirada hacia atrás, pronóstico).

• Métricas de Desempeño: El modelo logró el Error Absoluto Medio (MAE), el Error Cuadrático Medio (RMSE) y el MAPE simétrico (sMAPE) más bajos en casi todos los escenarios para PM2.5 y PM10.
• Impacto de la Función de Pérdida: El uso de la pérdida multiobjetivo consciente del AQI generalmente mejoró el desempeño en todos los modelos, observándose las reducciones más significativas en MAE y sMAPE.
• Robustez: IDW-ADAFormer mantuvo un desempeño superior independientemente de la función de pérdida utilizada, demostrando robustez frente a los objetivos de optimización.
• Estudios de Ablación: Los experimentos confirmaron que todos los componentes del mecanismo de atención (ramas principal, IDW y residual) son necesarios para un desempeño equilibrado y robusto, particularmente para capturar valores extremos en las series temporales.

Significancia y Reclamaciones
El artículo afirma que IDW-ADAFormer ofrece un avance significativo en el pronóstico de contaminantes atmosféricos al integrar eficazmente las dependencias espaciales de los sensores con la dinámica temporal, manteniendo la interpretabilidad de la arquitectura iTransformer. Al alinear explícitamente las predicciones con los niveles de AQI a través de la función de pérdida, el modelo cierra la brecha entre la precisión numérica bruta y las métricas ambientales accionables.

Los autores señalan que, si bien el modelo supera a los métodos existentes, conlleva una mayor complejidad computacional debido al mecanismo de atención de múltiples ramas, lo que puede plantear desafíos para aplicaciones en tiempo real en grandes conjuntos de datos. Sugieren que el trabajo futuro podría explorar mecanismos de atención más eficientes (por ejemplo, atención dispersa o adaptativa) y extender el marco a otros contaminantes como NO2 y O3.