An Inverse-Distance Weighting Alignment-DiversityAttention Transformer for Days Ahead Particulate Matter Concentration Forecasting

Resumo Técnico: Um Transformer de Atenção de Alinhamento-Diversidade com Ponderação de Distância Inversa para Previsão de Concentração de Material Particulado com Dias de Antecedência

Definição do Problema
A previsão precisa das concentrações de material particulado (MP), especificamente PM2.5 e PM10, é crítica para avisos de saúde pública e gestão ambiental. No entanto, prever essas séries temporais é desafiador devido à sua natureza altamente não estacionária, dependências espaço-temporais complexas e correlações locais irregulares. As arquiteturas de previsão existentes frequentemente sofrem de três limitações primárias:

1. Negligência das Dependências Espaciais: Muitos modelos focam apenas em variações temporais, ignorando dependências de amostras entre múltiplos sensores distribuídos espacialmente.
2. Vazamento de Informação na Decomposição: Métodos de decomposição adaptativa (ex: Decomposição de Modo Empírico) frequentemente assumem independência sobre segmentos, levando a inconsistências semânticas e vazamento de informação.
3. Limitações da Função de Perda: A maioria dos modelos depende de objetivos numéricos únicos, como o Erro Quadrático Médio (MSE), que falham em alinhar explicitamente as previsões com níveis definidos de Indicador de Qualidade do Ar (AQI), limitando assim a interpretabilidade e utilidade.

Metodologia: IDW-ADAFormer
Os autores propõem o IDW-ADAFormer, um framework baseado em iTransformer adaptativo, projetado para a previsão conjunta de médio prazo de dados de MP de múltiplos sensores distribuídos espacialmente. A arquitetura consiste em três componentes principais:

1. Decomposição Adaptativa de IDW de $k$-Vizinhos Próximos:

   • Este módulo separa a série temporal de entrada em um componente de interpolação espacial (capturando tendências espaciais) e um componente residual (preservando variações temporais locais).
   • Diferente da decomposição baseada em segmentos, este método realiza a decomposição amostra a amostra usando Ponderação de Distância Inversa (IDW) baseada nos $k$-vizinhos mais próximos de cada sensor.
   • O tamanho da vizinhança $k$ é selecionado adaptativamente para cada sensor e passo de tempo para minimizar o erro de reconstrução.
   • Crucialmente, esta decomposição não contém parâmetros treináveis, evitando o vazamento de informação e interferência com o treinamento do modelo.

2. Módulo de Atenção de Alinhamento-Diversidade (ADA):

   • O módulo ADA funde a entrada original, as estimativas de IDW e os resíduos usando um mecanismo de atenção modificado com dois núcleos distintos:
     • Núcleo de Alinhamento Entre Sensores (CAK): Incentiva o alinhamento de atenção entre sensores para capturar padrões espaciais. Utiliza uma função de núcleo periódica dependente de índices de variáveis.
     • Núcleo de Diversidade-Correlação (DCK): Modela dependências temporais complexas e heterogêneas combinando linearmente componentes Gaussiano, Laplace e Cauchy.
   • As saídas desses núcleos são fundidas usando pesos aprendíveis ($\alpha$ e $\beta$) para equilibrar as contribuições dos ramos principal, IDW e residual antes de serem processadas pelo iTransformer.

3. Função de Perda Consciente de AQI Multiobjetivo:

   • O objetivo de treinamento combina três componentes para guiar o modelo:
     • Perda MSE ($L_1$): Minimização padrão do erro de previsão.
     • Perda de Forma ($L_2$): Incentiva a consistência temporal ao penalizar discrepâncias nas diferenças de primeira ordem (tendências) entre os valores previstos e reais.
     • Perda de Nível de AQI ($L_3$): Impõe consistência com categorias de AQI definidas (baseadas nos padrões da U.S. EPA) ao minimizar a distância entre as distribuições de probabilidade dos níveis de AQI previstos e reais.
   • Essas perdas são combinadas usando pesos ajustáveis ponderados por incerteza.

Principais Contribuições
O artigo reporta quatro contribuições específicas:

1. Decomposição IDW Adaptativa: Um método livre de parâmetros que separa tendências espaciais de variações temporais locais sem causar vazamento de informação.
2. Atenção de Alinhamento-Diversidade (ADA): Um novo módulo utilizando núcleos CAK e DCK para modelar simultaneamente o alinhamento espacial e dependências temporais complexas, permitindo uma modelagem local precisa.
3. Função de Perda Consciente de AQI: Uma função de perda multiobjetivo que otimiza conjuntamente a precisão da previsão, a preservação da tendência e a consistência do nível de AQI, aumentando o desempenho e a interpretabilidade.
4. Superioridade Empírica: Experimentos numéricos demonstram que o IDW-ADAFormer supera consistentemente os métodos de estado da arte existentes (incluindo iTransformer, CrossFormer, DLinear e PatchSTG) para previsões de 1 a 3 dias à frente de PM2.5 e PM10.

Resultados Experimentais
O modelo foi avaliado no dataset PurpleAirSF, que compreende dados horários de PM2.5 e PM10 de 14 sensores na área da Baía de San Francisco. O estudo comparou o IDW-ADAFormer contra outras oito arquiteturas sob três horizontes de previsão: (72, 24), (96, 48) e (120, 72) horas (lookback, forecast).

• Métricas de Desempenho: O modelo alcançou o menor Erro Absoluto Médio (MAE), Raiz do Erro Quadrático Médio (RMSE) e sMAPE simétrico em quase todos os cenários para PM2.5 e PM10.
• Impacto da Função de Perda: A utilização da perda multiobjetivo consciente de AQI geralmente melhorou o desempenho em todos os modelos, com as reduções mais significativas observadas em MAE e sMAPE.
• Robustez: O IDW-ADAFormer manteve um desempenho superior independentemente da função de perda utilizada, demonstrando robustez contra objetivos de otimização.
• Estudos de Ablação: Experimentos confirmaram que todos os componentes do mecanismo de atenção (ramos principal, IDW e residual) são necessários para um desempenho equilibrado e robusto, particularmente para capturar valores extremos nas séries temporais.

Significância e Alegações
O artigo afirma que o IDW-ADAFormer oferece um avanço significativo na previsão de poluentes atmosféricos ao integrar efetivamente as dependências espaciais dos sensores com a dinâmica temporal, mantendo a interpretabilidade da arquitetura iTransformer. Ao alinhar explicitamente as previsões com os níveis de AQI através da função de perda, o modelo preenche a lacuna entre a precisão numérica bruta e as métricas ambientais acionáveis.

Os autores observam que, embora o modelo supere os métodos existentes, ele traz consigo uma maior complexidade computacional devido ao mecanismo de atenção de múltiplos ramos, o que pode representar desafios para aplicações em tempo real em grandes conjuntos de dados. Eles sugerem que trabalhos futuros poderiam explorar mecanismos de atenção mais eficientes (ex: atenção esparsa ou adaptativa) e estender o framework para outros poluentes como NO2 e O3.