Warped multifidelity Gaussian processes for data fusion of skewed environmental data

1. Declaração do Problema

Redes de monitoramento ambiental, como as geridas por agências regionais (por exemplo, ARPA Lombardia na Itália), frequentemente sofrem com lacunas de dados (sequências ausentes) e distribuições de dados assimétricas.

• O Desafio: Métodos padrão de fusão de dados e imputação, particularmente aqueles baseados em Processos Gaussianos (GP), assumem que os dados e os erros seguem uma distribuição normal (Gaussiana). No entanto, variáveis ambientais como velocidade do vento, temperatura e precipitação frequentemente exibem assimetria significativa.
• A Limitação dos Métodos Existentes:
  • Processos Gaussianos Multifidelidade (MFGP) padrão assumem relações lineares e normalidade, levando a um desempenho preditivo pobre quando os dados são assimétricos.
  • Transformações paramétricas (por exemplo, Box-Cox) são frequentemente usadas para normalizar dados, mas exigem parâmetros dependentes dos dados. Em um contexto multifidelidade envolvendo múltiplas fontes de dados (Alta Fidelidade e Baixa Fidelidade), aplicar transformações diferentes a cada fonte pode distorcer a relação entre elas, violando o princípio da invariância de quantis.
  • Métodos existentes lutam para recuperar longas sequências ausentes (ausência estrutural) de forma eficaz, especialmente quando o comprimento da lacuna excede a escala de comprimento de correlação dos GPs padrão.

2. Metodologia: Processo Gaussiano Multifidelidade Distorcido (WMFGP)

Os autores propõem o Processo Gaussiano Multifidelidade Distorcido (WMFGP), uma extensão da estrutura MFGP autorregressiva que incorpora uma função de distorção não paramétrica para lidar com a assimetria.

Conceito Central

O método opera em um espaço latente onde dados não normais são transformados em uma distribuição normal, o modelo multifidelidade é treinado e os resultados são retrotransformados para o espaço original.

Etapas Principais:

1. Distorção Não Paramétrica (Transformação):

   • Em vez de transformações paramétricas, o método utiliza uma função de distorção não paramétrica orientada por dados ($g(\cdot)$).
   • Estima a Função de Distribuição Acumulada (CDF) dos dados observados (tanto Alta Fidelidade $y_H$ quanto Baixa Fidelidade $y_L$) usando estimativa de densidade de kernel.
   • Os dados são mapeados para um espaço latente usando o inverso da CDF normal padrão ($\Phi^{-1}$):
     $$N_y = \Phi^{-1}(F_y(y))$$
   • Isso garante invariância de quantis: a ordenação relativa dos pontos de dados é preservada, e a relação entre dados HF e LF permanece consistente no espaço latente.

2. Modelagem Multifidelidade no Espaço Latente:

   • O modelo MFGP autorregressivo é aplicado aos dados latentes normalizados ($N_{y_H}, N_{y_L}$).
   • O modelo assume uma relação recursiva: $u_H = \rho u_L + \delta + \epsilon$, onde $\rho$ é o parâmetro de escala e $\delta$ é um processo de discrepância.
   • Como os dados no espaço latente estão normalizados, as suposições padrão de GP (normalidade dos erros) são satisfeitas.

3. Retrotransformação:

   • Previsões (média e variância) feitas no espaço latente são transformadas de volta para o espaço físico original usando uma tabela de consulta inversa derivada das CDFs estimadas.
   • Esta etapa reconstrói as características de distribuição assimétrica dos dados originais.

4. Estratégia de Aplicação (Agrupamento):

   • Para lidar com a heterogeneidade espacial, os autores empregam agrupamento k-means restrito baseado em latitude, longitude e altitude.
   • Estações de monitoramento são agrupadas em clusters. Dentro de um cluster, uma estação com dados ausentes (HF) é emparelhada com uma estação próxima e altamente correlacionada (LF) para realizar a fusão de dados.

3. Contribuições Principais

• Algoritmo Inovador: Introdução do WMFGP, que integra com sucesso distorção não paramétrica com processos gaussianos multifidelidade autorregressivos.
• Tratamento de Assimetria: O método aborda explicitamente a não normalidade dos dados ambientais sem violar a estrutura de correlação entre diferentes níveis de fidelidade.
• Invariância de Quantis: Ao usar distorção baseada em CDF, o método garante que a relação estatística entre dados de Alta Fidelidade e Baixa Fidelidade seja preservada durante a transformação.
• Automação: Diferentemente de abordagens paramétricas que exigem ajuste ad hoc para cada série temporal, o WMFGP pode ser automatizado para grandes redes de séries temporais diversas.

4. Resultados Experimentais

O estudo valida o método através de dois experimentos de simulação e um estudo de caso do mundo real.

Experimento 1: Ausência Aleatória

• Configuração: Dados de velocidade do vento simulados com variados graus de assimetria (usando distribuições Normal Assimétrica Fechada e Weibull) e padrões de dados ausentes aleatórios.
• Comparação: WMFGP vs. GP Padrão, GP Distorcido (WGP), MFGP Padrão e MFGP Box-Cox (BCMF).
• Descobertas:
  • O WMFGP superou consistentemente todos os outros modelos em termos de Erro Absoluto Médio (MAE), independentemente do nível de assimetria.
  • MFGP Padrão e BCMF lutaram com alta assimetria. O BCMF falhou particularmente quando os erros foram gerados a partir de distribuições Weibull, destacando a sensibilidade das transformações paramétricas à distribuição dos dados.
  • O WMFGP mostrou estabilidade mesmo quando a razão de dados HF para LF era baixa (até 30-35% de dados HF).

Experimento 2: Ausência Estrutural (Longas Lacunas)

• Configuração: Simulação de longas sequências ausentes (24 a 192 horas) em dados reais de velocidade do vento da ARPA Lombardia.
• Comparação: WMFGP vs. GP, MFGP, Surrogato (apenas LF) e Imputação Simples (SI).
• Descobertas:
  • O WMFGP alcançou o menor MAE em todos os comprimentos de lacuna.
  • Reduziu a discrepância entre a previsão e os dados reais de Alta Fidelidade em aproximadamente 50% em comparação com a diferença bruta entre dados LF e HF.
  • Diferentemente da interpolação padrão, o desempenho do WMFGP não degradou significativamente conforme o comprimento da lacuna aumentava, sugerindo robustez para dados ausentes de longo prazo.
  • Incerteza: Os intervalos de previsão de 95% tiveram uma probabilidade de cobertura de ~90-91%, indicando quantificação confiável da incerteza.

Estudo de Caso: ARPA Lombardia

• Aplicação: Preenchimento de lacunas de velocidade do vento na rede regional da Lombardia (mais de 120 estações).
• Resultado: O método recuperou com sucesso dados de velocidade do vento ausentes, capturando padrões sazonais e cíclicos que a interpolação simples perdeu. Isso é crítico para a gestão da qualidade do ar, pois a velocidade do vento impulsiona a dispersão de poluentes.

5. Significado e Impacto

• Gestão Ambiental: Fornece uma ferramenta robusta para agências ambientais preencherem lacunas de dados em redes de monitoramento, levando a avaliações de qualidade do ar mais precisas e decisões políticas melhor informadas.
• Escalabilidade: O método é computacionalmente eficiente e automatizável, tornando-o adequado para conjuntos de dados ambientais em grande escala com milhares de séries temporais.
• Avanço Teórico: Preenche a lacuna entre modelagem multifidelidade e tratamento de dados não normais, oferecendo uma solução onde as suposições tradicionais de GP falham.
• Direções Futuras: Os autores notam que, embora a estrutura atual foque na correlação temporal, trabalhos futuros poderiam incorporar dimensões espaciais (por exemplo, integração de Lidar para parques eólicos), embora isso aumentasse a complexidade computacional.

Em resumo, o artigo apresenta um avanço significativo na fusão de dados ambientais, demonstrando que a distorção não paramétrica permite que processos gaussianos multifidelidade lidem eficazmente com dados assimétricos, superando os métodos existentes tanto em precisão quanto em robustez para preencher lacunas críticas de dados.