Eigenvector Spatial Filters Nuclear Norm Matrix Completion with Application to Air Quality Data

Resumo Técnico: Preenchimento de Matriz por Norma Nuclear com Filtros Espaciais de Autovetores (ESFNNMC)

Definição do Problema
A reconstrução confiável de observações ausentes em conjuntos de dados de painel ambiental é crítica para uma avaliação precisa de exposição e análise de políticas. Os dados de monitoramento da qualidade do ar frequentemente sofrem com entradas ausentes devido a falhas nos sensores ou períodos de calibração. Embora os métodos tradicionais de preenchimento de matriz por norma nuclear para matrizes de baixo posto sejam eficazes na imputação de entradas ausentes, eles frequentemente negligenciam a dependência espacial inerente aos processos de qualidade do ar. As abordagens padrão de efeitos fixos (ex: Athey et al., 2021) contabilizam interceptos específicos por unidade, mas não modelam explicitamente a autocorrelação espacial entre as estações de monitoramento, o que pode limitar a precisão da imputação em ambientes espacialmente correlacionados.

Metodologia
O artigo propõe o método Eigenvector Spatial Filters Nuclear Norm Matrix Completion (ESFNNMC). Esta abordagem estende o framework de preenchimento de matriz por norma nuclear de efeitos fixos, substituindo os efeitos fixos por unidade por um componente espacial estruturado baseado em Filtros Espaciais de Autovetores (ESF).

1. Formulação do Modelo:
   A matriz observada $M \in \mathbb{R}^{n \times T}$ é decomposta como:
   $$\hat{M} = \hat{L} + A\hat{\alpha}\mathbf{1}_T^\top + \mathbf{1}_n\hat{v}^\top$$
   Onde:

   • $\hat{L}$ é uma matriz de baixo posto que captura fatores espaço-temporais latentes.
   • $\mathbf{1}_n\hat{v}^\top$ representa os efeitos fixos temporais.
   • $A\hat{\alpha}\mathbf{1}_T^\top$ substitui os efeitos fixos de unidade padrão ($\hat{u}\mathbf{1}_T^\top$). Aqui, $A$ é uma matriz de funções de base espaciais exógenas (autovetores de Moran) e $\hat{\alpha}$ são os coeficientes a serem estimados.

2. Construção do Filtro Espacial:

   • Uma matriz de pesos espaciais $W$ é simetrizada e centralizada.
   • A autodecomposição é realizada na matriz transformada para obter os autovetores de Moran.
   • Os autovetores são selecionados com base em sua capacidade de capturar autocorrelação espacial positiva (medida pelo $I$ de Moran). A seleção retém autovetores que explicam um limiar especificado pelo usuário (ex: 90%) do sinal total de autocorrelação espacial positiva.
   • Isso reduz o número de parâmetros de $n$ (efeitos de unidade) para $q$ (filtros espaciais), onde $q \ll n$, garantindo a ortogonalidade e evitando a multicolinearidade.

3. Algoritmo de Estimação:
   O modelo é estimado usando uma abordagem de Descida de Coordenadas em Bloco (BCD) para otimização multiconvexa. O algoritmo itera através de três etapas até a convergência:

   • Atualização dos Coeficientes Espaciais ($\alpha$): Resolve um problema de mínimos quadrados ponderados para ajustar o componente espacial aos resíduos ao nível da linha.
   • Atualização dos Efeitos Temporais ($v$): Calcula os efeitos fixos temporais removendo a média dos resíduos temporais.
   • Atualização do Componente de Baixo Posto ($L$): Aplica a Decomposição de Valor Singular (SVD) com limiar suave (soft-thresholding) à matriz de resíduos para impor a estrutura de baixo posto.
   • Regularização: O parâmetro de regularização $\lambda$ é selecionado via validação cruzada para minimizar o Erro Quadrático Médio (RMSE) em um conjunto de validação.

Principais Contribuições

• Integração Metodológica: O artigo unifica três vertentes da literatura: preenchimento de matriz por norma nuclear via regularização convexa, estimação de dados de painel de efeitos fixos e técnicas de filtragem espacial.
• Parametrização Eficiente: Ao substituir os efeitos fixos de unidade por um conjunto parcimonioso de autovetores espaciais ortogonais, o método captura a dinâmica da autocorrelação espacial sem os riscos de overfitting associados à estimação de $n$ parâmetros separados.
• Eficiência Computacional: O algoritmo BCD proposto mantém custos computacionais comparáveis ao preenchimento de norma nuclear de efeitos fixos padrão, conforme demonstrado nos tempos de execução das simulações.

Resultados
O artigo avalia o ESFNNMC através de extensas simulações e uma aplicação empírica a dados de PM10 na Lombardia, Itália.

• Achados das Simulações:

  • Em várias dimensões de matriz, padrões de ausência (2%–25%) e níveis de autocorrelação, o ESFNNMC demonstra consistentemente uma melhoria na precisão da imputação (medida pelo MAPE Mediano) em comparação com o preenchimento de matriz por norma nuclear de efeitos fixos (FENNMC) padrão.
  • Os ganhos de desempenho são mais pronunciados em cenários com alta autocorrelação espacial ($\rho$) e baixa autocorrelação temporal ($\phi$), particularmente em matrizes "longas" (muitas unidades espaciais, poucos períodos temporais).
  • Em matrizes "largas" (poucas unidades, séries temporais longas), a vantagem dos filtros espaciais diminui à medida que a estrutura temporal domina, embora o ESFNNMC permaneça competitivo.
  • O número de filtros espaciais selecionados permanece estável (tipicamente 20–30% do número de linhas), confirmando a parcimônia do método.
  • Os tempos computacionais para o ESFNNMC são quase idênticos aos do FENNMC (ex: ~0,48s vs. ~0,43s por replicação para uma matriz 10x10).

• Aplicação Empírica (PM10 na Lombardia):

  • Aplicado a medições diárias de PM10 de 64 estações em 2021 (aproximadamente 4% de dados ausentes).
  • Sete autovetores foram selecionados para explicar ~90% da autocorrelação espacial positiva.
  • A série reconstruída reproduziu com sucesso as dinâmicas sazonais e os picos de curto prazo.
  • O ESFNNMC produziu trajetórias ligeiramente mais suaves do que o FENNMC, particularmente durante flutuações abruptas, ao buscar informações de estações vizinhas.
  • Nota sobre Validação: Os autores reconhecem que a validação direta fora da amostra (out-of-sample) nos dados reais é desafiadora porque os valores ausentes verdadeiros são desconhecidos. Embora o MAPE dentro da amostra nos dados observados tenha sido calculado, os autores enfatizam que uma comparação rigorosa requer uma estratégia de validação externa (ex: mascaramento artificial), que é proposta como trabalho futuro.

Significância e Alegações
O artigo alega que o ESFNNMC oferece uma abordagem fundamentada para reconstruir campos de poluentes de alta resolução a partir de redes de monitoramento incompletas. Ao modelar explicitamente a dependência espacial dentro do framework de preenchimento de matriz, o método entrega ganhos apreciáveis na precisão da imputação para aplicações ambientais, particularmente onde os padrões espaciais são fortes.

Os autores posicionam este trabalho como uma contribuição para a crescente literatura de aprendizado de máquina espacial para dados ambientais. Eles observam modestamente que a implementação atual assume um mecanismo de Dados Ausentes ao Acaso (MAR - Missing At Random), enquanto dados ambientais frequentemente exibem padrões de Dados Ausentes Não Ao Acaso (MNAR - Missing Not At Random). As direções de pesquisas futuras identificadas incluem:

• Incorporar estruturas de dependência temporal explícitas (ex: dinâmicas autorregressivas) em vez de simples efeitos fixos temporais.
• Modelar mecanismos MNAR.
• Investigar o papel de autovetores com autocorrelação negativa.
• Desenvolver estratégas rigorosas de validação fora da amostra envolvendo mascaramento artificial.

O código é implementado em R, mas ainda não está disponível publicamente no momento da escrita.