Eigenvector Spatial Filters Nuclear Norm Matrix Completion with Application to Air Quality Data

Resumen Técnico: Completitud de Matriz de Norma Nuclear con Filtros Espaciales de Autovectores (ESFNNMC)

Planteamiento del Problema
La reconstrucción fiable de observaciones faltantes en conjuntos de datos de paneles ambientales es crítica para una evaluación precisa de la exposición y el análisis de políticas. Los datos de monitoreo de la calidad del aire suelen sufrir de entradas faltantes debido a fallos en los sensores o periodos de calibración. Aunque los métodos tradicionales de completitud de matriz de norma nuclear para la imputación de entradas faltantes en matrices de bajo rango son efectivos, frecuentemente pasan por alto la dependencia espacial inherente a los procesos de la calidad del aire. Los enfoques estándar de efectos fijos (por ejemplo, Athey et al., 2021) dan cuenta de los interceptos específicos de cada unidad, pero no modelan explícitamente la autocorrelación espacial entre las estaciones de monitoreo, lo que podría limitar la precisión de la imputación en entornos espacialmente correlacionados.

Metodología
El artículo propone el método de Completitud de Matriz de Norma Nuclear con Filtros Espaciales de Autovectores (ESFNNMC). Este enfoque extiende el marco de completitud de matriz de norma nuclear con efectos fijos mediante la sustitución de los efectos fijos de la unidad por un componente espacial estructurado basado en Filtros Espaciales de Autovectores (ESF).

1. Formulación del Modelo:
   La matriz observada $M \in \mathbb{R}^{n \times T}$ se descompone como:
   $$\hat{M} = \hat{L} + A\hat{\alpha}\mathbf{1}_T^\top + \mathbf{1}_n\hat{v}^\top$$
   Donde:

   • $\hat{L}$ es una matriz de bajo rango que captura factores espacio-temporales latentes.
   • $\mathbf{1}_n\hat{v}^\top$ representa los efectos fijos temporales.
   • $A\hat{\alpha}\mathbf{1}_T^\top$ reemplaza los efectos fijos de unidad estándar ($\hat{u}\mathbf{1}_T^\top$). Aquí, $A$ es una matriz de funciones de base espaciales exógenas (autovectores de Moran) y $\hat{\alpha}$ son los coeficientes a estimar.

2. Construcción del Filtro Espacial:

   • Se simetriza y centra una matriz de pesos espaciales $W$.
   • Se realiza la descomposición en autovalores de la matriz transformada para obtener los autovectores de Moran.
   • Se seleccionan los autovectores basándose en su capacidad para capturar la autocorrelación espacial positiva (medida por el $I$ de Moran). La selección retiene los autovectores que explican un umbral especificado por el usuario (por ejemplo, 90%) de la señal total de autocorrelación espacial positiva.
   • Esto reduce el número de parámetros de $n$ (efectos de la unidad) a $q$ (filtros espaciales), donde $q \ll n$, asegurando la ortogonalidad y evitando la multicolinealidad.

3. Algoritmo de Estimación:
   El modelo se estima utilizando un enfoque de Descenso de Coordenadas en Bloques (BCD) para la optimización multiconvexa. El algoritmo itera a través de tres pasos hasta la convergencia:

   • Actualización de los Coeficientes Espaciales ($\alpha$): Resuelve un problema de mínimos cuadrados ponderados para ajustar el componente espacial a los residuales a nivel de fila.
   • Actualización de los Efectos Temporales ($v$): Calcula los efectos fijos temporales eliminando los residuales temporales promedio.
   • Actualización del Componente de Bajo Rango ($L$): Aplica la Descomposición en Valores Singulares (SVD) con umbral suave (soft-thresholded) a la matriz de residuales para imponer la estructura de bajo rango.
   • Regularización: El parámetro de regularización $\lambda$ se selecciona mediante validación cruzada para minimizar el Error Cuadrático Medio (RMSE) en un conjunto de validación.

Contribuciones Clave

• Integración Metodológica: El artículo unifica tres vertientes de la literatura: la completitud de matrices de bajo rango mediante regularización convexa, la estimación de datos de panel con efectos fijos y las técnicas de filtrado espacial.
• Parametrización Eficiente: Al sustituir los efectos fijos de la unidad por un conjunto parsimonioso de autovectores espaciales ortogonales, el método captura la dinámica de la autocorrelación espacial sin los riesgos de sobreajuste asociados con la estimación de $n$ parámetros separados.
• Eficiencia Computacional: El algoritmo BCD propuesto mantiene costos computacionales comparables a la completitud de norma nuclear de efectos fijos estándar, como se demuestra en los tiempos de ejecución de las simulaciones.

Resultados
El artículo evalúa el ESFNNMC mediante simulaciones extensas y una aplicación empírica a datos de PM10 en Lombardía, Italia.

• Hallazgos de la Simulación:

  • A través de diversas dimensiones de matriz, patrones de falta de datos (2%–25%) y niveles de autocorrelación, el ESFNNMC demuestra consistentemente una mejora en la precisión de la imputación (medida por el MAPE de la mediana) en comparación con la Completitud de Matriz de Norma Nuclear de Efectos Fijos (FENNMC) estándar.
  • Las ganancias de rendimiento son más pronunciadas en escenarios con alta autocorrelación espacial ($\rho$) y baja autocorrelación temporal ($\phi$), particularmente en matrices "largas" (muchas unidades espaciales, pocos periodos de tiempo).
  • En matrices "anchas" (pocas unidades, series temporales largas), la ventaja de los filtros espaciales disminuye a medida que la estructura temporal predomina, aunque el ESFNNMC sigue siendo competitivo.
  • El número de filtros espaciales seleccionados permanece estable (típicamente entre el 20% y el 30% del número de filas), confirmando la parsimonia del método.
  • Los tiempos computacionales para ESFNNMC son casi idénticos a los de FENNMC (por ejemplo, ~0.48s vs. ~0.43s por replicación para una matriz de 10x10).

• Aplicación Empírica (PM10 en Lombardía):

  • Aplicado a mediciones diarias de PM10 de 64 estaciones en 2021 (aproximadamente 4% de datos faltantes).
  • Se seleccionaron siete autovectores para explicar aproximadamente el 90% de la autocorrelación espacial positiva.
  • La serie reconstruida reprodujo con éxito la dinámica estacional y los picos a corto plazo.
  • El ESFNNMC produjo trayectorias ligeramente más suaves que el FENNMC, particularmente durante fluctuaciones abruptas, al tomar información de las estaciones vecinas.
  • Nota sobre la Validación: Los autores reconocen que la validación directa fuera de la muestra en los datos reales es difícil porque los valores verdaderos faltantes son desconocidos. Aunque se calculó el MAPE dentro de la muestra sobre los datos observados, los autores enfatizan que una comparación rigurosa requiere una estrategia de validación externa (por ejemplo, enmascaramiento artificial), la cual se propone como trabajo futuro.

Significancia y Reivindicaciones
El artículo afirma que el ESFNNMC ofrece un enfoque fundamentado para reconstruir campos de contaminantes de alta resolución a partir de redes de monitoreo incompletas. Al modelar explícitamente la dependencia espacial dentro del marco de completitud de matrices, el método ofrece mejoras apreciables en la precisión de la imputación para aplicaciones ambientales, particularmente donde los patrones espaciales son fuertes.

Los autores posicionan este trabajo como una contribución a la creciente literatura sobre aprendizaje automático espacial para datos ambientales. Señalan modestamente que la implementación actual asume un mecanismo de Datos Faltantes al Azar (MAR), mientras que los datos ambientales suelen presentar patrones de Datos No Faltantes al Azar (MNAR). Las futuras direcciones de investigación identificadas incluyen:

• Incorporar estructuras de dependencia temporal explícitas (por ejemplo, dinámicas autorregresivas) en lugar de simples efectos fijos temporales.
• Modelar mecanismos MNAR.
• Investigar el papel de los autovectores con autocorrelación negativa.
• Desarrollar estrategias de validación fuera de la muestra más rigurosas que involucren el enmascaramiento artificial.

El código está implementado en R, pero no está disponible públicamente al momento de la redacción.