Eigenvector Spatial Filters Nuclear Norm Matrix Completion with Application to Air Quality Data

Sintesi Tecnica: Eigenvector Spatial Filters Nuclear Norm Matrix Completion (ESFNNMC)

Definizione del Problema
La ricostruzione affidabile delle osservazioni mancanti nei dataset panel ambientali è fondamentale per una valutazione accurata dell'esposizione e per l'analisi delle politiche. I dati di monitoraggio della qualità dell'aria soffrono spesso di voci mancanti a causa di malfunzionamenti dei sensori o periodi di calibrazione. Sebbene i metodi tradizionali di completamento di matrici tramite norma nucleare siano efficaci nell'imputare le voci mancanti in matrici a basso rango, essi spesso trascurano la dipendenza spaziale inerente ai processi di qualità dell'aria. Gli approcci standard a effetti fissi (ad es., Athey et al., 2021) tengono conto degli intercetti specifici per unità, ma non modellano esplicitamente l'autocorrelazione spaziale tra le stazioni di monitoraggio, il che può limitare l'accuratezza dell'imputazione in ambienti spazialmente correlati.

Metodologia
Il documento propone il metodo Eigenvector Spatial Filters Nuclear Norm Matrix Completion (ESFNNMC). Questo approccio estende il framework di completamento di matrici con norma nucleare a effetti fissi sostituendo gli effetti fissi specifici per unità con una componente spaziale strutturata basata su Filtri Spaziali di Autovettori (ESF).

1. Formulazione del Modello:
   La matrice osservata $M \in \mathbb{R}^{n \times T}$ viene decomposta come:
   $$\hat{M} = \hat{L} + A\hat{\alpha}\mathbf{1}_T^\top + \mathbf{1}_n\hat{v}^\top$$
   Dove:

   • $\hat{L}$ è una matrice a basso rango che cattura i fattori spazio-temporali latenti.
   • $\mathbf{1}_n\hat{v}^\top$ rappresenta gli effetti fissi temporali.
   • $A\hat{\alpha}\mathbf{1}_T^\top$ sostituisce i classici effetti fissi di unità ($\hat{u}\mathbf{1}_T^\top$). Qui, $A$ è una matrice di funzioni base spaziali esogene (autovettori di Moran) e $\hat{\alpha}$ sono i coefficienti da stimare.

2. Costruzione del Filtro Spaziale:

   • Una matrice di pesi spaziali $W$ viene simmetrizzata e centrata.
   • Viene eseguita la decomposizione in autovettori sulla matrice trasformata per ottenere gli autovettori di Moran.
   • Gli autovettori vengono selezionati in base alla loro capacità di catturare l'autocorrelazione spaziale positiva (misurata tramite l'indice $I$ di Moran). La selezione mantiene gli autovettori che spiegano una soglia specificata dall'utente (ad es., il 90%) del segnale totale di autocorrelazione spaziale positiva.
   • Ciò riduce il numero di parametri da $n$ (effetti di unità) a $q$ (filtri spaziali), dove $q \ll n$, garantendo al contempo l'ortogonalità ed evitando la multicollinearità.

3. Algoritmo di Stima:
   Il modello viene stimato utilizzando un approccio di Discesa a Coordinate a Blocchi (BCD) per l'ottimizzazione multiconvessa. L'algoritmo itera attraverso tre fasi fino alla convergenza:

   • Aggiornamento dei Coefficienti Spaziali ($\alpha$): Risolve un problema di minimi quadrati pesati per adattare la componente spaziale ai residui a livello di riga.
   • Aggiornamento degli Effetti Temporali ($v$): Calcola gli effetti fissi temporali rimuovendo la media dei residui temporali.
   • Aggiornamento della Componente a Basso Rango ($L$): Applica la SVD (Singular Value Decomposition) con soglia morbida (soft-thresholding) alla matrice dei residui per imporre la struttura a basso rango.
   • Regolarizzazione: Il parametro di regolarizzazione $\lambda$ viene selezionato tramite cross-validazione per minimizzare l'Errore Quadratico Medio (RMSE) su un set di validazione.

Contributi Chiave

• Integrazione Metodologica: Il documento unifica tre filoni della letteratura: il completamento di matrici a basso rango tramite regolarizzazione convessa, la stima di dati panel a effetti fissi e le tecniche di filtraggio spaziale.
• Parametrizzazione Efficiente: Sostituendo gli effetti fissi di unità con un insieme parsimonioso di autovettori spaziali ortogonali, il metodo cattura la dinamica dell'autocorrelazione spaziale senza i rischi di overfitting associati alla stima di $n$ parametri separati.
• Efficienza Computazionale: L'algoritmo BCD proposto mantiene costi computazionali comparabili al completamento di norma nucleare a effetti fissi standard, come dimostrato dai tempi di esecuzione nelle simulazioni.

Risultati
Il documento valuta l'ESFNNMC attraverso estese simulazioni e un'applicazione empirica ai dati PM10 in Lombardia, Italia.

• Risultati delle Simulazioni:

  • In varie dimensioni di matrice, pattern di mancanza (2%–25%) e livelli di autocorrelazione, l'ESFNNMC dimostra costantemente un miglioramento dell'accuratezza dell'imputazione (misurato tramite il MAPE mediano) rispetto al classico completamento di matrici a norma nucleola con effetti fissi (FENNMC).
  • I guadagni di performance sono più pronunciati in scenari con alta autocorrelazione spaziale ($\rho$) e bassa autocorrelazione temporale ($\phi$), in particolare in matrici "lunghe" (molte unità spaziali, pochi periodi temporali).
  • Nelle matrici "larghe" (poche unità, serie temporali lunghe), il vantaggio dei filtri spaziali diminuisce poiché la struttura temporale diventa dominante, sebbene l'ESFNNMC rimanga competitivo.
  • Il numero di filtri spaziali selezionati rimane stabile (tipicamente il 20-30% del numero di righe), confermando la parsimonia del metodo.
  • I tempi di calcolo per l'ESFNNMC sono quasi identici a quelli del FENNMC (ad es., ~0,48s vs ~0,43s per replicazione per una matrice 10x10).

• Applicazione Empirica (PM10 in Lombardia):

  • Applicato alle misurazioni giornaliere di PM10 di 64 stazioni nel 2021 (circa il 4% di dati mancanti).
  • Sono stati selezionati sette autovettori per spiegare circa il 90% dell'autocorrelazione spaziale positiva.
  • Le serie ricostruite hanno riprodotto con successo le dinamiche stagionali e i picchi a breve termine.
  • L'ESFNNMC ha prodotto traiettorie leggermente più fluide rispetto al FENNMC, specialmente durante fluttuazioni improvvise, grazie all'integrazione di informazioni dalle stazioni vicine.
  • Nota sulla Validazione: Gli autori riconoscono che la validazione diretta fuori campione sui dati reali è complessa poiché i valori mancanti effettivi sono ignoti. Sebbene sia stato calcolato il MAPE in-sample sui dati osservati, gli autori sottolineano che un confronto rigoroso richiede una strategia di validazione esterna (ad es., mascheramento artificiale), che viene proposta come lavoro futuro.

Significatività e Rivendicazioni
Il documento sostiene che l'ESFNNMC offra un approccio fondato per ricostruire campi di inquinanti ad alta risoluzione da reti di monitoraggio incomplete. Modellando esplicitamente la dipendenza spaziale all'interno del framework di completamento della matrice, il metodo fornisce guadagni apprezzabili nell'accuratezza dell'imputazione per applicazioni ambientali, specialmente laddove i pattern spaziali sono forti.

Gli autori inquadrano questo lavoro come un contributo alla crescente letteratura sul machine learning spaziale per i dati ambientali. Osservano con modestia che l'attuale implementazione assume un meccanismo di dati mancanti casuali (Missing At Random - MAR), mentre i dati ambientali spesso presentano pattern di dati mancanti non casuali (Missing Not At Random - MNAR). Le direzioni di ricerca futura identificate includono:

• L'incorporazione di strutture di dipendenza temporale esplicite (ad es., dinamiche autoregressive) piuttosto che semplici effetti fissi temporali.
• La modellazione dei meccanismi MNAR.
• L'indagine sul ruolo degli autovettori con autocorrelazione negativa.
• Lo sviluppo di strategie di validazione fuori campione più rigorose basate sul mascheramento artificiale.

Il codice è implementato in R ma non è ancora disponibile pubblicamente al momento della stesura.