Eigenvector Spatial Filters Nuclear Norm Matrix Completion with Application to Air Quality Data

Technische Samenvatting: Eigenvector Spatial Filters Nuclear Norm Matrix Completion (ESFNNMC)

Probleemstelling
Betrouwbare reconstructie van ontbrekende observaties in milieupaneeldatasets is cruciaal voor nauwkeurige blootstellingsbeoordeling en beleidsanalyse. Luchtkwaliteitsmeetgegevens lijden vaak aan ontbrekende invoer door sensorstoringen of kalibratieperioden. Hoewel traditionele nuclear norm matrix completion-methoden effectief ontbrekende waarden in low-rank matrices imputeren, negeren zij vaak de ruimtelijke afhankelijkheid die inherent is aan luchtkwaliteitsprocessen. Standaard fixed-effects benaderingen (bijv. Athey et al., 2021) houden rekening met eenheden-specifieke intercepten, maar modelleren niet expliciet de ruimtelijke autocorrelatie tussen meetstations, wat potentieel de nauwkeurigheid van de imputatie beperkt in ruimtelijk gecorreleerde omgevingen.

Methodologie
Het artikel stelt de Eigenvector Spatial Filters Nuclear Norm Matrix Completion (ESFNNMC) methode voor. Deze benadering breidt het fixed-effects nuclear norm matrix completion framework uit door een gestructureerd ruimtelijk component te vervangen door unit-specifieke fixed effects, gebaseerd op Eigenvector Spatial Filters (ESF).

1. Modelformulering:
   De geobserveerde matrix $M \in \mathbb{R}^{n \times T}$ wordt gedekomponeerd als:
   $$\hat{M} = \hat{L} + A\hat{\alpha}\mathbf{1}_T^\top + \mathbf{1}_n\hat{v}^\top$$
   Waar:

   • $\hat{L}$ een low-rank matrix is die latente spatio-temporele factoren vastlegt.
   • $\mathbf{1}_n\hat{v}^\top$ tijd-fixed effects representeert.
   • $A\hat{\alpha}\mathbf{1}_T^\top$ de standaard unit fixed effects ($\hat{u}\mathbf{1}_T^\top$) vervangt. Hier is $A$ een matrix van exogene ruimtelijke basisfuncties (Moran eigenvectoren) en zijn $\hat{\alpha}$ de te schatten coëfficiënten.

2. Constructie van de Spatial Filter:

   • Een ruimtelijke gewichtsmatrix $W$ wordt gesymmetriseerd en gecentreerd.
   • Eigendecompositie wordt uitgevoerd op de getransformeerde matrix om Moran eigenvectoren te verkrijgen.
   • Eigenvectoren worden geselecteerd op basis van hun vermogen om positieve ruimtelijke autocorrelatie te vangen (gemeten door Moran's $I$). De selectie behoudt eigenvectoren die een door de gebruiker gespecificeerde drempelwaarde (bijv. 90%) van het totale positieve ruimtelijke autocorrelatiesignaal verklaren.
   • Dit reduceert het aantal parameters van $n$ (unit effects) naar $q$ (spatial filters), waarbij $q \ll n$, terwijl orthogonaliteit wordt gewaarborgd en multicollineariteit wordt vermeden.

3. Estimatiealgoritme:
   Het model wordt geschat met behulp van een Block-Coordinate Descent (BCD) benadering voor multiconvexe optimalisatie. Het algoritme itereert door drie stappen totdat convergentie optreedt:

   • Update van de ruimtelijke coëfficiënten ($\alpha$): Lost een gewogen kleinste-kwadratenprobleem op om het ruimtelijke component op rij-niveau te fitten.
   • Update van de tijdseffecten ($v$): Berekent tijd-fixed effects door gemiddelde temporele residuen te verwijderen.
   • Update van de low-rank component ($L$): Past soft-thresholded Singular Value Decomposition (SVD) toe op de residu-matrix om de low-rank structuur af te dwingen.
   • Regularisatie: De regularisatieparameter $\lambda$ wordt via cross-validatie geselecteerd om de Root Mean Square Error (RMSE) op een validatieset te minimaliseren.

Belangrijkste Bijdragen

• Methodologische Integratie: Het artikel verenigt drie stromen in de literatuur: low-rank matrix completion via convexe regularisatie, panel data fixed-effects estimatie, en spatial filtering technieken.
• Efficiënte Parameterisatie: Door unit fixed effects te vervangen door een spaarzaam pakket van orthogonale ruimtelijke eigenvectoren, legt de methode de dynamiek van ruimtelijke autocorrelatie vast zonder de risico's op overfitting die gepaard gaan met het schatten van $n$ afzonderlijke parameters.
• Computationele Efficiëntie: Het voorgestelde BCD-algoritme behoudt computationele kosten die vergelijkbaar zijn met standaard fixed-effects nuclear norm completion, zoals aangetoond in de runtime-simulaties.

Resultaten
Het artikel evalueert ESFNNMC via uitgebreide simulaties en een empirische toepassing op PM10-data in Lombardije, Italië.

• Simulatiebevindingen:

  • Over diverse matrixdimensies, missingness-patronen (2%–25%) en autocorrelatieniveaus, demonstreert ESFNNMC consistent verbeterde imputatienauwkeurigheid (gemeten door Median MAPE) vergeleken met de standaard Fixed-Effects Nuclear Norm Matrix Completion (FENNMC).
  • De prestatiewinst is het meest uitgesproken in scenario's met hoge ruimtelijke autocorrelatie ($\rho$) en lage temporele autocorrelatie ($\phi$), met name in "lange" matrices (veel ruimtelijke eenheden, weinig tijdperioden).
  • In "brede" matrices (weinig eenheden, lange tijdreeksen) neemt het voordeel van spatial filters af naarmate de temporele structuur domineert, hoewel ESFNNMC concurrerend blijft.
  • Het aantal geselecteerde spatial filters blijft stabiel (doorgaans 20–30% van het aantal rijen), wat de parsimonie van de methode bevestigt.
  • De computationele tijden voor ESFNNMC zijn bijna identiek aan FENNMC (bijv. ~0,48s vs. ~0,43s per replicatie voor een 10x10 matrix).

• Empirische Toepassing (Lombardije PM10):

  • Toegepast op dagelijkse PM10-metingen van 64 stations in 2021 (ongeveer 4% ontbrekende data).
  • Zeven eigenvectoren werden geselecteerd om ~90% van de positieve ruimtelijke autocorrelatie te verklaren.
  • De gereconstrueerde reeks reproduceerde succesvol seizoensdynamiek en kortstondige pieken.
  • ESFNNMC produceerde iets gladdere trajecten dan FENNMC, met name tijdens abrupte fluctuaties, door informatie te lenen van naburige stations.
  • Opmerking over Validatie: De auteurs erkennen dat directe out-of-sample validatie op de echte data uitdagend is omdat de werkelijke ontbrekende waarden onbekend zijn. Hoewel in-sample MAPE op geobserveerde data werd berekend, benadrukken de auteurs dat een rigoureuze vergelijking een externe validatiestrategie vereist (bijv. kunstmatige masking), wat als toekomstig werk wordt voorgesteld.

Betekenis en Claims
Het artikel beweert dat ESFNNMC een principieel aanpak biedt voor de reconstructie van hoog-resolutie vervuilingsvelden uit incomplete meetnetwerken. Door expliciet ruimtelijke afhankelijkheid te modelleren binnen het matrix completion framework, levert de methode aanzienlijke winsten in imputatienauwkeurigheid voor milieu-toepassingen, vooral waar ruimtelijke patronen sterk aanwezig zijn.

De auteurs positioneren dit werk als een bijdrage aan de groeiende literatuur over ruimtelijke machine learning voor milieudata. Zij merken bescheiden op dat de huidige implementatie uitgaat van een Missing At Random (MAR) mechanisme, terwijl milieudata vaak Missing Not At Random (MNAR) patronen vertonen. Toekomstige onderzoeksrichtingen die zijn geïdentificeerd, zijn:

• Het integreren van expliciete temporele afhankelijkheidsstructuren (bijv. autoregressieve dynamiek) in plaats van eenvoudige tijd-fixed effects.
• Het modelleren van MNAR-mechanismen.
• Het onderzoeken van de rol van negatief gecorreleerde eigenvectoren.
• Het ontwikkelen van rigoureuze out-of-sample validatiestrategieën waarbij gebruik wordt gemaakt van kunstmatige masking.

De code is geïmplementeerd in R maar is op het moment van schrijven nog niet publiekelijk beschikbaar.