An air quality, meteorological and traffic spatio-temporal annotated data set

Technische Samenvatting: METRAQ – Een Spatio-Temporeel Geannoteerde Dataset voor Luchtkwaliteit, Meteorologie en Verkeer

Probleemstelling
Luchtkwaliteit in stedelijke gebieden is een complex fenomeen dat wordt gedreven door de wisselwerking tussen luchtverontreiniging, meteorologische omstandigheden en verkeersactiviteit. Hoewel er individuele datasets voor deze domeinen bestaan, is er een gebrek aan geïntegreerde, langdurige, spatio-temporele datasets die deze heterogene bronnen op een gemeenschappelijke resolutie en locatie uitlijnen. Bestaande datasets kampen vaak met een beperkte temporele dekking, een gebrek aan verkeersgegevens of een grove temporele resolutie (bijv. dagelijkse aggregaten), wat de ontwikkeling van robuuste modellen voor stedelijke luchtkwaliteitsbeoordeling, blootstellingsanalyse en spatio-temporele voorspelling belemmert.

Methodologie
De auteurs presenteren METRAQ, een gecureerde dataset die is geconstrueerd via een Extract–Load–Transform (ELT) workflow met behulp van open data van de Gemeente Madrid, Spanje. De methodologie bestaat uit drie primaire fasen:

1. Data-extractie en Laden:

   • Bronnen: Luchtkwaliteitsgegevens (per uur, sinds 2001), meteorologische gegevens (per uur, sinds 2019) en verkeersgegevens (intervallen van 15 minuten, sinds 2015) werden geëxtraheerd uit het Madrid Open Data Portaal.
   • Normalisatie: Ruwe dagelijkse brede CSV-bestanden (bevattende 24 uurlijkse velden per rij) werden getransformeerd naar een "long" formaat waarbij elke rij een enkele observatie vertegenwoordigt, geïndexeerd door station, grootheid en tijdstempel.
   • Behoud van Validiteit: De oorspronkelijke validiteitsvlaggen werden behouden. Een secundaire stap voor kwaliteitscontrole paste fysieke plausibiliteitsgrenzen toe (bijv. $T \ge -55^\circ C$, $AP \ge 700$ mb) om fysiek onmogelijke waarden als ongeldig te markeren.

2. Data-imputatie en Augmentatie:

   • Temporele Imputatie: Voor luchtkwaliteit en meteorologische series werden ontbrekende uurlijkse waarden geïdentificeerd. Als een station-grootheid-jaar serie ten minste 50% geldige gegevens bevatte, werden ontbrekende waarden ingevuld met behulp van bidirectionele lineaire interpolatie.
   • Ruimtelijke Interpolatie (Meteorologie): Meteorologische variabelen werden toegewezen aan de locaties van de Luchtkwaliteitsmeetstations (AQMS). Indien een station gecollocatieerd was, werden de waarden gekopieerd; anders werden waarden geschat met behendeling van Ordinary Kriging (indien $\ge 12$ stations), Inverse Distance Weighting (indien $\ge 4$ stations), of nearest-neighbor interpolatie.
   • Verkeersaugmentatie: Verkeersgegevens van 5.027 sensoren werden geaggregeerd naar een uurlijkse resolutie en ruimtelijk geïnterpoleerd naar AQMS-locaties. Vijf interpolatievarianten werden gegenereerd voor drie verkeersvariabelen (Intensiteit, Bezettingsgraad, Gemiddelde Snelheid): Radial Basis Functions (Multiquadric, Gaussian, Linear), Inverse Distance Weighting en Ordinary Kriging.

3. Dataset Assemblage:

   • De uiteindelijke dataset bestaat uit 24 jaarlijkse CSV-bestanden (2001–2024) met 64.881.744 rijen.
   • Het bevat 36 grootheden: 14 luchtkwaliteitspollutanten, 7 meteorologische variabelen en 15 verkeersafgeleide variabelen (3 basisvariabelen $\times$ 5 interpolatiemethoden).
   • Een vlag (is_interpolated) onderscheidt tussen geobserveerde en gegenereerde waarden.

Belangrijkste Bijdragen
Het artikel claimt vier hoofdbijdragen:

1. Langdurige Integratie: Een verenigde dataset die luchtkwaliteit, meteorologie en verkeer voor Madrid beslaat, met een temporele intersectie van 72 maanden (2019–2024) en luchtkwaliteitsgegevens die teruggaan tot 2001.
2. Station-gecentreerde Structuur: Een dataset met een uurlijkse resolutie die 14 polluenten, 7 meteorologische parameters en verkeersvariabelen (afgeleid van meer dan 5.000 sensoren) afstemt op specifieke AQMS-locaties.
3. Temporele Intersectie: Een overlap van 6 jaar (72 maanden) van alle drie de databronnen, wat gezamenlijke analyse van stedelijke luchtkwaliteit en mobiliteit faciliteert.
4. Technische Validatie: De auteurs bieden basale technische validatieworkflows voor multivariate forecasting, temporele imputatie en ruimtelijke imputatie om de bruikbaarheid en reproduceerbaarheid van de dataset aan te tonen.

Resultaten en Technische Validatie
Het artikel stelt geen nieuwe voorspellende modellen voor, maar valideert de bruikbaarheid van de dataset via baseline experimenten:

• Forecasting: Met behulp van sensor 28079008 en 8 polluenten (2010–2024) werd de dataset getest met modellen zoals iTransformer, TimeMixer, TimeXer, MLP en XGBoost. Resultaten (MSE/MAE) worden verstrekt voor voorspellingslengtes van 96, 192, 336 en 720 uur.
• Temporele Imputatie: Met dezelfde opzet werden ontbrekende percentages van 12,5% tot 50% geïntroduceerd. Geteste methoden waren onder meer TimesNet, Transformer, lineaire interpolatie en Autoformer. TimesNet presteerde over het algemeen beter dan andere methoden bij verschillende ontbrekende percentages.
• Ruimtelijke Imputatie: Gebruikmakend van NO2-data uit 2019, werd de waarde bij een uitgesloten station (28079035) geschat met behulp van data van andere stations. Inverse Distance Weighting (IDW) behaalde de laagste MSE (0,147) vergeleken met RBF en Kriging-methoden.
• Decompositie: Het artikel bevat een MSTL (Multiple Seasonal-Trend decomposition using LOESS) analyse van dagelijks gemiddelde polluentseries, die langetermijntrends en wekelijkse/jaarlijkse seizoenscomponenten onthult.

Betekenis
De auteurs positioneren METRAQ als een bron ter ondersteuning van studies naar stedelijke luchtkwaliteit, blootstellingsanalyse, verkeersgerelateerde vervuiling en spatio-temporele modellering in dichtbevolkte stedelijke omgevingen. Door heterogene publieke databronnen te harmoniseren in een gemeenschappelijke temporele resolutie en een station-gecentreerde structuur, beoogt de dataset het gat te dichten tussen "brede" multi-stad datasets en "diepe" single-city datasets met beperkte variabele integratie. De inclusie van validiteitsvlaggen en interpolatie-indicatoren stelt onderzoekers in staat om onderscheid te maken tussen geobserveerde en afgeleide gegevens, wat rigoureuze reproduceerbaarheid ondersteunt. De dataset wordt uitgebracht onder een CC-BY 4.0 licentie met bijbehorende code voor PyTorch-integratie.