🤖 AI

AirQualityBench: A Realistic Evaluation Benchmark for Global Air Quality Forecasting

Het artikel introduceert AirQualityBench, een wereldwijd meervervuilingsbenchmark dat luchtkwaliteitsvoorspellingsmodellen evalueert onder realistische omstandigheden van ongelijke dekking en gestructureerde ontbrekende gegevens, en blootlegt dat sterke prestaties op opgeschoonde datasets niet betrouwbaar overdragen naar gefragmenteerde, real-world monitoringstromen.

Oorspronkelijke auteurs: Xing Xu, Xu Wang, Yudong Zhang, Huilin Zhao, Zhengyang Zhou, Yang Wang

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xing Xu, Xu Wang, Yudong Zhang, Huilin Zhao, Zhengyang Zhou, Yang Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren het weer te voorspellen. In het verleden leerden wetenschappers deze robots met "perfecte" weergegevens: schone, volledige en netjes georganiseerde spreadsheets waarin geen enkele ontbrekende cijfers voorkwamen. Het was alsof je een student leerde rijden op een perfect glad, leeg racetrack zonder verkeerslichten of kuilen.

Het probleem? Het echte leven is geen racetrack. Echte luchtkwaliteitsmonitoring is rommelig. Sommige sensoren breken, sommige stations liggen ver uit elkaar, en sommige vervuilende stoffen zijn moeilijker te volgen dan andere. Als je een robot die getraind is op een perfect circuit op een hobbelige, echte weg zet, crasht hij vaak.

AirQualityBench is een nieuwe "rijexamen" ontworpen om te zien of modellen voor het voorspellen van luchtkwaliteit de rommelige realiteit van de echte wereld daadwerkelijk aankunnen.

Hieronder wordt het artikel uiteengezet, met gebruikmaking van eenvoudige analogieën:

1. Het Probleem: De "Gesanitized" Valstrik

De meeste huidige benchmarks voor luchtkwaliteit zijn als gephotoshopte kaarten.

De Oude Manier: Als een sensor kapot was en een dag geen gegevens leverde, vulden onderzoekers het gat gewoon in met een gok (zoals het trekken van een rechte lijn tussen twee punten). Ze zetten ook vaak alle cijfers om naar een generieke "score" (zoals een cijfer van 0 tot 100) om ze makkelijker vergelijkbaar te maken.
Het Probleem: Dit verbergt de echte uitdagingen. In de echte wereld ontbreken gegevens vaak volgens specifieke patronen (bijvoorbeeld: gassensoren werken minder vaak dan stofsensoren), en verschillende plaatsen meten dingen in verschillende eenheden (sommigen gebruiken gram, anderen milligram). Door de gegevens te "schoonmaken", testten onderzoekers modellen op een fantasiewereld, niet op de echte wereld.

2. De Oplossing: De "Echte Wereld" Gymzaal

De auteurs creëerden AirQualityBench, wat lijkt op een gymzaal met obstakels in plaats van een gladde loopband.

De Omvang: Het is enorm. In plaats van slechts één stad te bekijken, bestrijkt het 3.720 meetstations over de hele wereld.
De Tijd: Het volgt gegevens van 2021 tot 2025.
De Rommeligheid: Ze vulden de ontbrekende cijfers niet in. Als een sensor kapot was, werden de gegevens gemarkeerd als "ontbrekend". De modellen moeten leren de toekomst te voorspellen zelfs als ze niet alle informatie uit het verleden hebben.
De Echte Eenheden: Ze zetten niet alles om naar een generieke score. Ze behielden de echte fysieke eenheden (zoals microgram per kubieke meter). Dit betekent dat de fout die je ziet de werkelijke hoeveelheid vervuiling is die het model verkeerd voorspelde, en niet zomaar een wiskundige score.

3. De Zes "Vervuilende Stoffen" (De Personages)

De benchmark volgt zes verschillende soorten luchtverontreiniging, die elk fungeren als een ander personage met zijn eigen persoonlijkheid:

PM2.5 & PM10: Dit zijn kleine stofdeeltjes. Ze zijn overal en hebben de meeste gegevens.
O3, NO2, SO2, CO: Dit zijn gassen. Ze zijn veel moeilijker te volgen, met veel meer gaten in de gegevens (zoals een personage dat te laat op het feestje verschijnt).
De Uitdaging: Een model moet alle zes tegelijk voorspellen, zelfs als sommige van hen veel vaker ontbrekende gegevens hebben dan anderen.

4. De Resultaten: Wie Haalde Het Examen Eigenlijk?

De auteurs testten vele verschillende soorten AI-modellen (sommige gebaseerd op grafieken, sommige op tijdreeksen, sommige op attentiemechanismen) op deze nieuwe, rommelige benchmark.

De Verrassing: Modellen die als "sterren" leken op de oude, schone datasets, hadden het hier vaak moeilijk. Goed zijn in voorspellen op een glad circuit betekende niet dat ze op een hobbelige weg konden rijden.
De Winnaars: De modellen die het beste presteerden, waren die welke goed om konden gaan met gefragmenteerde gegevens. Ze vertrouwden niet alleen op ingewikkelde, complexe wiskunde; ze waren robuust genoeg om te zeggen: "Ik heb geen gegevens van Station A, maar ik kan gokken op basis van Station B en de windrichting."
De Afweging: Het artikel vond een "Goudlokje"-zone. De meest accurate modellen waren vaak erg zwaar en traag (zoals een luxe vrachtwagen), terwijl de snelste modellen vaak te onnauwkeurig waren (zoals een fiets). De beste modellen voor gebruik in de echte wereld moeten een balans vinden tussen slim genoeg zijn om de rommel aan te kunnen en snel genoeg om op echte computers te draaien.

5. Waarom Dit Belangrijk Is

Zie AirQualityBench als een stress test.

Voorheen keken we of modellen een puzzel konden oplossen met alle stukjes aanwezig.
Nu kijken we of ze de puzzel kunnen oplossen als de helft van de stukjes ontbreekt, en de resterende stukjes verschillende vormen en maten hebben.

Het artikel concludeert dat als een model niet om kan gaan met de ontbrekende gegevens en de eenheden uit de echte wereld, het waarschijnlijk nog niet klaar is om in de echte wereld te worden ingezet om steden te helpen hun luchtkwaliteit te beheren. Deze benchmark dwingt onderzoekers om modellen te bouwen die niet alleen "slim" zijn in een lab, maar ook "sterk" genoeg voor de echte wereld.

Kortom: AirQualityBench houdt ons ervan om te doen alsof de wereld perfect is. Het dwingt AI om te leren hoe het luchtkwaliteit moet voorspellen wanneer sensoren kapot zijn, gegevens ontbreken en de eenheden verwarrend zijn – precies zoals in het echte leven.

Technische Samenvatting: AirQualityBench

Probleemdefinitie

Luchtkwaliteitsvoorspelling is een complexe ruimtelijk-temporele voorspellingstaak die wordt beïnvloed door regionaal transport, meteorologie, emissies en heterogene monitoringdekking. Hoewel recente diepe ruimtelijk-temporele modellen sterke resultaten hebben behaald op gecureerde regionale datasets, is hun vooruitgang afhankelijk van benchmarks die vaak niet voldoen aan de voorwaarden voor implementatie in de echte wereld. Bestaande benchmarks lijden doorgaans aan drie kritieke beperkingen:

Beperkte Ruimtelijke Omvang: Ze zijn vaak beperkt tot enkele steden of administratieve regio's, waardoor planetaire schaaltransportpatronen worden verbroken en de schaalbaarheid van modellen over diverse klimatologische en topologische omstandigheden niet wordt getest.
Gereinigde Ontbrekende Waarden: Ze maken vaak gebruik van handmatige ingrepen (bijvoorbeeld lineaire interpolatie, gemiddelde imputatie) om "schone" datatensors te construeren. Dit wijkt af van de fysieke realiteit van patronen waarbij ontbrekende waarden niet willekeurig zijn (Missing Not At Random, MNAR), waardoor synthetische bias ontstaat die de broosheid van modellen maskeert wanneer ze geconfronteerd worden met gefragmenteerde, realistische observatiestromen.
Zwakke Fysische Interpretatie: Ze vertrouwen op dimensieloze, genormaliseerde evaluatiemetrics, waardoor de toxicologische betekenis van voorspelfouten wordt verduisterd en er een kloof ontstaat tussen laboratoriumexperimenten en milieuregulatorische eisen.

Het centrale obstakel dat is geïdentificeerd, is niet slechts een gebrek aan datavolume, maar het ontbreken van een realistisch evaluatieprotocol dat rekening houdt met ontbrekende waarnemingen, niet-uniforme ruimtelijke dekking, pollutant-specifieke schalen en rekenkosten.

Methodologie: AirQualityBench

Om deze gaten op te vullen, introduceren de auteurs AirQualityBench, een wereldwijde multi-pollutant benchmark ontworpen om voorspellingsmodellen te evalueren onder realistische, gefragmenteerde omstandigheden.

Datasetconstructie

Schaal en Omvang: De benchmark aggregateert uurlijkse waarnemingen van 3.720 residentieel bewakende stations wereldwijd, over de periode 2021–2025.
Pollutanten: Het omvat zes belangrijke pollutanten: PM2.5, PM10, O3, NO2, SO2 en CO.
Data Bron: Ruwe data wordt geoogst van het OpenAQ-platform. Een filter voor "residentieel station" wordt toegepast, waarbij alleen stations worden behouden met een geldige waarnemingsratio boven de 50% voor ten minste één pollutant over de volledige vijfjarige periode.
Authentieke Ontbrekende Waarden: In tegenstelling tot eerdere werken, behoudt AirQualityBench de provider-natieve waarnemingsmaskers. Het imputeert geen ontbrekende waarden. In plaats daarvan wordt een binaire maskertensor ( $M \in \{0, 1\}^{T \times N \times C}$ ) gebruikt om geldige waarnemingen aan te geven, waardoor modellen worden gedwongen direct te redeneren vanuit gefragmenteerde historische stromen.
Fysische Schaal Evaluatie: De benchmark behoudt provider-natieve eenheidmetagegevens (bijvoorbeeld $\mu g/m^3$ voor deeltjes, $mg/m^3$ voor CO). Voorspellingen worden voorafgaand aan de foutberekening inverse-getransformeerd naar deze fysieke schalen, zodat metrics interpreteerbaar zijn in realistische concentratie-eenheden.
Grafiek Topologie: Een gestandaardiseerde sferische $k$ -NN-grafiek wordt geconstrueerd met behulp van de Haversine-afstand om rekening te houden met de kromming van de aarde, waardoor een reproduceerbare ruimtelijke prior wordt geboden voor grafiekgebaseerde basismodellen.

Experimenteel Protocol

Temporele Split: Data wordt chronologisch gesplitst om generalisatie over onzichtbare klimatologische cycli te testen: 2021–2023 voor training, 2024 voor validatie en 2025 voor testen.
Basismodellen: De auteurs evalueren een diverse reeks representatieve ruimtelijk-temporele modellen, waaronder:
- Grafiek-recurrente/convolutionele methoden (DCRNN, STGCN, GWN, AGCRN).
- Op attentie gebaseerde en Transformer-architecturen (ASTGCN, STTN, PDFormer, IGSTGNN).
- Ontkoppelde en gebeurtenisbewuste modellen (D2STGNN, MAGE, BiST).
Eerlijkheid: Alle modellen worden geëvalueerd onder hetzelfde maskerprotocol. Ontbrekende waarden worden afgehandeld via nulinvulling (na normalisatie) met expliciete binaire maskering als input waar van toepassing. Evaluatiemetrics (MAE, MSE, RMSE, MAPE) worden uitsluitend berekend op geldige toekomstige waarnemingen na inverse transformatie.

Belangrijkste Bijdragen

Wereldwijde Multi-Pollutant Benchmark: Een geografisch diverse testomgeving met 3.720 stations en zes pollutanten, die de evaluatie van schaalbaarheid en interregionale heterogeniteit mogelijk maakt buiten regionale grenzen.
Masker-bewuste Fysische Schaal Evaluatie: Een protocol dat authentieke onvolledigheid van waarnemingen behoudt en fouten rapporteert op fysieke concentratieschalen, waardoor fysiek interpreteerbare metrics mogelijk worden in plaats van genormaliseerde residuen.
Gefuseerde Basismodellen en Diagnostiek: Een uitgebreide evaluatie van state-of-the-art modellen onder identieke splitsen en maskerprotocollen, waardoor hun gedrag wordt blootgelegd onder pollutant-specifieke schaarste en niet-uniforme stationdekking.

Resultaten en Bevindingen

De evaluatie van representatieve modellen op AirQualityBench levert verschillende inzichten op:

Prestatieoverdracht: Sterke prestaties op gereinigde, regionale datasets vertalen zich niet betrouwbaar naar wereldwijde, gefragmenteerde monitoringstromen.
Modellensensitiviteit: Modellen met expliciete ruimtelijk-temporele afhankelijkheidsmodellering en ontkoppelde ruimtelijk-temporele dynamiek (bijvoorbeeld D2STGNN, STTN) vormen over het algemeen de sterkste categorie. Echter, flexibele adaptieve of zwaar op attentie gebaseerde ontwerpen verbeteren de prestaties niet altijd, wat suggereert dat authentieke ontbrekende waarden en schaarse niet-uniforme grafieken het betrouwbaar schatten van geleerde afhankelijkheden bemoeilijken.
Temporele Regulariteiten: Methoden gebaseerd op temporele convolutie blijven zeer concurrerend, vooral op langere horizonnen, wat aangeeft dat de benchmark sterke dagelijkse en seizoensgebonden regulariteiten behoudt die kunnen worden benut door stabiele temporele ruggegronden.
Afweging tussen Nauwkeurigheid en Efficiëntie: De benchmark benadrukt een duidelijke afweging. Hogere nauwkeurigheid vereist vaak aanzienlijke rekenresources (geheugen en latentie), terwijl lichtgewicht modellen de neiging hebben om voorspellingskwaliteit te offeren onder authentieke ontbrekende waarden. Bijvoorbeeld, sommige compacte modellen leiden tot aanzienlijk geheugengebruik, terwijl andere met grotere parameteraantallen efficiënt blijven.

Betekenis en Claims

Het artikel positioneert AirQualityBench niet als een definitieve standaard, maar als een realistische testomgeving en een stress-test voor ruimtelijk-temporele modellen. De betekenis ervan ligt in:

Overbrugging van de Kloof: Het verbindt theoretisch onderzoek met implementatie in de echte wereld door modellen bloot te stellen aan de exacte omstandigheden (ontbrekende waarden, heterogeniteit, fysieke schalen) die de inzetbaarheid in echte sensornetwerken bepalen.
Diagnostische Waarde: Het gaat voorbij aan eenvoudige leaderboard-rangschikking om diagnostische inzichten te bieden over hoe modellen omgaan met gestructureerde ontbrekende waarden, pollutant-specifieke schaarste en de kosten van schaalvergroting naar niet-uniforme wereldwijde netwerken.
Reproduceerbaarheid: Door de verwerkte tensors, authentieke maskers, stationmetagegevens en evaluatiescripts vrij te geven, streven de auteurs ernaar ervoor te zorgen dat gerapporteerde resultaten reproduceerbaar zijn vanuit dezelfde voorverwerkingspijplijn.

De auteurs concluderen dat AirQualityBench dient als fundament voor het ontwikkelen van voorspellingsmodellen die niet alleen nauwkeurig zijn op gereinigde tensors, maar ook betrouwbaar onder gefragmenteerde realistische observatiestromen, waardoor de ontwikkeling van schaalbare, masker-bewuste en fysiek interpreteerbare systemen voor luchtkwaliteitsvoorspelling wordt vergemakkelijkt.