Technische Samenvatting: Green-NAS voor Edge-Native Weervoorspelling

Probleemstelling

Het artikel behandelt de kritieke behoefte aan nauwkeurige, kortetermijn weervoorspellingen in omgevingen met beperkte middelen, met name binnen het Mondiale Zuiden. Hoewel Numerieke Weersvoorspelling (NWP) en recente deep learning "foundation" modellen (bijv. GraphCast) een hoge prestatie leveren, worden zij geconfronteerd met twee primaire barrières voor brede adoptie in ontwikkelingsregio's:

1. Computationele Kosten: Grote modellen met honderden miljoenen parameters vereisen hoogwaardige GPU's, wat ze ongeschikt maakt voor gedistribueerde edge-netwerken of IoT-gebaseerde klimaatmonitoring.
2. Architecturale Rigiditeit: Modellen die handmatig zijn ontworpen voor specifieke klimaten (bijv. Europees) falen vaak bij het vastleggen van de snelle convectieve processen van tropische gordels.
3. Milieu-impact: Het energieverbruik en de CO2-voetafdruk van het trainen en implementeren van massieve modellen strijden tegen de principes van duurzame "Green AI".

Daarnaast kampen veel ontwikkelende landen met een beperkte hoeveelheid historische weerdata, wat het trainen van robuuste lokale modellen vanaf nul belemmert.

Methodologie

De auteurs stellen Green-NAS voor, een multi-objectieve Neural Architecture Search (NAS) framework dat is ontworpen om automatisch lichtgewicht, nauwkeurige en energie-efficiënte voorspellingsmodellen te genereren.

1. Zoekruimte en Optimalisatie

Het framework maakt gebruik van NSGA-II (Non-dominated Sorting Genetic Algorithm II) om te zoeken naar optimale architecturen die drie conflicterende doelstellingen balanceren:

• Minimaliseren van Validatie RMSE: Het maximaliseren van de voorspellende nauwkeurigheid.
• Minimaliseren van Parameteraantal: Het reduceren van de modelgrootte voor edge-implementatie.
• Maximaliseren van Interpreteerbaarheid: Geproxy door het minimaliseren van de netwerkdiepte (het bevoordelen van eenvoudigere modellen).

De zoekruimte bevat combinaties van:

• Recurrente Lagen: LSTM en GRU voor het vastleggen van temporele afhankelijkheden.
• Convolutionele Lagen: 1D CNN's voor het extraheren van lokale korte-termijn kenmerken.
• Attention Mechanismen: Multi-head attention voor globale relaties (hoewel de resultaten lieten zien dat deze voor deze specifieke taak vaak inferieur waren).
• Dense Lagen: MLPs voor niet-lineaire transformaties.

De zoektocht werd uitgevoerd over 10 generaties met een populatiegrootte van 20, waarbij 114 architecturen in totaal werden geëvalueerd.

2. Dataset en Experimentele Opzet

• Data: 1.072.693 uurlijkse monsters uit 24 steden over zes Köppen-klimaatzones (Tropisch, Aride, Gematigd, Continentaal) over de periode 2019–2024.
• Splitsing: 18 steden dienden als de bronset (trainingsset), en 6 verschillende steden dienden als de doelset (testset) om generalisatie te evalueren.
• Kenmerken: Temperatuur, luchtvochtigheid, neerslag, luchtdruk, bewolking, windsnelheid/windrichting en kortgolvige straling.
• Baseline: Vergelijkingen werden gemaakt met persistentie, klimatologie, handmatig afgestemde DL-modellen (LSTM/GRU/Transformer) en de state-of-the-art GraphCast.

3. Robuustheid en Transfer Learning

• Conformal Prediction: Split Conformal Prediction werd geïntegreerd om rigoureuze 95% betrouwbaarheidsintervallen te genereren, wat betrouwbaarheid garandeert voor veiligheidskritische toepassingen.
• Transfer Learning: Een methodologie is ontwikkeld om modellen voor te trainen op de rijke bronset en vervolgens te finetunen op schaarse doelsets, om zo de datascarciteit in specifieke regio's aan te pakken.

Belangrijkste Bijdragen en Resultaten

1. Ontdekking van Pareto-optimale Architecturen

De NSGA-II zoektocht identificeerde een Pareto-front van 20 architecturen. Drie representatieve modellen werden uitgelicht:

• Green-NAS-A (Hoge Nauwkeurigheid): Een 2-laagse GRU-architectuur met 153.096 parameters. Het bereikte een RMSE van 0,0988, wat binnen 1,4% ligt van de beste handmatig afgestemde Transformer-baseline (0,0974) en presteert aanzienlijk beter dan standaard baselines.
• Green-NAS-B (Gebalanceerd): Een enkele laag CNN met 4.232 parameters en een RMSE van 0,0996, wat een balans biedt tussen nauwkeurigheid en efficiëntie.
• Green-NAS-C (Hoge Efficiëntie): Een ultra-compacte CNN met slechts 1.064 parameters en een RMSE van 0,1019. Dit model is 36 keer kleiner dan Green-NAS-A en geschikt voor microcontrollers.

Vergelijking met State-of-the-Art:
Hoewel GraphCast (36,7M parameters) globale gegridde voorspelling oplost, lossen Green-NAS-modellen lokale puntvoorspelling op met drastisch minder parameters (Green-NAS-A is 239x kleiner; Green-NAS-C is 35.500x kleiner).

2. Efficiëntie en Edge-Implementatie

• Inference Latentie: Alle modellen bereikten een sub-milliseconde inferentie op een standaard CPU (Green-NAS-A: 0,52ms; Green-NAS-C: 0,33ms).
• Modelgrootte: Green-NAS-C past binnen ~4 KB, waardoor het inzetbaar is op ultra-low-power IoT-sensoren.
• Onzekerheidskwantificatie: Alle modellen bereikten een bijna-target dekking (93,9%–94,9% voor een 95% target) met nauwe betrouwbaarheidsintervallen, wat wijst op goed gekalibreerde onzekerheidsschattingen.

3. Effectiviteit van Transfer Learning

De studie toonde aan dat het voorvervorderen op bronsteden de prestaties op doelsteden aanzienlijk verbetert, zelfs wanneer de doeldata overvloedig is.

• Prestatiewinst: Transfer learning verbeterde de nauwkeurigheid met 5,2% vergeleken met trainen vanaf nul op 100% van de doeldata.
• Datascarciteit: Met slechts 1% van de doeldata beschikbaar, leverde transfer learning nog steeds een verbetering van 5,7% op, wat nauwkeurige voorspelling in nieuwe steden mogelijk maakt met minimale historische data.

4. Architecturale Inzichten

• Temporele Dominantie: Zuivere recurrente modellen (GRU's) presteerden beter dan hybride CNN-LSTM-ontwerpen en attention-gebaseerde mechanismen voor 24-uurs look-back vensters.
• Kenmerkbelang: Permutatie-belang analyse bevestigde dat temperatuur en oppervlakedruk dominante voorspellers zijn, wat overeenkomt met meteorologische principes. Opvallend genoeg slaagde de door NAS ontdekte GRU erin om windrichting te gebruiken, een complex cyclisch kenmerk dat door eenvoudigere modellen vaak wordt genegeerd.

Betekenis en Claims

Het artikel claimt dat Green-NAS erin slaagt de kloof te overbruggen tussen hoogwaardige weervoorspelling en de beperkte middelen van het Mondiale Zuiden. De betekenis ligt in drie fundamentele inzichten:

1. Haalbaarheid van Geautomatiseerde Zoektochten: Geautomatiseerde NAS-methoden kunnen modellen produceren die concurrerend zijn met, of superieur aan, handmatig ontworpen architecturen, terwijl ze tegelijkertijd de efficiëntie optimaliseren.
2. Efficiëntie zonder Opoffering: Sub-milliseconde inferentie en ultra-compacte modelgroottes (tot 1.064 parameters) zijn haalbaar zonder de nauwkeurigheid significant op te offeren.
3. Globale Kennisoverdracht: De fysica van het weer is universeel genoeg zodat kennis geleerd uit datarijke regio's effectief kan worden overgedragen naar dataschaarse regio's, wat toegang tot klimaatdiensten democratiseert.

De auteurs positioneren Green-NAS als een stap naar "equitable, edge-native climate AI", wat real-time, private en duurzame weervoorspelling direct op IoT-apparaten mogelijk maakt zonder afhankelijkheid van gecentraliseerde cloud-infrastructuur.