LatticeVision: Image to Image Networks for Modeling Non-Stationary Spatial Data

Probleemstelling

In veel wetenschappelijke en industriële toepassingen is het noodzakelijk om een parametrisch statistisch model aan te passen aan een kleine verzameling van ruimtelijk verdeelde willekeurige variabelen (velden). De traditionele aanpak voor het schatten van deze parameters is Maximum Likelihood Estimation (MLE). Echter, MLE wordt computationeel onuitvoerbaar voor grote datasets, vooral wanneer de ruimtelijke data niet-stationair is (d.w.z. dat de statistische eigenschappen, zoals correlatie, variëren over de ruimte).

Bestaande alternatieven gebruiken neurale netwerken om parameters te schatten, maar deze zijn vaak beperkt tot lokale schattingen. Dit betekent dat grote velden in kleinere, stationaire secties worden opgesplitst en voor elke sectie onafhankelijk parameters worden geschat. Deze aanpak heeft twee grote nadelen:

1. Het vereist een lineaire toename van doorlooptijd met het aantal secties.
2. Het faalt in het vastleggen van langeafstandsrelaties en globale context, wat essentieel is voor complexe geofysische processen.

Methodologie: LatticeVision

De auteurs introduceren LatticeVision, een globaal raamwerk dat gebruikmaakt van Image-to-Image (I2I) netwerken om parameters voor niet-stationaire ruimtelijke autoregressieve (SAR) modellen direct te schatten.

Kerninzicht:
Voor SAR-modellen kunnen de parameters zelf (zoals correlatielengte, anisotropie en richting) worden gerangschikt op een regelmatige grid. Hierdoor kunnen zowel de invoer (de ruimtelijke velden) als de uitvoer (de parametergrids) worden behandeld als afbeeldingen.

Architectuur:
De auteurs passen drie soorten I2I-netwerken toe:

1. UNet: Een volledig convolutieel netwerk met een symmetrische encoder-decoder structuur en skip-connections.
2. ViT (Vision Transformer): Een transformer-gebaseerd netwerk dat de invoer als patches behandelt.
3. STUN (Spatial TransUNet): Een hybride architectuur die convolutieel encoding combineert met transformer-mechanismen (attention) voor decoding.

Trainingsdata Generatie:
Omdat er geen bestaande datasets zijn met gekoppelde (veld, parameter)-paren voor niet-stationaire processen, genereren de auteurs hun eigen synthetische trainingsdata. Ze creëren parametergrids ($\kappa^2, \rho, \theta$) door acht verschillende ruimtelijke patronen (zoals "kustlijnen", "bulten" en "sinusgolven") te combineren en te stacken. Deze parameters worden gebruikt om een SAR-matrix te bouwen, waaruit synthetische ruimtelijke velden worden gegenereerd.

Inferentie:
In tegenstelling tot lokale methoden die het veld pixel voor pixel of venster voor venster verwerken, voert een I2I-netwerk één enkele forward pass uit over het volledige veld om alle parameters tegelijkertijd te schatten.

Belangrijkste Bijdragen

1. Globaal Schatting Framework: Een nieuwe aanpak die niet-stationaire parameters schat via I2I-netwerken, waardoor langeafstandsafhankelijkheden worden vastgelegd zonder de beperkingen van lokale vensters.
2. Hybride Architectuur Superioriteit: Het bewijs dat hybride modellen (zoals STUN) de beste prestaties leveren, beter dan puur convolutieel (UNet) of puur transformer-gebaseerd (ViT) voor deze specifieke taak.
3. Nieuwe Trainingsstrategie: Een pipeline voor het genereren van synthetische data die wetenschappelijk betekenisvolle priors encodeert voor geofysische variabelen, wat generalisatie mogelijk maakt.
4. Toepassing op Klimaatmodellen: Validatie op data van Earth System Models (ESM), waarbij het framework duizenden synthetische ensemble-leden in seconden genereert, in plaats van de miljoenen core-uren die nodig zijn voor originele simulaties.

Resultaten

De prestaties zijn getest op gesimuleerde data en echte klimaatdata (MPI-ESM, CESM1, EC-Earth3).

• Snelheid: I2I-netwerken zijn 100 tot 1000 keer sneller in inferentie dan lokale CNN-estimatoren, omdat ze het hele veld in één keer verwerken in plaats van duizenden kleine vensters.
• Nauwkeurigheid:
  • Op gesimuleerde data vertonen STUN en UNet een 4 tot 5 keer lagere RMSE (Root Mean Square Error) dan lokale CNN's.
  • I2I-netwerken zijn robuuster bij een klein aantal replicaten (bijv. slechts 1 of 5 velden), terwijl lokale methoden sterk degradëren.
• Ruimtelijke Structuur: Bij toepassing op klimaatdata (temperatuurgevoeligheid) behouden I2I-gebaseerde emulators de complexe ruimtelijke correlaties (zoals zonaliteit langs de evenaar en meridionale oceanische patronen) veel beter dan lokale methoden. Lokale methoden neigen tot overgladmaking en het verkeerd inschatten van correlatielengtes.
• Statistische Significantie: Paarde t-tests tonen aan dat I2I-methoden in 8 van de 9 gevallen significant betere correlatiestructuren produceren dan hun lokale tegenhangers.

Betekenis en Impact

LatticeVision biedt een krachtige oplossing voor het "ensemble-probleem" in de klimaatwetenschap. Omdat het uitvoeren van veel Earth System Model (ESM) runs extreem duur is (beperkt tot 3-100 leden), stelt LatticeVision onderzoekers in staat om duizenden realistische synthetische ensemble-leden te genereren op basis van een klein aantal originele runs.

Dit wordt bereikt door:

1. Het efficiënt schatten van complexe, niet-stationaire parameters.
2. Het gebruik van een snel, interpreteerbaar statistisch model (LatticeKrig SAR) voor de simulatie.

De methode combineert de voorspelbaarheid en interpreteerbaarheid van statistische modellen met de schaalbaarheid en snelheid van deep learning, en opent de weg voor betere onzekerheidskwantificatie in klimaatprojecties en andere domeinen met grote ruimtelijke datasets (zoals hydrologie en epidemiologie).