Modeling nonstationary spatial processes with normalizing flows

Technische Samenvatting: Modellering van Niet-stationaire Ruimtelijke Processen met Normalizing Flows

Probleemstelling
Niet-stationaire ruimtelijke processen, gekenmerkt door statistische eigenschappen die over de ruimte variëren, komen veel voor in gebieden zoals milieuwetenschappen, geostatistiek en remote sensing. Traditionele modellering benaderingen vertrouwen vaak op stationaire Gaussische processen (GP's) met vaste covariantiefuncties, die de complexe ruimtelijke afhankelijkheden die in real-world datasets worden aangetroffen, niet kunnen vastleggen. Dit kan leiden tot vertekende inferentie en onnauwkeurige voorspellingen. Hoewel bestaande methoden voor het modelleren van niet-stationariteit ruimtelijk variërende parameters, niet-stationaire Matérn-covariantiefuncties en stochastische partiële differentiaalvergelijkingen omvatten, vereisen deze vaak restrictieve modelleringaannames of op maat gemaakte constructies voor specifieke problemen.

Een prominente alternatief is de domeinvervormingsbenadering (domain warping), oorspronkelijk voorgesteld door Sampson en Guttorp (1992), die een niet-stationair proces op een domein $D$ transformeert in een stationair proces op een vervormd domein $D_1$ via een injectieve afbeelding $f: D \to D_1$. Het selecteren van een geschikte vervormingsfunctie is echter moeilijk. Eerdere op deep learning gebaseerde benaderingen, zoals het deep compositional spatial model van Zammit-Mangion et al. (2022), vertrouwen op door de gebruiker geselecteerde vervormingseenheden (bijvoorbeeld radiale basisfuncties, Möbius-transformaties). Deze methoden worden beperkt door de eindige set beschikbare eenheden en zijn momenteel beperkt tot ruimtelijke domeinen van één en twee dimensies, wat hun toepassing op data met hogere dimensies belemmert.

Methodologie
De auteurs stellen een nieuw raamwerk voor, GPNAF, dat niet-stationaire ruimtelijke processen modelleert met behulp van Neural Autoregressive Flows (NAF's). De kernidee is om de injectieve vervormingsfunctie $f(\cdot)$ (in het artikel aangeduid als $T(\cdot)$) te leren met behulp van een klasse van inverteerbare neurale netwerken die complexe, hoogdimensionale transformaties kunnen genereren.

1. Neural Autoregressive Flows (NAF's): Het raamwerk maakt gebruik van NAF's, specifiek de Deep Dense Sigmoidal Flow (DDSF) architectuur. Een NAF wordt geconstrueerd als een sequentie van driehoekige kaarten $T(s; \vartheta)$, waarbij elke component van de output alleen afhankelijk is van de voorgaande componenten van de input. Deze autoregressieve structuur zorgt ervoor dat de kaart inverteerbaar en injectief is, waardoor problemen met het vouwen van de ruimte worden voorkomen.
2. Architectuur: De vervormingsfunctie wordt geparametriseerd door een neurale netwerk waarbij de transformatieparameters op elk moment outputs zijn van een "conditioner"-netwerk. Om de autoregressieve eigenschap af te dwingen (waarbij de $k$-de output alleen afhankelijk is van inputs $s_1, \dots, s_{k-1}$), maken de auteurs gebruik van binaire masking-technieken (Germain et al., 2015).
3. Modelformulering: Het latente proces $Y(\cdot)$ wordt gemodelleerd als een nul-gemiddeld Gaussisch proces op het vervormde domein $\tilde{D}$ met een stationaire en isotrope covariantiefunctie $\tilde{C}_\phi$. De geobserveerde data $Z$ zijn ruisbeïnvloede metingen van $Y$.
4. Schatting: De modelparameters (vervormingsparameters $\vartheta$ en stationaire covariantieparameters $\phi$) worden geschat via een tweestaps procedure voor blokken-coördinaatascensie om de log-likelihood te maximaliseren. Dit omvat het afwisselen tussen het optimaliseren van de vervormingsfunctie en de stationaire covariantieparameters. Ruimtelijke voorspelling wordt uitgevoerd met behulp van eenvoudige kriging op het vervormde domein.

Belangrijkste Bijdragen

• Flexibiliteit voor Hogere Dimensies: In tegenstelling tot eerdere diepe vervormingsmodellen die beperkt zijn tot 1D en 2D, is het voorgestelde op NAF gebaseerde raamwerk toepasbaar op ruimtelijke domeinen met hogere dimensies (bijvoorbeeld 3D) met minimale wijzigingen in de onderliggende architectuur.
• Geautomatiseerde Selectie van Vervormingseenheden: Het raamwerk elimineert de noodzaak voor gebruikers om handmatig specifieke vervormingseenheden te selecteren (bijvoorbeeld radiale basisfuncties of Möbius-transformaties). Het neurale netwerk leert de geschikte vervorming direct uit de data.
• Inverteerbaarheid en Injectiviteit: Door gebruik te maken van de theoretische eigenschappen van NAF's, garandeert de methode een injectieve afbeelding, waardoor wordt verzekerd dat de vervormingsfunctie de ruimte niet op zichzelf vouwt, wat cruciaal is voor geldige ruimtelijke inferentie.
• Representatievermogen: De auteurs tonen aan dat NAF's een groter representatievermogen bezitten dan andere veelgebruikte modellen voor ruimtelijke processen, en in staat zijn om complexe anisotrope en niet-stationaire structuren vast te leggen.

Resultaten
Het artikel valideert het GPNAF-raamwerk via simulatiestudies en een real-world toepassing:

1. Simulatiestudies:

   • Experiment 1 (SIWGP): Data werd gegenereerd uit een bekende ruimtelijke input-vervormd Gaussisch proces. GPNAF bereikte Mean Squared Prediction Error (MSPE)-waarden die nauw overeenkwamen met het ware model (GPdeepspat) en leverde goed gekalibreerde voorspellingsintervallen op, waarmee het stationaire GP's, niet-stationaire Matérn-GP's en DeepKriging overtrof.
   • Experiment 2 (Spiral Warping): Data werd gegenereerd met behulp van een complexe spiraalvormige vervormingsfunctie. GPNAF presteerde significant beter dan alle concurrerende methoden op het gebied van MSPE en leverde de best gekalibreerde voorspellingsintervallen, wat zijn vermogen aantoont om ingewikkelde ruimtelijke vervormingen vast te leggen zonder voorafgaande fysieke kennis.
   • Visualisatie: Standaardfoutgrafieken voor GPNAF toonden onzekerheid die werd gedomineerd door ruimtelijk variërende proceseigenschappen in plaats van observatielocaties, in tegenstelling tot stationaire modellen waarbij onzekerheidspatronen de observatiedichtheid weerspiegelden.

2. Real-world Toepassing (Argo Floats):

   • Het raamwerk werd toegepast op een 3D-subset van de Argo Floats-dataset (oceaan temperatuur en zoutgehalte) in de Atlantische Oceaan.
   • GPNAF werd vergeleken met stationaire en niet-stationaire Matérn-modellen en DeepKriging. GPNAF behaalde de laagste MSPE (0,17) en de strakste voorspellingsintervallen onder de modellen, terwijl het een 95% voorspellingsinterval dekkingkans (PICP) behield die dicht bij het nominale niveau lag.
   • De geleerde vervormingsfunctie onthulde ruimtelijke vervormingen die consistent waren met oceaanoppervlakstroom: gebieden met sterke stromingen (snelle temperatuurveranderingen) werden uitgerekt in het vervormde domein, terwijl gebieden met zwakke stromingen werden samengedrukt. Dit homogeniseerde effectief de variërende afhankelijkheidsstructuren, waardoor een stationair model in de getransformeerde ruimte kon worden gebruikt.

Betekenis en Beweringen
Het artikel beweert dat GPNAF een flexibele, datagedreven benadering biedt voor het modelleren van complexe, niet-stationaire en anisotrope ruimtelijke processen. Door gebruik te maken van normalizing flows, overwint de methode de beperkingen van eerdere vervormingsmodellen met betrekking tot dimensionaliteit en de noodzaak van handmatige specificatie van vervormingseenheden. De auteurs stellen dat dit raamwerk bijzonder waardevol is voor toepassingen met hoge dimensies in geowetenschappen en milieuwetenschappen, waar ruimtelijke variabiliteit complex is en a priori moeilijk te parametriseren. De succesvolle toepassing op 3D-oceanografische data onderstreept de bruikbaarheid van het raamwerk in real-world scenario's met heterogene thermische variaties. De auteurs merken op dat hoewel de huidige benadering volledig datagedreven is, toekomstig werk fysiek geleide beperkingen kan integreren of het raamwerk kan uitbreiden naar spatio-temporele settings.