Operator Learning for Smoothing and Forecasting

Titel: Operator Learning voor Gladdmaking (Smoothing) en Voorspelling (Forecasting)

Auteurs: Edoardo Calvello, Elizabeth Carlson, Nikola Kovachki, Michael N. Manta, en Andrew M. Stuart.

---

1. Probleemstelling

Het paper adresseert de uitdagingen bij het toepassen van puur datagedreven methoden voor data-assimilatie en voorspelling in dynamische systemen. Hoewel machine learning nieuwe frontiers heeft geopend, ontbreekt er een stevige wiskundige theorie die deze methoden onderbouwt, in tegenstelling tot de goed ontwikkelde theorie voor modelgedreven algoritmen (zoals Kalman-filters).

De auteurs focussen op twee specifieke problemen binnen een dynamisch systeem beschreven door:
$$\dot{p} = f(p, q), \quad \dot{q} = g(p, q)$$
waarbij $p$ de geobserveerde componenten zijn en $q$ de niet-geobserveerde componenten.

De twee kernproblemen zijn:

1. Gladdmaking (Smoothing): Het schatten van de niet-geobserveerde trajecten $\{q(t)\}_{t \in [0,T]}$ op basis van de geobserveerde trajecten $\{p(t)\}_{t \in [0,T]}$ over hetzelfde tijdsinterval.
2. Voorspelling (Forecasting): Het schatten van de toekomstige geobserveerde trajecten $\{p(t)\}_{t \in [T, T+\tau]}$ op basis van de historische data $\{p(t)\}_{t \in [0,T]}$.

Het doel is om wiskundig te bewijzen dat er een continue operator bestaat die deze mappingen definieert, en dat deze operators kunnen worden geapproximeerd tot willekeurige nauwkeurigheid door Neural Operators (specifiek Transformer-architecturen).

---

2. Methodologie

De auteurs ontwikkelen een theoretisch raamwerk dat bestaat uit drie pijlers:

A. Observabiliteit en Bestaan van de Operator

Om te garanderen dat een mapping van observaties naar de volledige toestand (of toekomst) bestaat, introduceren de auteurs een observabiliteits-rangconditie (Observability-Rank Condition).

• Dit is gebaseerd op de theorie van Lie-afgeleiden. Als de rang van de matrix die bestaat uit de afgeleiden van de observatiefunctie (en hun Lie-afgeleiden) gelijk is aan de dimensie van de volledige toestandruimte, dan is het systeem lokaal waarneembaar.
• Onder deze conditie (Assumptie 2.1) kan de initiële toestand $(p(0), q(0))$ uniek worden gereconstrueerd uit de observaties en hun afgeleiden op $t=0$.
• Dit leidt tot het bestaan van een continue operator die de geobserveerde trajecten afbeeldt op de niet-geobserveerde trajecten (voor smoothing) of op de toekomstige trajecten (voor forecasting).

B. Universele Benaderingstheorie (Universal Approximation)

Zodra het bestaan van de continue operator is bewezen, maken de auteurs gebruik van bestaande theorie over Neural Operators (specifiek Transformer Neural Operators).

• Ze tonen aan dat Transformer Neural Operators universele benaderers zijn voor continue operatoren op compacte verzamelingen van functieruimtes.
• Dit resulteert in de eerste universele benaderingstheorema's specifiek voor puur datagedreven smoothing en forecasting in dynamische systemen.

C. Numerieke Implementatie

De theorie wordt getest door het trainen van Transformer Neural Operators op drie bekende chaotische systemen:

1. Lorenz '63: Een systeem van 3 ODE's.
2. Lorenz '96: Een systeem van gekoppelde ODE's dat atmosferische dynamica simuleert.
3. Kuramoto-Sivashinsky (KS): Een niet-lineaire partiële differentiaalvergelijking (PDE) die spatiotemporale chaos modelleert.

De modellen worden getraind op data gegenereerd door deze systemen en getest op hun vermogen om de verborgen variabelen te reconstrueren (smoothing) en de toekomst te voorspellen (forecasting), zonder kennis van de onderliggende differentiaalvergelijkingen.

---

3. Belangrijkste Bijdragen

De paper levert vier cruciale bijdragen (C1-C4):

1. C1: Observabiliteitsconditie: Introductie van een specifieke observabiliteitsconditie (gebaseerd op controletheorie) die garandeert dat er een continue operator bestaat die geobserveerde componenten afbeeldt op niet-geobserveerde componenten.
2. C2: Theorema voor Smoothing: Bewijs van het bestaan van een Neural Operator die de smoothing-probleemoplossing tot willekeurige nauwkeurigheid kan benaderen. Dit is het eerste universele benaderingstheorema voor smoothing in data-assimilatie.
3. C3: Theorema voor Forecasting: Bewijs van het bestaan van een Neural Operator die de toekomstige trajecten van een deels waargenomen systeem kan voorspellen. Dit is het eerste theorema van deze aard voor forecasting in deels waargenomen dynamische systemen.
4. C4: Numerieke Validatie: Succesvolle toepassing van Transformer Neural Operators op Lorenz '63, Lorenz '96 en Kuramoto-Sivashinsky systemen, waarbij hoge nauwkeurigheid wordt bereikt.

---

4. Resultaten

De numerieke experimenten tonen overtuigende resultaten:

• Smoothing:

  • De Neural Operators kunnen de verborgen variabelen ($q$) zeer nauwkeurig reconstrueren uit de observaties ($p$).
  • Voor Lorenz '63 wordt een gemiddelde relatieve $L_2$-fout van ~1.2% bereikt.
  • Voor Kuramoto-Sivashinsky is de fout zelfs lager (~0.9%).
  • Observatie: Als de observabiliteitsconditie niet wordt voldaan (bijvoorbeeld bij Lorenz '63 waarbij alleen $z$ wordt geobserveerd in plaats van $x$), faalt het model volledig (fouten rond de 100%), wat de noodzaak van de theoretische conditie bevestigt.

• Forecasting:

  • Hoewel chaotische systemen op lange termijn moeilijk te voorspellen zijn per traject (vanwege de "butterfly effect"), presteert het model uitstekend op statistisch niveau.
  • Door het voorspellingsmodel iteratief toe te passen (compositie), behoudt het de invariante maat (de statistische verdeling) van het attractor van het systeem.
  • De relatieve verbetering ten opzichte van een naïeve "constante voorspelling" (het laatste bekende punt vasthouden) is enorm:
    • Lorenz '63: 95.5% verbetering.
    • Lorenz '96: 94.4% verbetering.
    • Kuramoto-Sivashinsky: 82.7% verbetering.

---

5. Betekenis en Toekomstperspectief

Deze paper is van fundamenteel belang voor het veld van AI voor wetenschap (AI for Science) en data-assimilatie:

• Theoretische Onderbouwing: Het biedt de eerste wiskundige onderbouwing voor volledig datagedreven methoden in data-assimilatie. Het verlegt de focus van "het werkt empirisch" naar "het werkt omdat de onderliggende operator bestaat en benaderbaar is".
• Modelvrij (Model-Free): De methoden vereisen geen kennis van de fysische wetten ($f$ en $g$) tijdens de implementatie, wat ze zeer flexibel maakt voor complexe systemen waar de dynamica onbekend of te duur is om te simuleren.
• Toepassing: De resultaten zijn direct relevant voor het veld van AI-weersvoorspelling, waar methoden zoals "direct observation state estimators" en "direct observation forecasts" aan de vooravond staan van een revolutie.
• Toekomstig Werk: De auteurs wijzen op uitdagingen zoals het karakteriseren van observabiliteit voor complexe PDE's (zoals Navier-Stokes), het uitbreiden van lokale naar globale bestaansresultaten, en het bestuderen van de interactie met synchronisatie in chaotische systemen.

Kortom, dit werk legt de brug tussen de theorie van dynamische systemen, controletheorie en moderne deep learning-architecturen, en bewijst dat Neural Operators een krachtig en theoretisch gefundeerd instrument zijn voor het oplossen van complexe data-assimilatieproblemen.