Generative Model Proposal based Particle Filtering for Data Assimilation

Technische Samenvatting: Flow Proposal Particle Filters (FPPF)

Probleemstelling
Data-assimilatie (DA) omvat het afleiden van de latente toestandstrajectorie van een dynamisch systeem uit imperfecte sequentiële observaties. In de filtering-setting is het doel om de posterieure distributie $p(x_t | o_{1:t})$ te berekenen, gegeven alle observaties tot tijd $t$. Hoewel klassieke oplossingen zoals de Kalman Filter (KF) en Ensemble KF (EnKF) effectief zijn voor lineair-Gaussische systemen, falen zij in niet-lineaire, niet-Gaussische of hoog-dimensionale regimes. Particle Filters (PFs) bieden een algemeen alternatief door de posterieure distributie te representeren met een gewogen ensemble, maar zij lijden aan "gewicht-degeneratie" in hoge dimensies: het aantal deeltjes dat vereist is om gewicht-instorting te voorkomen, groeit exponentieel met de effectieve staat-dimensie.

Recente generatieve benaderingen proberen conditionele staatsovergangen direct te leren, maar zetten deze vaak autoregressief in zonder principiële Bayesiaanse updates. Dit leidt tot foutaccumulatie over lange horizonten omdat de filtering-posterieur nooit correct wordt gevormd door de prior en de likelihood te combineren via de regel van Bayes. Daarentegen gebruiken standaard PFs een "bootstrap" proposal die binnenkomende observaties negeert tijdens de voorspellingsstap, wat ertoe leidt dat deeltjes in regio's met een lage likelihood terechtkomen en resulteert in snelle gewicht-instorting.

Methodologie
De auteurs stellen Flow Proposal Particle Filters (FPPF) voor, een methode die een geleerd conditioneel generatief model integreert in het Sequential Importance Resampling (SIR) raamwerk om de variantie-minimaliserende optimale proposal $q^*(x_t | x_{t-1}, o_t) = p(x_t | x_{t-1}, o_t)$ te benaderen.

1. Conditional Flow Matching Proposal:
   In plaats van de transitie-prior $p(x_t | x_{t-1})$ als de proposal te gebruiken, leert FPPF een conditionele distributie $q_\phi(x_t | x_{t-1}, o_t)$ middels Conditional Flow Matching (FM). Dit raamwerk parametriseert de proposal via een tijdsafhankelijke snelheidveld $v_\phi$ dat samples transporteert van een eenvoudige basisdistributie (bijv. Gaussische ruis) naar de doel-proposalverdeling via een gewone differentiaalvergelijking (ODE).

   • Training: Het snelheidveld wordt offline getraind op gesimuleerde tupels $(x_{t-1}, o_t, x_t)$ door de gemiddelde kwadratische fout te minimaliseren tussen de voorspelde snelheid en de doel-snelheid (lineaire interpolatie tussen ruis en de ware staat).
   • Conditionering: Het netwerk is geconditioneerd op zowel de vorige staat $x_{t-1}$ als de huidige observatie $o_t$. Om overmatige afhankelijkheid van ruizige observaties te voorkomen, maakt de training gebruik van observation dropout en coordinate masking op de vorige staat.

2. Hanteerbare Importance Weights:
   Een cruciaal voordeel van Flow Matching is dat het een exacte likelihood-evaluatie mogelijk maakt via de instantane verandering-van-variabelen formule. Dit maakt de berekening mogelijk van de importance weights die vereist zijn voor de SIR-update:
   $$\tilde{w}_t^{(i)} \propto w_{t-1}^{(i)} \frac{p(o_t | x_t^{(i)}) p(x_t^{(i)} | x_{t-1}^{(i)})}{q_\phi(x_t^{(i)} | x_{t-1}^{(i)}, o_t)}$$
   Omdat de noemer $q_\phi$ hanteerbaar is, voert de filter een principiële Bayesiaanse update uit, waarbij eventuele imperfecties in de proposal worden gecorrigeerd. De trace van de Jacobiaan die vereist is voor de dichtheids-evaluatie wordt efficiënt geschat met behulp van de Hutchinson trace estimator.

3. Lokalisatie voor Hoge Dimensies (L-FPPF):
   Om de vloek van dimensionaliteit in ruimtelijk uitgebreide systemen aan te pakken, introduceren de auteurs L-FPPF. Deze variant vervangt het globale snelheid-netwerk door een patch-gebaseerd netwerk dat opereert op lokale buurten.

   • Het snelheidveld is gefactoriseerd zodanig dat de snelheid van een locatie alleen afhangt van zijn lokale buurt.
   • Deze architectuur zorgt ervoor dat de log-densiteit van de proposal over locaties heen factoriseert, waardoor de importance weights lokaal berekend kunnen worden.
   • De methode maakt gebruik van block-wise resampling, waarbij de effectieve dimensie van het resampling-probleem wordt beperkt tot de lokalisatie-radius in plaats van de globale staat-dimensie.

Belangrijkste Bijdragen

1. FPPF Raamwerk: De introductie van een filtering-methode die een observatie-geïnformeerde conditionele generatieve proposal leert die de optimale proposal benadert, geïntegreerd in een standaard SIR-raamwerk.
2. Hanteerbare Dichtheid via Flow Matching: De demonstratie dat conditionele flow matching efficiënte sampling en exacte dichtheids-evaluatie mogelijk maakt, wat een principiële belangstelling-gewichtsberekening mogelijk maakt zonder terug te vallen op benaderende guidance-mechanismen.
3. Gelokaliseerde Variant (L-FPPF): De uitbreiding van geleerde proposals naar hoog-dimensionale settings via een patch-gebaseerd snelheid-netwerk dat de log-densiteit van de proposal factoriseert, wat lokale resampling en schaling naar grote staat-dimensies mogelijk maakt.
4. Empirische Validatie: Uitgebreide evaluatie op chaotische dynamische systemen (Lorenz-63, Lorenz-96, Kuramoto-Sivashinsky) die een superieure prestatie aantoont ten opzichte van klassieke filters, andere geleerde proposal-methoden en autoregressieve generatieve baselines.

Experimentele Resultaten
De auteurs evalueren FPPF en L-FPPF tegen baselines inclusief Bootstrap PF (BPF), Auxiliary PF (APF), EnKF en autoregressieve generatieve methoden (FlowDAS, NASMC, InfNN) over drie regimes:

• Schaling met Staat-dimensie: Op het Lorenz-96 systeem behaalt FPPF consistent een lagere Root Mean Square Error (RMSE) en Continuous Ranked Probability Score (CRPS) dan baselines naarmate de dimensie toeneemt. Terwijl globale PFs (BPF, APF) lijden onder gewicht-instorting, behoudt FPPF een hogere Effective Sample Size (ESS). L-FPPF schaalt succesvol naar dimensies van 1.000 met een vaste ensemble-grootte, terwijl globale methoden falen.
• Niet-Gaussische Regimes: In experimenten met niet-Gaussische observatie-operatoren (bijv. $h(x) = \min(x^4, 10)$) en multimodale priors (Lorenz-63 met ijle observaties), faalt EnKF catastrofaal door de Gaussische aannames. FPPF presteert beter dan alle baselines, inclusief andere geleerde methoden, door de multimodale structuur accuraat te vangen.
• Stabiliteit op Lange Horizonten: Op de Kuramoto-Sivashinsky vergelijking met tijdelijk ijle observaties, accumuleren autoregressieve generatieve methoden (FlowDAS) significante fouten over lange trajecten. FPPF blijft stabiel en handhaaft lage foutpercentages dankzij de principiële Bayesiaanse update-stap.
• Convergentie: In een lineair-Gaussische setting convergeert de geleerde flow proposal naar de gesloten-vorm optimale proposal, en de resulterende ESS nadert het theoretische maximum.

Betekenis en Claims
Het artikel claimt dat FPPF de spanning oplost tussen de flexibiliteit van generatieve modellen en de statistische strengheid van Bayesiaanse filtering. Door een proposal te leren die deeltjes naar gebieden met een hoge likelihood stuurt voordat de weging plaatsvindt, vermindert FPPF de gewicht-variantie en vertraagt het de degeneratie. Cruciaal is dat, in tegen tegenstelling tot puur generatieve rollouts, FPPF de volledige SIR-correctie behoudt, waardoor de filter de ware posterieure targett, zelfs wanneer de proposal imperfect is.

De auteurs benadrukken dat L-FPPF deze voordelen uitbreidt naar hoog-dimensionale systemen waar standaard PFs onhandelbaar zijn, waarbij zero-shot generalisatie naar grotere staat-dimensies wordt bereikt door gebruik te maken van lokale ruimtelijke correlaties. Het werk suggereert dat het combineren van geleerde, observatie-geïnformeerde proposals met exacte dichtheids-evaluatie een robuust pad biedt voor data-assimilatie in complexe, niet-lineaire en hoog-dimensionale wetenschappelijke domeinen.