📊 statistics

Amortized Filtering and Smoothing with Conditional Normalizing Flows

Deze paper introduceert AFSF, een unificerend, geamortiseerd raamwerk dat conditionele normaliserende flows en een recurrente encoder gebruikt om zowel filter- als gladmakingsproblemen in hoge-dimensionale, niet-lineaire dynamische systemen op te lossen door een gedeelde samenvattingsstatistiek te leren die extrapolatie en traject-gladmaking mogelijk maakt.

Oorspronkelijke auteurs: Tiangang Cui, Xiaodong Feng, Chenlong Pei, Xiaoliang Wan, Tao Zhou

Gepubliceerd 2026-04-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tiangang Cui, Xiaodong Feng, Chenlong Pei, Xiaoliang Wan, Tao Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert het weer te voorspellen, maar je hebt slechts een paar onbetrouwbare thermometers en barometers die elke dag een beetje gek doen. Of stel je voor dat je een spoorzoekers bent die probeert de route van een verdwenen vliegtuig te reconstrueren op basis van verspreide radarflitsen.

Dit is precies het probleem dat wetenschappers vaak hebben: hoe krijg je een duidelijk beeld van wat er echt gebeurt, als je data rommelig, onvolledig en chaotisch is?

In de wetenschap noemen ze dit "filteren" (het huidige beeld scherp krijgen) en "smoothen" (het hele verleden en toekomstbeeld reconstrueren). De oude methoden hiervoor werken vaak als een simpele lineaire schatting: ze gaan ervan uit dat de wereld redelijk voorspelbaar is. Maar in de echte wereld (zoals bij weer, beurskoersen of complexe stromingen) is alles niet-lineair en chaotisch. De oude methoden vallen dan vaak in elkaar, net als een huis van kaarten.

Anderen proberen dit op te lossen met "deeltjes" (zoals duizenden simulaties tegelijk), maar dat is zo zwaar voor de computer dat het vaak vastloopt of dat de resultaten verouderen.

De nieuwe oplossing: AFSF (Amortized Filtering and Smoothing with Flows)

De auteurs van dit papier hebben een slimme nieuwe manier bedacht, die we AFSF noemen. Laten we het uitleggen met een paar creatieve metaforen:

1. De Slimme Samenvatter (De Recurrente Encoder)

Stel je voor dat je een lange, rommelige dagboek van 1000 pagina's hebt. In plaats van elke pagina te lezen om een beslissing te nemen, heb je een super-samenvatter nodig. Deze samenvatter leest de hele geschiedenis en schrijft één kort, krachtig memo op een post-it: "Het weer was gisteren regenachtig, de wind draaide naar het noorden, en er is een storm op komst."

In de computerwereld is dit een neuraal netwerk (een soort AI) dat de hele geschiedenis van waarnemingen omzet in één vast formaat "samenvatting". Het maakt niet uit of je 10 of 10.000 metingen hebt; de samenvatting is altijd even groot. Dit is cruciaal, want het maakt het systeem snel en flexibel.

2. De Twee Richtingen (Voorwaarts en Achterwaarts)

Nu hebben we die samenvatting. Maar wat doen we ermee? De auteurs gebruiken twee speciale machines, genaamd Normalizing Flows. Denk hierbij aan een magische, rek- en strek-machine die een simpele vorm (zoals een ronde bal) kan vervormen tot een complexe vorm (zoals een draak), precies zoals het echte systeem zich gedraagt.

De Voorwaartse Machine (Filteren): Deze kijkt naar de samenvatting en zegt: "Op basis van alles wat we tot nu toe hebben gezien, hoe ziet de wereld er nu uit?" Het geeft je de beste schatting van het huidige moment.
De Achterwaartse Machine (Smoothen): Deze is nog slimmer. Hij kijkt naar de samenvatting én naar wat er later gebeurt, en zegt: "Als we weten wat er nu en straks gebeurt, hoe zag het verleden er dan eigenlijk uit?"

Het geheim: Beide machines gebruiken exact dezelfde samenvatting (die post-it). Dit zorgt ervoor dat ze "met elkaar praten". Ze leren niet alleen losse momenten, maar ze leren het gehele verhaal als één samenhangend geheel. Dit voorkomt dat de machine in de war raakt en zorgt voor een veel nauwkeuriger reconstructie van het verleden.

3. Waarom is dit zo speciaal?

Het is "Amortized": Dit is een moeilijke term, maar het betekent simpelweg: "Je leert het een keer, en daarna kun je het oneindig vaak gebruiken."
- Vergelijking: Stel je voor dat je een kok bent. De oude methode was alsof je elke keer dat je een taart wilde bakken, opnieuw moest uitvinden hoe je eieren moest breken en bloem moest wegen. De nieuwe methode is alsof je een meesterkok bent die de recepten al uit zijn hoofd kent. Zodra hij het heeft geleerd, kan hij in een seconde een taart bakken, zonder na te hoeven denken.
Het werkt in de toekomst: Omdat het systeem de onderliggende patronen leert (zoals hoe wind zich gedraagt), kan het zelfs voorspellingen doen voor tijden die het nooit heeft gezien tijdens het leren. Het is niet alleen een spiegel van het verleden, maar een kompas voor de toekomst.
Het werkt bij chaos: Of het nu gaat om een simpele waterstroom of een heel complex weermodel met duizenden variabelen, dit systeem houdt het hoofd koel.

4. Wat hebben ze getest?

De auteurs hebben hun systeem getest op vier moeilijke problemen:

Waterstromen: Hoe verspreidt vervuiling zich in een rivier?
Beurskoersen: Hoe voorspel je de schommelingen van aandelen (die heel chaotisch zijn)?
Gedrukte golven (PDE's): Complexe wiskundige modellen voor vloeistoffen.
Het Lorenz-model: Een beroemd chaotisch systeem dat vaak wordt gebruikt om te laten zien hoe klein veranderingen grote effecten hebben (het vlindereffect).

In al deze gevallen bleek hun nieuwe methode sneller, nauwkeuriger en stabieler te zijn dan de bestaande methoden.

Conclusie

Kortom: AFSF is als het geven van een super-intelligente, goed getrainde detective een boekje met alle bewijsstukken. De detective leest het boek niet pagina voor pagina, maar maakt direct een samenvatting van de hele zaak. Vervolgens gebruikt hij twee speciale brillen: één om te zien wat er nu gebeurt, en één om het verleden perfect te reconstrueren.

Het resultaat? We kunnen complexe, chaotische systemen veel beter begrijpen en voorspellen, van weerkaarten tot financiële markten, zonder dat de computer vastloopt.

Titel: Geamortiseerde Filtering en Smoothing met Conditionele Normalizing Flows

Auteurs: Tiangang Cui, Xiaodong Feng, Chenlong Pei, Xiaoliang Wan, Tao Zhou.
Publicatie: arXiv:2604.07169v1 (stat.ML), april 2026.

1. Probleemstelling

Bayesiaanse filtering en smoothing zijn fundamenteel voor het schatten van verborgen, tijdvarierende systeemtoestanden op basis van indirecte, ruisbehalende waarnemingen. Deze problemen zijn cruciaal in gebieden zoals data-assimilatie, robotica en econometrie.

De uitdagingen zijn vooral groot bij:

Hoge dimensionaliteit: De staatruimte is groot.
Niet-lineariteit en niet-Gaussianiteit: De onderliggende dynamica en waarnemingsmodellen zijn complex.
Lange tijdshorizons: Methoden moeten stabiel blijven over lange periodes.

Bestaande methoden hebben beperkingen:

Gaussian-gebaseerde benaderingen (zoals de Extended Kalman Filter of Ensemble Kalman Filter) breken vaak af bij sterke niet-lineariteiten omdat ze aannemen dat de posterior-verdeling Gaussian is.
Sequential Monte Carlo (SMC) / Partikelfilters kunnen in theorie elke verdeling behandelen, maar lijden in hoge dimensies aan ernstige "weight degeneracy" (degenereer van gewichten), wat enorme steekproefgroottes vereist om effectief te zijn.
Recente diepe generatieve modellen kunnen complexe posteriors modelleren, maar behandelen filtering en smoothing vaak als gescheiden taken en vereisen kostbare optimalisatie per instance, wat ze ongeschikt maakt voor online en grootschalige toepassingen.

2. Methodologie: AFSF

De auteurs stellen AFSF (Amortized Filtering and Smoothing with Conditional Normalizing Flows) voor. Dit is een unificerend, data-gedreven raamwerk dat gebruikmaakt van conditionele normalizing flows en recurrente neurale netwerken.

Kerncomponenten:

Gedeelde Samenvattende Statistieken (Recurrent Encoder):
- In plaats van de volledige waarnemingsgeschiedenis $y_{1:t}$ (die in lengte groeit) als input te gebruiken, encodeert een recurrente neurale netwerk (specifiek een LSTM) deze geschiedenis naar een vastdimensionale samenvattende statistiek $s_t$ .
- $s_t = \text{Enc}(y_{1:t}; \psi)$ . De dimensie van $s_t$ is onafhankelijk van de tijdsreekslengte.
Conditionele Normalizing Flows:
- Forward Flow: Benadert de filtering-verdeling $p(u_t | y_{1:t})$ door te conditioneren op $s_t$ . Dit maakt real-time online inferentie mogelijk.
- Backward Flow: Benadert de backward transition kernel $p(u_{t-1} | u_t, y_{1:t-1})$ door te conditioneren op $s_t$ en de huidige staat $u_t$ .
- Beide flows delen dezelfde parameters voor de encoder ( $\psi$ ), wat zorgt voor een gedeelde representatie van de waarnemingsgeschiedenis.
Smoothing via Backward Recursie:
- De smoothing-verdeling over een volledige traject $p(u_{1:t} | y_{1:t})$ wordt hersteld door de terminal filtering-verdeling te combineren met de geleerde backward flows via een standaard backward recursie (Rauch-Tung-Striebel stijl).
- Door de flows te koppelen via dezelfde samenvattende statistiek, wordt een impliciete regularisatie op de gehele staatstrajecten opgelegd, wat de smoothing-accuraatheid verbetert.
Flow-based Partikelfilter Variant:
- De auteurs ontwikkelen ook een variant die de geleerde flows gebruikt als voorstelverdeling (proposal distribution) voor partikels.
- Dit combineert de efficiëntie van vooraf getrainde flows met de correctieve updates van SMC.
- Wanneer expliciete modelfactoren beschikbaar zijn, wordt een diagnose op basis van de Effective Sample Size (ESS) gebruikt om de degeneratie van partikels te kwantificeren.

Training:
Het model wordt getraind via maximum likelihood op gesimuleerde trajecten. De loss-functie is een gewogen som van de negatieve log-likelihoods van de forward flow (filtering) en de backward flow (smoothing), waarbij de gedeelde encoder zorgt voor consistentie tussen beide taken.

3. Belangrijkste Bijdragen

Unificerend Raamwerk: AFSF biedt een enkele, geamortiseerde aanpak voor zowel filtering als smoothing in hoge-dimensionale, niet-lineaire systemen, zonder expliciete kennis van de overgangs- of waarnemingsdichtheden te vereisen (simulatie-based inference).
Extrapolatievermogen: Door de onderliggende temporele evolutiestructuur te leren, kan het model extrapoleren buiten de trainingstijdhorizon, in plaats van alleen de trainingsdata te fiten.
Impliciete Regularisatie: Het gebruik van gedeelde samenvattende statistieken voor zowel forward als backward flows koppelt de geleerde conditionele verdelingen, wat leidt tot een significant verbeterde smoothing op trajectniveau.
Flow-based Partikelfilter: Een nieuwe variant die ESS-diagnostiek mogelijk maakt en een alternatieve route biedt voor online filtering.
Uitgebreide Validatie: De methode is getest op vier diverse benchmarks:
- Een lineair advectie-diffusie systeem (met analytische oplossing).
- Een sterk niet-lineair stochastisch volatiliteitsmodel (financieel).
- Een hoog-dimensionaal PDE-systeem (Burgers' vergelijking).
- Lorenz-systemen (enkel- en tweeschaal).

4. Resultaten

Numerieke experimenten tonen aan dat AFSF superieure prestaties levert vergeleken met state-of-the-art methoden zoals de FBF (Flow-based Bayesian Filtering) en traditionele filters:

Accuraatheid: AFSF levert nauwkeurige benaderingen van zowel filtering-verdelingen als smoothing-paden. De fouten (gemeten in KL-divergentie, RMSE, MMD en CRPS) blijven stabiel of nemen zelfs af naarmate de discretisatie-dimensie toeneemt (inconsistentie met traditionele methoden die vaak instorten bij hoge dimensies).
Robuustheid: Het model presteert goed in zowel lineaire als sterk niet-lineaire regimes (zoals de Burgers' vergelijking en Lorenz-96).
Extrapolatie: De methoden blijven accuraat werken op tijdstappen die verder liggen dan de trainingstijdhorizon ( $T_{train}$ ), wat het vermogen tot generalisatie bevestigt.
Financiële Toepassing: Bij toepassing op echte S&P 500-gegevens (via een synthetisch twee-factor volatiliteitsmodel) slaagt het flow-based partikelfilter erin om de latent volatiliteit tijdens marktdisrupties (zoals COVID-19 en de Oekraïne-oorlog) effectief te volgen.
Smoothing vs. Filtering: De smoothing-verdeling (gebaseerd op de volledige trajectinformatie) presteert consequent beter dan de filtering-verdeling alleen, tenzij de dimensie extreem hoog is en de backward recursie fouten opstapelt (wat opgelost kan worden met meer trainingsdata).

5. Betekenis en Conclusie

Dit werk is significant omdat het de kloof overbrugt tussen klassieke Bayesiaanse inferentie en moderne diepe leermethodes voor dynamische systemen.

Efficiëntie: Het elimineert de noodzaak voor kostbare optimalisatie per instance tijdens de inferentie, waardoor het geschikt is voor online toepassingen.
Schaalbaarheid: Het overwint de "curse of dimensionality" die partikelfilters beperkt, door gebruik te maken van normalizing flows die exacte likelihoods en efficiënt steekproeven mogelijk maken.
Flexibiliteit: Het raamwerk vereist geen expliciete kennis van de dynamische vergelijkingen, wat het toepasbaar maakt op complexe systemen waar de onderliggende fysica slechts gedeeltelijk bekend is of alleen via een simulator toegankelijk is.

De auteurs concluderen dat AFSF een robuust en accuraat alternatief biedt voor bestaande methoden in data-assimilatie en dat toekomstig werk gericht zal zijn op theoretische garanties en het integreren van geavanceerdere sequentie-encoders (zoals Transformers).