📊 statistics

A convergent scheme for the Bayesian filtering problem based on the Fokker--Planck equation and deep splitting

Dit artikel introduceert een convergent numeriek schema voor het Bayesiaanse filterprobleem dat de Fokker-Planck-vergelijking benadert via diepe splitsing en Feynman-Kac-methode om de vloek van de dimensionaliteit te mitigeren, gevolgd door een exacte Bayesiaanse update.

Oorspronkelijke auteurs: Kasper Bågmark, Adam Andersson, Stig Larsson, Filip Rydin

Gepubliceerd 2026-04-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kasper Bågmark, Adam Andersson, Stig Larsson, Filip Rydin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een spook te volgen in een volledig donker, gigantisch labyrint. Je kunt het spook niet direct zien, maar je hebt wel een paar zintuigen: soms hoor je een geluidje, soms voel je een koud luchtje, en soms zie je een flits. Je weet dat het spook beweegt volgens bepaalde regels (het kan niet door muren, het loopt niet in cirkels), maar je weet niet precies waar het is.

Dit is precies het probleem dat Bayesiaanse filtering probeert op te lossen. Het is een wiskundige manier om te raden waar iets onzichtbaars (zoals een onderzeeboot, een beurskoers of een ziekteverspreiding) zich bevindt, gebaseerd op onvolledige en ruisige metingen.

Deze paper introduceert een nieuwe, slimme manier om dit probleem op te lossen, zelfs als het labyrint ontzettend groot is (veel dimensies). Hier is de uitleg in simpele taal:

1. Het Probleem: De "Vloek van de Dimensie"

Stel je voor dat je een bal probeert te volgen in een kamer. Dat is makkelijk. Maar stel je nu voor dat je een bal moet volgen in een kamer met 1000 muren, 1000 vloeren en 1000 plafonds (1000 dimensies).

Oude methoden: De traditionele methoden (zoals "deeltjesfilters") werken door duizenden denkbeeldige ballen te gooien om te zien waar ze landen. In een kleine kamer werkt dit prima. Maar in een kamer met 1000 dimensies heb je meer ballen nodig dan er atomen in het heelal zijn om een goed beeld te krijgen. Dit noemen ze de "vloek van de dimensie". Het wordt onmogelijk om te rekenen.
Andere methoden: Sommige methoden proberen een simpele vorm (zoals een bol) te gebruiken om de kans te beschrijven. Maar als de werkelijkheid ingewikkeld is (bijvoorbeeld een spook dat door muren loopt of een beurs die plotseling crasht), faalt deze simpele vorm.

2. De Oplossing: Deep Splitting (Het "Diep Gesplitste" Netwerk)

De auteurs van dit paper hebben een nieuwe methode bedacht die twee krachtige ideeën combineert:

De Fokker-Planck vergelijking: Dit is een wiskundige formule die beschrijft hoe een "wolk" van waarschijnlijkheden in de tijd verandert. Stel je voor dat je een inktvlek in water hebt; deze verspreidt zich. Deze vergelijking zegt precies hoe die inktvlek eruitziet op elk moment.
Deep Learning (Neurale Netwerken): Dit zijn computersystemen die leren door voorbeelden te zien, net als een kind dat leert een hond te herkennen.

Hoe werkt het nieuwe systeem?
Het proces bestaat uit twee stappen, die zich steeds herhalen:

Stap 1: De Voorspelling (Het "Gokken")
Tussen twee metingen door, moet de computer voorspellen waar het spook naartoe beweegt. In plaats van duizenden ballen te gooien, gebruiken ze een Neuraal Netwerk. Dit netwerk is getraind om de wiskundige regels van de "inktvlek" (de Fokker-Planck vergelijking) te begrijpen. Het netwerk leert hoe de waarschijnlijkheid zich verspreidt in die enorme, complexe ruimte.
- Analogie: Het is alsof je een super-slimme meteoroloog hebt die, zonder elke windvlaag te meten, perfect kan voorspellen hoe een stormfront zich over een heel continent verplaatst, puur door de natuurwetten te "leren".
Stap 2: De Update (Het "Corrigeren")
Zodra er een nieuwe meting binnenkomt (bijvoorbeeld: "Ik hoorde een geluid hier"), past het systeem de voorspelling direct aan. Dit doen ze met een simpele, oude regel: Bayes' formule.
- Analogie: Je dacht dat het spook in de keuken was (voorspelling), maar toen je een geluid hoorde in de slaapkamer, schuift je idee direct naar de slaapkamer. De computer doet dit exact, maar dan voor duizenden variabelen tegelijk.

3. Waarom is dit speciaal?

Het werkt in hoge dimensies: De methode faalt niet als de ruimte groter wordt. Ze hebben het getest op een probleem met 10 dimensies (wat al heel groot is voor deze soort problemen) en het werkte uitstekend.
Het is snel na het trainen: Eenmaal getraind, kan het systeem nieuwe data in real-time verwerken. Je hoeft niet elke keer opnieuw te rekenen; het netwerk "weet" al hoe het werkt.
Het is bewezen: De auteurs hebben niet alleen gezegd "het werkt", ze hebben ook wiskundig bewezen dat de fouten kleiner worden naarmate je de tijdstappen fijner maakt. Ze hebben een "garantie" voor de nauwkeurigheid.

4. Waarvoor is dit goed?

Dit is niet zomaar een wiskundig raadsel. Dit kan worden gebruikt voor:

Weersvoorspelling: Het voorspellen van complexe stormsystemen.
Financiën: Het volgen van beurskoersen die door duizenden factoren beïnvloed worden.
Robotica: Het laten navigeren van robots in onbekende omgevingen.
Medische diagnostiek: Het volgen van de verspreiding van een ziekte in een populatie.

Samenvatting in één zin

De auteurs hebben een slimme combinatie van wiskundige natuurwetten en kunstmatige intelligentie bedacht die het mogelijk maakt om onzichtbare dingen te volgen in een wereld met duizenden variabelen, zonder dat de computer "dwaas" wordt door de complexiteit.

Het is alsof ze een magische bril hebben gemaakt die je laat zien waar het spook is, zelfs als het in een labyrint van 1000 dimensies zit, terwijl oude methoden daar volledig op zouden vastlopen.

Titel: Een convergent schema voor het Bayesiaanse filterprobleem gebaseerd op de Fokker-Planck-vergelijking en Deep Splitting

Auteurs: Kasper Båågmark, Adam Andersson, Stig Larsson, en Filip Rydin.

1. Probleemstelling

Het artikel adresseert het probleem van niet-lineaire Bayesiaanse filtering in hoge dimensies. Het doel is om de filterdichtheid (de kansdichtheid van een verborgen toestand $S_k$ gegeven een reeks ruisbeïnvloede waarnemingen $y_{0:k}$ ) te benaderen.

Huidige uitdagingen: Bestaande methoden zoals Kalman-filters (die unimodaliteit aannemen) of deeltjesfilters (Sequential Monte Carlo) kampen met de "vloek van de dimensionaliteit". Deeltjesfilters vereisen exponentieel meer deeltjes naarmate de toestandsdimensie ( $d$ ) toeneemt, wat ze onpraktisch maakt voor complexe toepassingen zoals weersvoorspelling of chemische engineering waar $d$ vaak tientallen of honderden bedraagt.
Wiskundige formulering: Het probleem wordt gemodelleerd met een Stochastische Differentiaalvergelijking (SDE) voor de toestand en discrete waarnemingen. De evolutie van de filterdichtheid wordt beschreven door de Fokker-Planck-vergelijking (tussen waarnemingen) en Bayes' formule (bij elke nieuwe waarneming). Klassieke numerieke methoden voor deze partiële differentiaalvergelijkingen (zoals eindige elementen) zijn computatief niet haalbaar voor $d \geq 4$ .

2. Methodologie

De auteurs introduceren een nieuw numeriek schema dat Deep Splitting combineert met een Feynman-Kac benadering om de Fokker-Planck-vergelijking op te lossen in hoge dimensies.

Deep Splitting: In plaats van de vergelijking direct te discretiseren op een rooster, wordt de oplossing benaderd door een reeks optimalisatieproblemen. De methode splitst de tijd tussen waarnemingen op in kleinere stappen en gebruikt een diep neurale netwerk om de conditieverwachting te leren.
Predictie-Update Cyclus:
1. Predictie: Tussen twee discrete waarnemingen wordt de Fokker-Planck-vergelijking opgelost via een "Deep Splitting" schema. Dit schema benadert de oplossing van de Fokker-Planck-vergelijking door een recursief minimaliseringsprobleem op te lossen dat gebaseerd is op de Feynman-Kac representatie.
2. Update: Bij elke waarneming wordt de oplossing exact bijgewerkt via Bayes' formule (vermenigvuldiging met de likelihood).
Neurale Netwerken: De oplossing wordt gerepresenteerd door een Fully Connected Neural Network (FCNN). De training gebeurt via Stochastic Gradient Descent (SGD) op een Monte Carlo-schatter van de verwachtingen.
Activeringsfunctie: Er wordt gebruik gemaakt van een energy-based activation (exponentiële functie), waarbij het netwerk de "energie" $f_\theta$ leert. De dichtheid wordt dan $e^{-f_\theta}$ . Dit garandeert positieve waarden en omzeilt de noodzaak om de normalisatieconstante direct te berekenen tijdens het trainen.
Online Inference: Een belangrijk kenmerk is dat het model na training direct nieuwe waarnemingssequenties kan verwerken zonder opnieuw getraind te hoeven worden (online setting), in tegenstelling tot eerdere offline methoden.

3. Belangrijkste Bijdragen

Nieuw Convergent Schema: De auteurs introduceren een specifiek schema voor het oplossen van het Bayesiaanse filterprobleem in een continue-tijd/ discrete-waarneming setting, waarbij de Fokker-Planck-vergelijking wordt benaderd met Deep Splitting.
Rigoureuze Convergentieanalyse: Er wordt een sterke convergentie bewezen met orde 1 in de tijd ( $O(\tau)$ ), onder de aanname van een parabolische Hørmander-voorwaarde (wat zorgt voor voldoende gladheid van de oplossing). Deze convergentie is onafhankelijk van de verdeling van de data.
Onafhankelijkheid van het Filterprobleem: Als corollair wordt de convergentiebewijs voor de benadering van de Fokker-Planck-vergelijking op zichzelf geleverd, losgekoppeld van het filterprobleem.
Hoge Dimensionaliteit: De methode is ontworpen om de vloek van de dimensionaliteit te mitigeren door gebruik te maken van steekproefgebaseerde Feynman-Kac methoden in plaats van roosters.

4. Resultaten en Experimenten

De auteurs valideren hun theorie en methode via numerieke experimenten:

1D Voorbeelden:
- Er zijn twee 1-dimensionale voorbeelden getest: een proces met een $\tanh$ -drift (voldoet aan de theoretische aannames) en een bistabiel proces (voldoet niet volledig aan de aannames).
- De numerieke resultaten tonen een convergentieorde van ongeveer 1 voor het $\tanh$ -proces (in overeenstemming met de theorie) en ongeveer 0.5 voor het bistabiele proces. Dit bevestigt dat de theoretische aannames cruciaal zijn voor de convergentiesnelheid.
10D Voorbeeld (Niet-lineair):
- Een niet-lineair proces in 10 dimensies werd getest.
- De prestaties werden vergeleken met klassieke methoden: Ensemble Kalman Filter (EnKF), Extended Kalman Filter (EKF) en een Bootstrap Deeltjesfilter (PF).
- Metrieken: Gemiddelde Absolute Fout (MAE) en Negatieve Log-Likelihood (NLL).
- Conclusie: De voorgestelde methode (EBDS) is robuust en toont een duidelijke verbetering bij verfijning van de tijdsdiscretisatie. Hoewel Kalman-gebaseerde methoden goed presteren (vanwege de quasi-lineaire aard van de drift in dit specifieke voorbeeld), overtreft de Deep Splitting methode het deeltjesfilter aanzienlijk in termen van NLL, zelfs met een beperkt aantal deeltjes. Het deeltjesfilter vereist in deze 10D setting ongeveer $10^6$ deeltjes om vergelijkbare prestaties te leveren.

5. Betekenis en Impact

Oplossing voor Hoge Dimensies: Dit werk biedt een veelbelovende richting voor het oplossen van niet-lineaire filterproblemen in hoge dimensies, een gebied waar traditionele methoden vaak falen.
Theoretische Onderbouwing: Het is een van de weinige werken dat niet alleen een diep learning-methode voor PDE's toepast, maar ook een strikt convergentiebewijs levert voor het filterprobleem.
Praktische Toepasbaarheid: De methode is ontworpen voor online gebruik, wat essentieel is voor real-time toepassingen zoals tracking en financiële modellering. De open-source implementatie (vermeld in de paper) maakt replicatie en verdere ontwikkeling mogelijk.

Kortom, dit artikel combineert geavanceerde numerieke analyse met moderne deep learning technieken om een robuust en convergent algoritme te leveren voor complexe, hoog-dimensionale Bayesiaanse filterproblemen.