High-dimensional Bayesian filtering through deep density approximation

Titel: Hoge-dimensionale Bayesiaanse filtering via diepe dichtheidsbenadering

Auteurs: Kasper Båågmark en Filip Rydin

1. Het Probleem

Het artikel adresseert het uitdaging van Bayesiaanse filtering in hoge dimensies en niet-lineaire systemen. Het doel is om verborgen stochastische variabelen (toestanden) te infereren op basis van ruisbevattende en gedeeltelijke waarnemingen.

• De uitdaging: Klassieke methoden zoals de Kalman-filter (en varianten zoals EKF en EnKF) en deeltjessfilters (Particle Filters, PF) lopen vast bij hoge dimensies.
  • De vloek van de dimensie: Deeltjessfilters vereisen exponentieel meer deeltjes naarmate de dimensie van de toestandstoestand ($d$) toeneemt, wat leidt tot degeneratie.
  • Linearisatieproblemen: Kalman-varianten verliezen hun nauwkeurigheid bij sterke niet-lineariteiten.
• Numerieke instabiliteit: Bij het direct oplossen van de Fokker-Planck-vergelijking (die de evolutie van de filterdichtheid beschrijft) in hoge dimensies, worden de waarschijnlijkheidsdichtheidswaarden extreem klein (exponentieel afnemend). Dit leidt tot numerieke instabiliteit en het "verdwijnen van gradiënten" tijdens het trainen van neurale netwerken.

2. Methodologie

De auteurs vergelijken twee recente, op diep leren gebaseerde methoden die de filtering-problematiek herschrijven als het oplossen van partiële differentiaalvergelijkingen (PDE's) en terugwaartse stochastische differentiaalvergelijkingen (BSDE's), gekoppeld aan Feynman-Kac-formules.

De Kernmethodes:

1. Deep Splitting Filter (DSF): Reformuleert de filtering-vergelijkingen als een reeks recursieve optimalisatieproblemen. Het benadert de voorwaartse predictiedichtheid stap voor stap via een operator die de actie van de Fokker-Planck-vergelijking simuleert.
2. Deep BSDE Filter (BSDEF): Lost het filtering-probleem op door een enkele BSDE te disretiseren per waarnemingstijdstip. Dit leidt tot één globaal optimalisatieprobleem per stap, waarbij zowel de voorspellende dichtheid als de bijbehorende gradiënttermen (Z-componenten) worden geleerd.

De Innovatie: Log-dichtheidsformulering

Een cruciale bijdrage van dit werk is de introductie van logarithmische varianten (LogDSF en LogBSDEF).

• In plaats van de dichtheid $p$ direct te modelleren, modelleren de auteurs de log-dichtheid $v = -\log(p)$.
• Voordelen:
  • Positiviteit: Omdat de uiteindelijke dichtheid wordt gereconstrueerd via exponentiatie ($p = e^{-v}$), is de geschatte dichtheid per definitie positief.
  • Stabiliteit: Het voorkomt numerieke onderstroming (underflow) en het verdwijnen van gradiënten, aangezien de waarden van $v$ in een beter bereik liggen dan de extreem kleine waarden van $p$ in hoge dimensies.
  • Doelfunctie: Het introduceert een nieuwe doelfunctie die robuuster is voor kleine dichtheden.

Implementatie:

• Beide methoden gebruiken Euler-Maruyama-discretisatie voor de predictiestap en Bayes' regel voor de update-stap.
• Neuronale netwerken (Fully Connected of LSTM) worden gebruikt om de functies te benaderen.
• Training gebeurt via stochastische gradiëntafstijging (SGD) met Monte Carlo-sampling.
• Voor normalisatie in hoge dimensies wordt gebruik gemaakt van importance sampling (met een uitgebreide Kalman-filter of een brede Gaussische verdeling als voorstelverdeling).

3. Belangrijkste Bijdragen

1. Log-dichtheid reformulering: Een wiskundig onderbouwde herschrijving van de filtering-vergelijkingen (Stelling 2.1) die leidt tot positieve en numeriek stabiele benaderingen.
2. Uitgebreide benchmarking: Een systematische vergelijking van DSF, BSDEF en hun log-varianten tegen klassieke baselines (EKF, EnKF, PF) over een breed scala aan problemen: van lineair tot sterk niet-lineair, en van lage tot zeer hoge dimensies ($d=100$).
3. Prestatie in hoge dimensies: Het aantonen dat de LogBSDEF methode stabiel en accuraat blijft in chaotische, niet-lineaire systemen met hoge dimensies (zoals het Lorenz-96 model), waar klassieke methoden falen.
4. Efficiëntie: Een demonstratie dat deze diepe dichtheidsmethodes een rekenkundige versnelling van 2 tot 5 ordes van grootte bieden ten opzichte van deeltjessfilters.

4. Resultaten

De auteurs testen de methoden op diverse scenario's:

• Laag-dimensionale voorbeelden (d=1):
  • Lineaire Ornstein-Uhlenbeck en niet-lineaire bistabiele systemen.
  • De log-varianten (vooral LogBSDEF) presteren beter dan de niet-log varianten en klassieke methoden, met lagere fouten in Mean Absolute Error (MAE) en Kullback-Leibler-divergentie (KLD).
• Hoge-dimensionale lineaire systemen (d=100):
  • In een 100-dimensionale Ornstein-Uhlenbeck proef falen deeltjessfilters (zelfs met $10^6$ deeltjes) volledig.
  • LogBSDEF presteert even goed als de Ensemble Kalman Filter (EnKF), maar is veel sneller. De niet-log varianten konden hier niet trainen vanwege numerieke instabiliteit.
• Niet-lineaire systemen (Schlögl model):
  • Een chemisch reactiemodel met bistabiliteit. LogBSDEF presteerde vergelijkbaar met een deeltjessfilter met $10^5$ deeltjes, terwijl EKF en EnKF faalden door de sterke niet-lineariteit.
• Chaotische hoge-dimensionale systemen (Lorenz-96, d=100):
  • Dit is het kritieke testgeval. Klassieke methoden (PF, EnKF) divergeren of worden onbruikbaar bij $d=100$.
  • LogBSDEF bleek de enige methode die stabiel bleef en bruikbare schattingen leverde in dit regime.
  • De fouten (MAE en NLL) bleven stabiel toen de dimensie toenam, terwijl klassieke methoden snel degradeerden.

Rekenkracht:

• De inferentie-tijd van de diepe methodes is 2 tot 5 ordes van grootte sneller dan deeltjessfilters.
• Hoewel er een eenmalige trainingskost is, worden deep learning methodes rendabeler dan PF/EnKF zodra er meer dan enkele honderden tot duizenden waarnemingssequenties moeten worden verwerkt.

5. Betekenis en Conclusie

Dit werk toont aan dat diepe dichtheidsbenaderingen, en specifiek de logarithmische formulering van de BSDE-filter, een veelbelovende oplossing bieden voor het probleem van filtering in hoge dimensies.

• Ze overwinnen de "vloek van de dimensie" die klassieke Monte Carlo-methoden (deeltjessfilters) beperkt.
• Ze bieden numerieke stabiliteit in regimes waar waarschijnlijkheidsdichtheden extreem klein worden.
• Ze bieden een praktische, schaalbare alternatief voor data-assimilatie in complexe systemen zoals weermodellen (Lorenz-96) en chemische reacties, met een aanzienlijke verbetering in rekentijd.

De auteurs concluderen dat hoewel de methoden gevoelig zijn voor hyperparameter-tuning en netwerkarctitectuur, de LogBSDEF een robuust en krachtig instrument is geworden voor niet-lineaire filtering in de moderne data-gedreven wetenschap.