Nested ensemble Kalman filter for static parameter inference in nonlinear state-space models

1. Problemstellung

Das Paper adressiert das Problem der sequentiellen bayesschen Inferenz für statische Parameter und latente Zustände in nichtlinearen Zustandsraummodellen (SSMs).

• Herausforderung: Bei der Inferenz in SSMs mit unbekannten Parametern neigen herkömmliche Methoden wie der Sequential Monte Carlo (SMC, auch Partikelfilter) zu einer Degeneration der Parameter-Partikel. Dies liegt daran, dass die Anzahl der distinkten Parameter-Partikel exponentiell mit der Zeit abnimmt.
• SMC2-Lösung: Der Algorithmus SMC2 (Chopin et al., 2013) löst dies durch einen „Resample-Move"-Schritt, bei dem Parameter-Partikel mittels eines Metropolis-Hastings-Kerns mutiert werden, der die marginale Posterior-Verteilung als Invariantenverteilung hat. Die Gewichtung der Partikel erfolgt dabei basierend auf einer Schätzung der Likelihood der Beobachtungsdaten, die durch einen inneren Partikelfilter über den Zuständen berechnet wird.
• Skalierbarkeitsproblem: In hochdimensionalen Zustandsräumen (hohe Dimension $d_x$) versagen Partikelfilter aufgrund des „Fluchs der Dimensionalität". Um eine stabile Likelihood-Schätzung zu gewährleisten, müsste die Anzahl der Zustands-Partikel $N$ exponentiell mit der Dimension wachsen, was rechnerisch oft untragbar ist.
• EnKF-Limitierung: Der Ensemble Kalman Filter (EnKF) ist effizienter für hochdimensionale Zustände, da er Partikel durch Verschiebungen (Shifting) basierend auf einer Gaußschen Approximation aktualisiert, anstatt sie neu zu gewichten. Allerdings geht die direkte Anwendung des EnKF auf Parameter-Inferenz oft von linearen und gaußschen Beziehungen zwischen Parametern, Zuständen und Beobachtungen aus, was in nichtlinearen Modellen zu verzerrten Ergebnissen führt.

2. Methodik: Der Nested Ensemble Kalman Filter (NEnKF)

Die Autoren schlagen den Nested Ensemble Kalman Filter (NEnKF) vor, der die Robustheit des EnKF mit dem prinzipiellen Rahmenwerk von SMC2 kombiniert.

Kernidee:
Anstatt einen inneren Partikelfilter über die Zustände zu verwenden (wie in SMC2), wird dieser durch einen EnKF ersetzt.

• Gewichtung: Parameter-Partikel werden basierend auf der geschätzten Likelihood der Beobachtungsdaten gewichtet, die vom EnKF berechnet wird.
• Mutation (Resample-Move): Wenn die effektive Stichprobengröße (ESS) der Parameter-Partikel einen Schwellenwert unterschreitet, werden die Partikel durch einen Metropolis-Hastings-Schritt mutiert. Dieser Schritt nutzt ebenfalls den EnKF, um die Likelihood für neue Parameterwerte zu berechnen (basierend auf dem Ensemble MCMC-Ansatz).

Erweiterungen und Optimierungen:

1. Verzögerte Akzeptanz (Delayed Acceptance, DA):
   Da der Resample-Move-Schritt rechenintensiv ist (insbesondere das erneute Durchlaufen des EnKF für vorgeschlagene Parameter), wird ein DA-Kern eingeführt.

   • Stufe 1: Ein vorgeschlagener Parameter wird zunächst mit einem schnellen Surrogat-Likelihood-Wert bewertet, der auf einer k-Nächste-Nachbarn (k-NN)-Approximation der bereits berechneten Likelihoods der aktuellen Partikel basiert.
   • Stufe 2: Nur wenn Stufe 1 akzeptiert wird, wird die teure, exakte EnKF-Likelihood berechnet. Dies reduziert die Rechenzeit erheblich, ohne die Korrektheit des Markov-Ketten-Monte-Carlo (MCMC)-Verfahrens zu beeinträchtigen.

2. Nichtlineare Beobachtungsmodelle:
   Der Standard-EnKF setzt lineare/gaußsche Beobachtungsmodelle voraus. Für nichtlineare Modelle ($f(\theta)$) schlagen die Autoren zwei Wege vor:

   • Direkte Approximation: Das nichtlineare Modell wird durch eine lokale lineare/gaußsche Approximation $g(\theta)$ ersetzt (z.B. via Taylor-Entwicklung). Dies führt zu einer verzerrten, aber effizienten Inferenz (NEnKF).
   • Rao-Blackwellisiertes SMC2 (RB-SMC2): Um die Verzerrung zu korrigieren, wird der EnKF als Vorschlagsverteilung innerhalb eines inneren Partikelfilters verwendet. Der Partikelfilter korrigiert die Verzerrung durch eine Gewichtungsfunktion, die das Verhältnis der wahren nichtlinearen Dichte zur linearen Approximation nutzt. Dies ermöglicht die Integration von Zuständen auf feineren Zeitskalen als die Beobachtungen (z.B. bei diskretisierten SDEs).

3. Schlüsselbeiträge

• Neuer Algorithmus (NEnKF): Einführung eines hybriden Ansatzes, der die Effizienz des EnKF für hochdimensionale Zustände mit der korrekten bayesschen Behandlung statischer Parameter durch SMC2 verbindet.
• Effizienzsteigerung: Nachweis, dass der NEnKF in hochdimensionalen Szenarien deutlich weniger Partikel benötigt als ein reiner SMC2-Ansatz, da die Likelihood-Schätzung des EnKF weniger sensitiv auf die Partikelzahl reagiert als die eines Partikelfilters.
• Delayed Acceptance: Implementierung eines k-NN-basierten Surrogats zur Beschleunigung des Resample-Move-Schritts.
• Umgang mit Nichtlinearität: Entwicklung des RB-SMC2 als Kompromiss zwischen der reinen EnKF-Effizienz und der Genauigkeit eines vollständigen Partikelfilters, speziell für nichtlineare Beobachtungsmodelle.
• Dynamische Anpassung: Ein Mechanismus zur dynamischen Anpassung der Ensemble-Größe $N$ basierend auf der Varianz der Likelihood-Schätzung, um die Genauigkeit zu steuern.

4. Ergebnisse und Anwendungen

Die Methode wurde an vier Anwendungen mit steigender Komplexität getestet:

1. Ornstein-Uhlenbeck-Prozess (Synthetisch):

   • Vergleich von NEnKF, PEnKF (Particle EnKF) und AEnKF (Augmented EnKF).
   • Ergebnis: NEnKF und PEnKF zeigten eine hohe Genauigkeit im Vergleich zu einem Goldstandard (MCMC). AEnKF (mit starker Linearitätsannahme) lieferte stark verzerrte Ergebnisse, insbesondere bei der Schätzung der Prozessstochastik. NEnKF war genauer als PEnKF.

2. Lotka-Volterra-Modell (Räuber-Beute, nichtlineare Beobachtung):

   • Vergleich von NEnKF, RB-SMC2 und Vanilla SMC2.
   • Ergebnis: NEnKF war ca. 4-mal schneller als Vanilla SMC2 und 2-mal schneller als RB-SMC2. Allerdings zeigte NEnKF aufgrund der misspezifizierten Varianz in der linearen Approximation eine leichte Verzerrung in den Posterior-Mitteln. RB-SMC2 korrigierte diese Verzerrung bei moderatem Mehraufwand. Vanilla SMC2 war am teuersten.

3. Epidemiologisches Modell (Eichenprozessionsspinner):

   • Anwendung auf reale Daten mit einem zweiknotenigen SIR-Modell.
   • Ergebnis: NEnKF und RB-SMC2 lieferten konsistente Posterior-Ergebnisse. NEnKF benötigte deutlich weniger Ensemble-Mitglieder ($N=85$) als RB-SMC2 ($N=300$), was zu einem Kostenverhältnis von ca. 1:2,7 führte. Ein Vanilla SMC2 war aufgrund des extrem hohen Bedarfs an Partikeln ($N \approx 5000$) rechnerisch nicht durchführbar.

4. Lorenz-96-Modell (Hochdimensional, $d=5$ und $d=10$):

   • Ergebnis: Hier zeigte sich der größte Vorteil. Für $d=10$ benötigte SMC2 ca. 4762 Zustands-Partikel, während NEnKF nur 249 Ensemble-Mitglieder benötigte. Dies führte zu einem Effizienzgewinn von Faktor 19 (147 Minuten vs. 2737 Minuten). NEnKF war in der Lage, genaue Inferenzen auch bei hoher Dimensionalität zu liefern, wo SMC2 versagt hätte.

5. Bedeutung und Fazit

Das Paper demonstriert, dass der NEnKF eine leistungsfähige Alternative zu SMC2 für nichtlineare Zustandsraummodelle darstellt, insbesondere wenn die Dimension des latenten Zustandsraums hoch ist, aber die Anzahl der zu schätzenden Parameter gering ist.

• Praktische Relevanz: Der Ansatz ist „Plug-and-Play", da er nur die Vorwärtsimulation des Zustandsprozesses und die Auswertung der Beobachtungsdichte erfordert.
• Kompromiss: Es bietet einen flexiblen Rahmen:
  • NEnKF: Maximale Geschwindigkeit, akzeptable Genauigkeit für viele Anwendungen.
  • RB-SMC2: Höhere Genauigkeit bei nichtlinearen Beobachtungen, moderaterer Rechenaufwand als SMC2.
  • Vanilla SMC2: Goldstandard für Genauigkeit, aber oft rechnerisch unmöglich bei hohen Dimensionen.

Die vorgeschlagenen Erweiterungen (verzögerte Akzeptanz, dynamische $N$-Anpassung, RB-Technik) machen den Algorithmus robust und effizient für eine breite Klasse von Anwendungen in der Datenassimilation und statistischen Physik.