Kernel Methods for Stochastic Dynamical Systems with Application to Koopman Eigenfunctions: Feynman-Kac Representations and RKHS Approximation

Titel: Kernel Methods for Stochastic Dynamical Systems with Application to Koopman Eigenfunctions: Feynman–Kac Representations and RKHS Approximation
Autoren: Boumediene Hamzi, Houman Owhadi, Umesh Vaidya

1. Problemstellung und Motivation

Das Paper adressiert die Herausforderung, die Theorie der reproduzierenden Kernel-Hilbert-Räume (RKHS) und die Koopman-Operator-Theorie von deterministischen Systemen auf stochastische Differentialgleichungen (SDEs) zu erweitern.

• Hintergrund: In deterministischen Systemen ($\dot{x} = f(x)$) wurde in einer vorherigen Arbeit [1] gezeigt, dass drei verschiedene Konstruktionen für Reproduzierende Kernel (Lions-artige Variationsprinzipien, Greensche-Funktionen und Resolventen-Operatoren) äquivalent sind. Diese basieren auf der Methode der Charakteristiken für hyperbolische Transportgleichungen.
• Das Problem: Bei stochastischen Systemen ($dX_t = G(X_t)dt + \sigma(X_t)dW_t$) enthält der Koopman-Generator einen zweiten Ordnung Diffusionsterm. Dies wandelt die hyperbolische Transportgleichung in eine elliptisch-parabolische partielle Differentialgleichung (PDE) um.
• Konsequenz: Die klassische Methode der Charakteristiken ist nicht mehr direkt anwendbar. Stattdessen müssen probabilistische Darstellungen, insbesondere die Feynman-Kac-Formel, verwendet werden. Zudem erfordern die zweiten Ableitungen in der PDE Kernel-Funktionen mit höherer Glattheit ($C^{2,2}$ statt $C^{1,1}$).

2. Methodik und theoretischer Rahmen

Die Autoren erweitern das unified Kernel-Framework auf SDEs durch folgende methodische Schritte:

A. Mathematische Formulierung

Der stochastische Koopman-Generator $\mathcal{K}$ ist definiert als:
$$(\mathcal{K}g)(x) = G(x) \cdot \nabla g(x) + \frac{1}{2}\text{Tr}[a(x)\nabla^2 g(x)]$$
wobei $a(x) = \sigma(x)\sigma(x)^\top$ der Diffusionstensor ist. Die Eigenfunktionsgleichung $\mathcal{K}\phi = \lambda\phi$ wird als lineare elliptische PDE zweiter Ordnung behandelt.

B. Drei äquivalente Kernel-Konstruktionen

Das Paper beweist, dass unter der Annahme der gleichmäßigen Elliptizität (Uniform Ellipticity) drei verschiedene Ansätze zum selben reproduzierenden Kernel führen:

1. Lions-artiges Variationsprinzip:

   • Definition eines Hilbert-Raums mit der Graph-Norm $\|u\|_H^2 = \|u\|_{L^2}^2 + \|\mathcal{L}_{stoch}u\|_{L^2}^2$.
   • Der Kernel ist der Riesz-Darsteller der Punktauswertung in diesem Raum.
   • Dies erfordert Kernel, die zweite Ableitungen reproduzieren können.

2. Greensche Funktion via Feynman-Kac:

   • Statt entlang von Charakteristiken wird die Greensche Funktion über die Übergangsdichte $p_t(x,y)$ der SDE konstruiert.
   • Der Kernel ist die zeitintegrierte, diskontierte Übergangsdichte:
     $$k_{FK}(x, y) = \int_0^\infty e^{-\lambda t} p_t(x, y) dt$$
   • Dies entspricht der erwarteten diskontierten lokalen Zeit einer Trajektorie.

3. Stochastischer Resolvent-Kernel:

   • Basierend auf dem Resolventen-Operator $R_\lambda = (\lambda I - \mathcal{K})^{-1}$.
   • Darstellung als Laplace-Transformierte des stochastischen Flusses:
     $$k_{res}(x, y) = \mathbb{E}_x \left[ \int_0^\infty e^{-\lambda t} \delta(y - X_t) dt \right]$$

C. Äquivalenz-Theorem

Das Haupttheorem (Theorem 3.13) besagt, dass unter der Bedingung $\Re(\lambda) > \frac{1}{2}\|(\nabla \cdot G)^-\|_{L^\infty}$ (eine Bedingung, die sicherstellt, dass die Drift nicht schneller in den Bereich "drückt", als der Diskontfaktor $\lambda$ dissipieren kann) gilt:
$$k_{var}(x, y) = k_{FK}(x, y) = k_{res}(x, y)$$
Dies verallgemeinert das deterministische Äquivalenz-Theorem auf den stochastischen Fall, wobei die Elliptizität die Rolle der Kausalität übernimmt.

D. Hypoelliptische Erweiterung

Für Systeme mit entarteter Diffusion (z. B. untergedämpfte Langevin-Dynamik), die die Hörmander-Bedingung erfüllen, wird gezeigt, dass die Äquivalenz der Kernel erhalten bleibt, jedoch mit reduzierter Regularität (Subelliptizität). Hier müssen Punktauswertungen ggf. durch mollifizierte Testfunktionen ersetzt werden, wenn die Regularität $\varepsilon \le d/2$ ist.

3. Numerische Methoden und Algorithmen

Das Paper stellt einen rechnerischen Rahmen zur Approximation der Eigenfunktionen vor:

• Kollokationsmethode: Die PDE wird an diskreten Punkten $\{x_i\}$ erfüllt.
  • Die Diskretisierung führt zu einem linearen System $(L + D - \lambda K)\alpha = -f$.
  • $K$: Gram-Matrix des Kernels.
  • $L$: Drift-Matrix (erfordert erste Ableitungen des Kernels).
  • $D$: Diffusions-Matrix (erfordert zweite Ableitungen des Kernels, explizit für Gaußsche RBFs hergeleitet).
• Monte-Carlo-Feynman-Kac: Wenn analytische Lösungen nicht verfügbar sind, werden Trajektorien simuliert, um die rechten Seiten oder die Kernel-Werte zu schätzen.
• Fehleranalyse: Die Gesamtfehler wird in zwei Teile zerlegt:
  1. RKHS-Approximationsfehler: Abhängig von der Glattheit des Kernels und der Füllweite ($h_{fill}$) der Kollokationspunkte.
  2. Monte-Carlo-Schätzfehler: Skaliert mit $O(K^{-1/2})$ (Anzahl der Pfade).

4. Wichtige Ergebnisse

1. Theoretische Äquivalenz: Es wurde rigoros bewiesen, dass die drei Kernel-Konstruktionen für SDEs identisch sind, sofern die Diffusion gleichmäßig elliptisch ist.
2. Numerische Konditionierung durch Diffusion:
   • Ein zentrales Ergebnis ist, dass moderate Diffusion die numerische Konditionierung des Kollokationssystems verbessert.
   • Der Diffusionsterm wirkt als elliptische Regularisierung, die die Eigenwerte des Systems von Null wegschiebt.
   • Experimente zeigen eine signifikante Reduktion der Konditionszahl (z. B. Faktor 2,5 bis 3,7) bei Hinzufügen von Rauschen im Vergleich zum rein deterministischen Fall, was die Stabilität erhöht.
3. Genauigkeit:
   • Bei linearen Systemen (Ornstein-Uhlenbeck) wird die exakte Eigenfunktion mit Maschinengenauigkeit rekonstruiert.
   • Bei nichtlinearen Systemen werden die nichtlinearen Korrekturen erfolgreich erfasst.
   • Die Semigruppen-Eigenschaft $\mathbb{E}[\phi(X_t)] = e^{\lambda t}\phi(x_0)$ wird mit Fehlern unter 10% verifiziert.
4. Hypoelliptizität: Das Framework funktioniert auch für entartete Systeme (wie Langevin-Dynamik), wobei die Konvergenzraten algebraisch statt exponentiell sind, aber die Stabilitätsvorteile der Regularisierung erhalten bleiben.

5. Bedeutung und Ausblick

• Brückenschlag: Das Paper verbindet die Theorie der reproduzierenden Kernel, die Feynman-Kac-Formel und die Koopman-Operator-Theorie für stochastische Systeme.
• Praktische Relevanz: Die Erkenntnis, dass Rauschen die numerische Stabilität verbessern kann, ist kontraintuitiv und für die Anwendung in der Praxis (z. B. in der molekularen Dynamik oder Finanzmathematik) hochrelevant. Es erlaubt die Nutzung von Kernel-Methoden in Systemen, die im deterministischen Fall schlecht konditioniert wären.
• Anwendungen: Die Methode ist anwendbar auf:
  • Molekulare Dynamik (Metastabile Zustände, Reaktionskoordinaten).
  • Finanzmathematik (Optionspreisbildung, Risikofaktoren).
  • Klimamodellierung (Vorhersagbarkeit von Mustern wie El Niño).
  • Stochastische Regelungstechnik.

Zusammenfassend bietet das Paper einen rigorosen theoretischen und numerischen Rahmen, um Koopman-Eigenfunktionen für stochastische Systeme effizient und stabil zu berechnen, wobei die Diffusion nicht nur als Störung, sondern als Werkzeug zur Regularisierung genutzt wird.