The Variational Approach in Filtering and Correlated Noise

Titel

Variationaler Ansatz im Filtern und bei korreliertem Rauschen
(The Variational Approach in Filtering and Correlated Noise)

1. Problemstellung

Das Paper adressiert das fundamentale Problem der Zustandsschätzung stochastischer Systeme aus partiellen, verrauschten Beobachtungen. Während im linearen Gaußschen Fall der Kalman-Bucy-Filter eine elegante Lösung bietet, ist die Verteilung bei nichtlinearen Systemen typischerweise unendlich-dimensional.

Ein bahnbrechender Ansatz von Mitter und Newton [9] charakterisiert die Filterverteilung als den eindeutigen Minimierer eines Freie-Energie-Funktionals. Dieses Funktional setzt sich aus der relativen Entropie bezüglich einer Prior-Verteilung und einem erwarteten Energie-Term zusammen.

• Kritische Voraussetzung: Der Ansatz von Mitter und Newton basiert auf der absoluten Stetigkeit der gemeinsamen Pfadmaß $P_{XY}$ bezüglich eines Produktmaßes $P_X \otimes \lambda_Y$ (wobei $\lambda_Y$ ein Referenzmaß für die Beobachtungen ist). Dies wird durch den Cameron-Martin-Girsanov-Satz gewährleistet, wenn Signal ($X$) und Beobachtung ($Y$) durch unabhängige Brownsche Bewegungen getrieben werden.
• Das Defizit: In vielen physikalischen und technischen Anwendungen teilen sich Signal und Beobachtung eine gemeinsame Rauschquelle (korreliertes Rauschen). Das Paper untersucht, ob der Mitter-Newton-Ansatz in diesem Szenario anwendbar ist.

2. Methodik und theoretische Grundlagen

Die Autoren verfolgen einen mehrstufigen methodischen Ansatz:

1. Analyse der Diskontinuität: Sie untersuchen zunächst ein diskretes Zeitmodell mit korreliertem Rauschen, um zu zeigen, dass die Radon-Nikodym-Ableitung zwischen dem gemeinsamen Maß und dem Produktmaß im Kontinuums-Limit degeneriert (entweder gegen 0 oder $\infty$ geht).
2. Beweis der gegenseitigen Singularität:
   • Gaußscher Fall: Für lineare Systeme wird der Feldman-Hájek-Theorem verwendet. Dieser besagt, dass Gaußsche Maße auf unendlich-dimensionalen Räumen entweder äquivalent oder gegenseitig singulär sind. Die Autoren zeigen, dass die Cameron-Martin-Räume der gemeinsamen Verteilung (mit Korrelation) und der Produktverteilung (ohne Korrelation) unterschiedlich sind, was die gegenseitige Singularität ($P_{XY} \perp P_X \otimes P_Y$) beweist.
   • Allgemeiner nichtlinearer Fall: Für allgemeine Diffusionsprozesse konstruieren die Autoren eine explizite Menge, die unter dem gemeinsamen Maß $P_{XY}$ Maß 1 hat, aber unter dem Produktmaß $P_X \otimes P_Y$ Maß 0 hat. Dies wird durch die Analyse der quadratischen Kovariation (Quadratic Variation) zwischen Signal und Beobachtung erreicht.
3. Entwicklung eines neuen Prinzips: Da die absolute Stetigkeit gegenüber einem Produktmaß bei korreliertem Rauschen unmöglich ist, führen die Autoren ein konditionales Variationsprinzip ein. Anstelle eines Priors wird eine bedingte Referenzmaß verwendet, die die Struktur der Rauschkopplung erhält.

3. Hauptergebnisse

A. Unmöglichkeit des klassischen Ansatzes bei Korrelation

Die zentrale negative Erkenntnis ist, dass die Annahme von Mitter und Newton ($P_{XY} \ll P_X \otimes \lambda_Y$) notwendigerweise fehlschlägt, sobald Signal und Beobachtung eine gemeinsame Brownsche Bewegung teilen.

• Satz 4.1 & Korollar 4.1.1: Es wird bewiesen, dass wenn eine solche Referenzmaß $\lambda_Y$ existieren würde, die gemeinsame Verteilung absolut stetig bezüglich des Produktmaßes der Ränder sein müsste.
• Satz 5.4 (Gaußscher Fall) & Satz 5.6 (Allgemeiner Fall): Es wird gezeigt, dass $P_{XY}$ und $P_X \otimes P_Y$ gegenseitig singulär sind. Folglich kann die Filterverteilung nicht als Gibbs-Maß bezüglich des Priors $P_X$ dargestellt werden. Das klassische Variationsprinzip ist in diesem Kontext nicht rettbar.

B. Das neue konditionale Variationsprinzip

Die Autoren schlagen eine Verallgemeinerung vor, die das Problem umgeht:

• Annahme 6.1: Statt $P_{XY} \ll P_X \otimes \lambda_Y$ wird gefordert, dass die bedingte Verteilung $P_{X|Y}(\cdot, y)$ absolut stetig bezüglich einer bedingten Referenzverteilung $Q_{X|Y}(\cdot, y)$ ist.
• Wahl der Referenz $Q$: Die Referenzmaß $Q$ muss die Rauschkopplung erhalten. Im linearen Fall wird $Q$ als das Maß eines driftlosen Systems definiert, das dieselbe Rauschstruktur (gemeinsames $W$) wie das Originalsystem hat, aber ohne Driftterme.
• Freie Energie: Die Filterverteilung wird als eindeutiger Minimierer des Funktionals
  $$\min_{\tilde{P}} \left\{ h(\tilde{P} \| Q_{X|Y}(\cdot, y)) + \langle H(\cdot, y), \tilde{P} \rangle \right\}$$
  charakterisiert. Hierbei ist $h$ die relative Entropie bezüglich der bedingten Referenz und $H$ die Energie, die aus dem Drift-Term resultiert.

C. Anwendung auf lineare Diffusionen

Für lineare Systeme mit korreliertem Rauschen wird eine explizite Formel hergeleitet:

• Die Referenzmaß $\mu_y$ entspricht einem Signalprozess, bei dem die gemeinsame Rauschkomponente durch den Beobachtungspfad $y$ "eingefroren" ist ($X_t = x_0 + \sigma_0 B_t + \sigma_1 y_t$).
• Die Energie $H(x, y)$ wird als Girsanov-Dichte bezüglich dieser bedingten Referenz ausgedrückt.
• Reduktion: Falls das Rauschen unabhängig ist ($\sigma_1 = 0$), reduziert sich das neue Prinzip exakt auf das ursprüngliche Mitter-Newton-Formular.

4. Signifikanz und Bedeutung

1. Fundamentale Grenzen aufzeigen: Das Paper liefert einen rigorosen Beweis dafür, dass die elegante Variationsformulierung von Mitter und Newton nicht universell auf Systeme mit korreliertem Rauschen anwendbar ist. Dies korrigiert ein potenzielles Missverständnis in der Literatur, dass man einfach ein anderes Referenzmaß wählen könnte.
2. Neue theoretische Grundlage: Die Einführung des konditionalen Variationsprinzips öffnet neue Wege für die Analyse und numerische Approximation von Filtern in korrelierten Umgebungen (z.B. in der Finanzmathematik oder bei der Sensorfusion in Robotik).
3. Strukturelle Einsicht: Es wird deutlich gemacht, dass bei korreliertem Rauschen die "Prior"-Information nicht mehr unabhängig von der Beobachtung betrachtet werden kann. Die Referenzdynamik muss die Beobachtung $y$ enthalten, um die gemeinsame Rauschstruktur zu modellieren.
4. Offene Probleme: Das Paper schließt mit der Feststellung, dass die Erweiterung dieses konditionalen Prinzips auf den allgemeinen nichtlinearen Fall (jenseits der linearen Gaußschen Systeme) eine offene Forschungsfrage bleibt.

Fazit

Die Autoren zeigen, dass die gegenseitige Singularität der Maße bei gemeinsamem Rauschen eine fundamentale Hürde für das klassische Variationsprinzip darstellt. Durch den Wechsel von einem globalen Prior zu einer bedingten Referenzmaß, die die Rauschkorrelation kodiert, gelingt es ihnen, eine konsistente Freie-Energie-Charakterisierung des Filters wiederherzustellen. Dies stellt eine wesentliche Verallgemeinerung der bestehenden Theorie dar.