From the Linear Quadratic Regulator (LQR) to the (Deterministic) Kalman Filter in Two Easy Steps

Dieses Paper präsentiert ein zweistufiges Tutorial, das demonstriert, wie man den deterministischen Kalman-Filter aus dem Linear-Quadratic-Regulator (LQR) herleitet, indem man zunächst das Zustandsschätzproblem unter Verwendung homogener Koordinaten in eine rein quadratische LQR-Formulierung überführt und anschließend die resultierende Lösung partitioniert, um die traditionelle Kalman-Filter-Dynamik und die Riccati-Gleichung zurückzugewinnen.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen genau herauszufinden, wo sich ein verlorener Wanderer befindet, in einem dichten Wald. Sie haben zwei Informationsquellen, aber beide sind fehlerhaft:

1. Ihre Karte (Das Modell): Sie kennen den allgemeinen Pfad und die Geschwindigkeit des Wanderers, aber das Gelände ist schwierig, und er könnte stolpern oder eine Umleitung nehmen.
2. Ihr Fernglas (Die Messungen): Sie sehen den Wanderer gelegentlich, aber die Bäume versperren die Sicht, und das Bild ist verschwommen.

Der Kalman-Filter ist das mathematische Werkzeug, das diese beiden unvollkommenen Quellen kombiniert, um den wahren Standort des Wanderers zu erraten. Normalerweise wird dies als komplexes statistisches Problem gelehrt, das mit „Rauschen“ und „Wahrscheinlichkeit“ zu tun hat.

Dieses Papier von Bassam Bamieh bietet einen anderen, einfacheren Weg, um nach diesem Problem zu denken. Er argumentiert, dass man nicht über Zufallswahrscheinlichkeiten nachdenken muss, sondern das Ganze als ein deterministisches Rätsel betrachten kann: „Was ist die einfachste mögliche Geschichte, die erklärt, was wir gesehen haben?“

Hier sind die „Zwei einfachen Schritte“ zur Lösung dieses Rätsels, wie sie in Alltagsanalogien erklärt werden.

Die Kernidee: „Occams Rasiermesser“ für die Mathematik

Das Papier beginnt mit einem Prinzip namens Minimaler Unsicherheitsprinzip. Stellen Sie sich vor, Sie sind ein Detektiv, der einen Tatort rekonstruiert. Es gibt unendlich viele Möglichkeiten, wie die Tat hätte geschehen können.

• Geschichte A: Der Verdächtige lief 5 Meilen, stolperte 10 Mal, und der Zeuge halluzinierte.
• Geschichte B: Der Verdächtige ging 1 Meile, stolperte einmal, und der Zeuge hatte nur leicht verschwommen Sicht.

Das Papier sagt: Wählen Sie Geschichte B. Warum? Weil sie den geringsten Anteil an „Seltsamkeit“ (Unsicherheit) erfordert, um die Fakten passend zu machen. In mathematischen Begriffen wollen wir die Geschichte, in der die „Fehler“ (das Stolpern und die verschwommene Sicht) so klein wie möglich sind.

Schritt 1: Der Trick der „Homogenen Koordinaten“

Die erste Hürde ist, dass die Mathematik für dieses „einfachste Geschichte“-Problem unordentlich ist. Es gibt eine Mischung aus quadrierten Termen (wie „Entfernung im Quadrat“) und linearen Termen (wie „Entfernung“). Es ist, als würde man versuchen, einen Kuchen zu backen, bei dem das Rezept „2 Tassen Mehl“ und „eine Prise Salz“ verlangt, aber die Rührschüssel nur Zutaten in einem bestimmten „quadrierten“ Format akzeptiert.

Die Lösung: Das Papier schlägt einen magischen Trick vor, der Homogene Koordinaten genannt wird.

• Die Analogie: Stellen Sie sich vor, Sie haben eine 2D-Zeichnung auf einem Blatt Papier. Um die Mathematik kompatibel zu machen, fügen Sie eine dritte Dimension hinzu – eine „1“, die an der Seite Ihrer Zeichnung haftet. Plötzlich wird Ihr 2D-Problem zu einem 3D-Problem, in dem alles perfekt in eine ordentliche, symmetrische Box passt.
• Was es bewirkt: Durch das Hinzufügen dieser extra „1“ zu dem System verwandelt sich das unordentliche, „gemischte“ mathematische Problem in ein perfekt sauberes, rein „quadriertes“ mathematisches Problem.
• Das Ergebnis: Dieses saubere Problem ist exakt dasselbe wie ein Linearer Quadratischer Regler (LQR). Wenn Sie wissen, wie man ein LQR-Problem löst (was so etwas ist wie das Finden des treibstoffeffizientesten Weges, ein Auto zu fahren), können Sie nun dieses unordentliche Schätzproblem lösen.

Warum das wichtig ist: Das Papier weist hier auf eine coole Erkenntnis hin. In Regelungsproblemen (wie beim Autofahren) repräsentiert die „extra“ Mathematik normalerweise ein vorgeplantes Feedforward-Signal. In Schätzproblemen (wie beim Verfolgen des Wanderers) repräsentiert dieselbe „extra“ Mathematik den Beobachter – den Teil des Systems, der lernt und seine Schätzung im Laufe der Zeit aktualisiert.

Schritt 2: Die „Zeitumkehr“ und die „Finale Vermutung“

Nun haben wir ein sauberes, quadriertes Problem, das wir lösen müssen. Aber es gibt einen Haken: In einem Standard-Fahrproblem wissen Sie, wo Sie angefangen haben. In diesem Schätzproblem wissen wir nicht, wo der Wanderer gestartet ist. Wir wissen nur, wo er jetzt ist (oder vielmehr versuchen wir herauszufinden, wo er jetzt ist, basierend auf vergangenen Daten).

Die Lösung: Das Papier nutzt ein kluges zweiteiliges Manöver:

1. Nimm das Ende an: Tun Sie für einen Moment so, als wüssten Sie tatsächlich, wo der Wanderer am letzten Moment gelandet ist. Wenn Sie den Start und das Ende kennen, ist der „einfachste Pfad“ zwischen ihnen leicht zu berechnen.
2. Zeitumkehr: Die Mathematik für „von A nach B starten“ ist das Spiegelbild von „von B nach A starten“. Das Papier dreht das Problem in der Zeit um. Anstatt zu fragen: „Wie kommen wir vom Anfang zum Ende?“, fragt es: „Wenn wir am Ziel sind, wie sind wir hierhergekommen?“
3. Die Vermutung optimieren: Da wir die endgültige Position nicht wirklich kennen, nehmen wir die Antwort aus Schritt 2 und fragen: „Welche Endposition macht die gesamte ‚Seltsamkeit‘ (Unsicherheit) am kleinsten?“

Das Ergebnis: Wenn Sie diese Optimierung durchführen, vereinfachen sich die unordentlichen Gleichungen magisch zu den berühmten Kalman-Filter-Gleichungen.

• Der „Beobachter-Gewinn“ (wie sehr man der Karte gegenüber dem Fernglas vertraut) ergibt sich ganz natürlich.
• Die „Riccati-Gleichung“ (die komplexe Mathematik, die den Filter aktualisiert) erscheint als die Lösung dieses „Ankunft-Kosten“-Problems.

Das große Ganze: Gewissheit vs. Information

Das Papier schließt mit einer faszinierenden Neuinterpretation der Mathematik ab.

• In der traditionellen (stochastischen) Sichtweise berechnet der Filter eine „Kovarianzmatrix“, die angibt, wie unsicher man ist. Eine große Zahl bedeutet: „Ich habe keine A};“.
• In der Sichtweise dieses Papers berechnet die Mathematik eine „Informationsmatrix“ (oder Gewissheitsmatrix).
  • Die Analogie: Denken Sie an eine Schale. Wenn die Schale sehr steil und tief ist, wird eine Kugel darin schnell zum Boden rollen. Das bedeutet, Sie sind sich über den Ort des Bodens sehr sicher. Wenn die Schale flach ist, kann die Kugel überallhin rollen; Sie sind unsicher.
  • Das Papier argumentiert, dass die Matrix $S$ in ihren Gleichungen die Steilheit der Schale misst. Ein großes $S$ bedeutet, dass die „Schale“ steil ist, was bedeutet, dass der Filter sehr sicher in seiner Schätzung ist.

Zusammenfassung

Dieses Papier erfindet keinen neuen Filter; es schreibt das Rezept neu.

1. Es sagt: „Hören Sie auf, über zufälliges Rauschen nachzudenken. Denken Sie stats, die einfachste, mit den wenigsten Fehlern behaftete Erklärung für Ihre Daten zu finden.“
2. Es nutzt einen mathematischen Trick (homogene Koordinaten), um ein unordentliches Problem in ein sauberes, Standard-Regelungsproblem zu verwandeln.
3. Es nutzt die Zeitumkehr, um dieses Problem zu lösen, und zeigt auf, dass der Kalman-Filter lediglich der optimale Weg ist, um die Unsicherheit in einer deterministischen Welt zu minimieren.

Es ist ein „Tutorial“, das die erschreckende Wahrscheinlichkeitstheorie beiseite schiebt, um zu zeigen, dass der Kalman-Filter im Kern über Effizienz und Einfachheit geht: den Pfad zu wählen, der die wenigsten Annahmen erfordert.

Technische Zusammenfassung

Technisches Resümee: Vom LQR zum deterministischen Kalman-Filter

Problemformulierung
Das Paper befasst sich mit dem Problem der deterministischen Zustandsschätzung für linear zeitinvariante Systeme. Das System wird durch die Gleichungen $\dot{x}(t) = Ax(t) + w(t)$ und $y(t) = Cx(t) + v(t)$ modelliert, wobei das Ausgangssignal $y(t)$ bekannt ist, die Prozessstörung $w(t)$, das Messrauschen $v(t)$ und der Anfangszustand $x_i$ jedoch unbekannt sind. Das Ziel ist es, die Trajektorie des Zustands $\hat{x}(t)$ zu finden, die konsistent mit der Systemdynamik ist und ein quadratisches Kostenfunktional minimiert, welches die „Größe“ des Unsicherheits-Triplets $(w, v, x_i)$ darstellt. Dieses Kostenfunktional $J$ ist aufgrund des bekannten Messsignals $y(t)$ innerhalb des quadratischen Terms $(y - C\hat{x})^*V(y - C\hat{x})$ affin-quadratisch in Bezug auf den Zustand und die Eingänge. Das Paper rahmt dies als ein „Input-Design“-Problem ein und nicht als ein stochastisches Schätzproblem, wobei es sich an ein „Prinzip der minimalen Unsicherheit“ hält, das dem Prinzip von Occam’s Razor analog ist: Wähle die Trajektorie, die die geringsten Annahmen erfordert (kleinste Unsicherheitsnorm).

Methodik: Die „zwei einfachen Schritte“
Der Autor leitet die Kalman-Filter-Gleichungen durch eine zweistufige Transformation des affin-quadratischen Optimierungsproblems in einen Standard-LQR-Rahmen (Linearer Quadratic Regulator) her:

1. Homogenisierung mittels homogener Koordinaten:
   Der erste Schritt konvertiert das affin-quadratische Kostenfunktional (das quadratische, lineare und konstante Terme enthält) in ein rein quadratisches Kostenfunktional. Dies wird erreicht, indem das System unter Verwendung von „homogenen Koordinaten“ in einen höherdimensionalen Zustandsraum eingebettet wird. Ein Hilfs-Skalarzustand $\alpha$ wird an den Zustandsvektor $x$ angehängt, wobei die Bedingung $\alpha(t) \equiv 1$ gilt. Dies transformiert das ursprüngliche System und die Kosten in ein größeres System mit dem Zustand $\xi = [x^T, 1]^T$ und einem rein quadratischen Ziel. Diese Einbettung zeigt, dass Regler für affin-quadratische Probleme inhärent dynamische Komponenten enthalten (im Gegensatz zu gedächtnislosen, rein quadratischen Reglern), welche den Feedforward-Dynamiken beim Tracking oder den Beobachterdynamiken bei der Schätzung entsprechen.

2. Zeitumkehr und Endzustandsoptimierung:
   Der zweite Schritt nutzt die Formulierung „LQR mit Endbedingungen“. Im Gegensatz zum Standard-LQR, der einen Anfangszustand spezifiziert und einen „Cost-to-go“ minimiert, spezifiziert dieses duale Problem einen Endzustand und minimiert einen „Cost-to-arrive“.

• Das Schätzproblem wird zuerst unter der Annahme gelöst, dass der Endzustand $\hat{x}(t)$ bekannt (festgelegt) ist. Dies liefert eine Lösung, die durch eine vorwärtslaufende Matrix-Differential-Riccati-Gleichung (DRE) $S(t)$ und einen Hilfsvektor $s_1(t)$ charakterisiert ist.
• Da der Endzustand tatsächlich unbekannt ist, wird der optimale Schätzwert gefunden, indem die resultierende „Cost-to-arrive“-Funktion in Bezug auf die Endzustandsvariable weiter minimiert wird. Diese Optimierung liefert den optimalen Schätzwert $\hat{x}(t) = -S^{-1}(t)s_1(t)$.
• Durch Differentiation dieser Beziehung und Substitution der Dynamik von $S(t)$ und $s_1(t)$ leitet das Paper direkt eine Differentialgleichung für $\hat{x}(t)$ ab. Diese Gleichung nimmt die Form eines kausalen Beobachters an: $\dot{\hat{x}} = A\hat{x} + L(y - C\hat{x})$, wobei der Gewinn $L$ aus der Lösung $S(t)$ abgeleitet wird.

Wesentliche Beiträge und Ergebnisse

• Ableitung des deterministischen Kalman-Filters: Das Paper bietet eine gestraffte Herleitung des deterministischen Kalman-Filters (Zustandsschätzer, indem die Schritte der Zeitumkehr, der Einbettung in homogene Koordinaten und der Endzustandsoptimierung explizit entkoppelt werden.
• Verbindung zu LQ-Tracking: Die Methodik zeigt eine strukturelle Äquivalenz zwischen dem deterministischen Schätzproblem und dem Linear-Quadratic (LQ)-Tracking-Problem (Servomechanismus). Beim LQ-Tracking liefern die Hilfsdynamiken den anti-kausalen Feedforward-Term; bei der Schätzung liefern sie die kausalen Beobachterdynamiken.
• Information-Filter-Formulierung: Der resultierende Schätzer wird in der „Information Filter“-Form präsentiert. Die Matrix $S(t)$ wird als Lösung einer vorwärtslaufenden DRE identifiziert, welche die Inverse der Fehlerkovarianzmatrix des stochastischen Kalman-Filters darstellt.
• Deterministische Interpretation von Information: Das Paper bietet eine deterministische Interpretation der „Informationsmatrix“. Anstatt sich auf eine probabilistische Kovarianz zu verlassen, wird $S(t)$ als „Gewissheitsmatrix“ interpretiert. Die Krümmung der „Cost-to-arrive“-Funktion (ein quadratisches Gefäß/Bowl) um den optimalen Schätzwert herum wird durch $S(t)$ bestimmt. Die Eigenvektoren von $S(t)$ mit großen Eigenwerten entsprechen Richtungen hoher Gewissheit (steile Krümmung), während kleine Eigenwerte hoher Unsicherheit entsprechen.

Bedeutung und Behauptungen
Das Paper beansprucht für sich, eine „Tutorial“-Perspektive zu bieten, die die Herleitung des Kalman-Filters entmystifiziert, indem sie diese im deterministischen optimalen Kontrolltheorie-Kontext verankert. Es argumentiert, dass die Präferenz für deterministische gegenüber stochastischen Formulierungen oft eine Frage des Geschmacks als der logischen Notwendigkeit ist, wobei auf Willems und Gauss verwiesen wird. Die primäre Bedeutung liegt in dem „zwei einfache Schritte“-Ansatz, der:

1. Die Behandlung von affin-quadratischen Problemen (wie Tracking und Schätzung) mit Standard-quadratischen Problemen (LQR) über homogene Koordinaten vereinheitlicht.
2. Die Rolle der Zeitumkehr und der „Cost-to-arrive“-Funktion bei der Ableitung optimaler Beobachter klärt.
3. Eine rigorose deterministische Rechtfertigung der Kalman-Filter-Gleichungen liefert, ohne auf stochastische Kalkül zurückzugreifen, sondern stattdessen auf Least-Squares-Prinzipien und der Äquivalenz von Input-Design-Problemen basiert.

Der Autor vermeidet explizit die Einführung neuer Anwendungen oder experimenteller Vorschläge und konzentriert sich stattdessen auf die theoretische Vereinigung bestehender Konzepte (LQR, homogene Koordinaten und Dualität), um die Struktur des optimalen Schätzers zu erklären.