Computationally efficient Gauss-Newton reinforcement learning for model predictive control

1. Problemstellung

Das Paper adressiert die Herausforderungen bei der Anwendung von Reinforcement Learning (RL) auf Modellprädiktive Regelung (MPC). Während MPC als parametrisierte Policy im RL im Vergleich zu Black-Box-Ansätzen (wie neuronalen Netzen) Vorteile bietet (Interpretierbarkeit, Handhabung von Constraints, geringerer Datenbedarf für den Start), leiden bestehende RL-Methoden für MPC unter zwei Hauptproblemen:

• Ineffiziente Optimierung: Die meisten RL-Methoden nutzen First-Order-Updates (Gradientenabstieg), die nur lineare Konvergenzraten bieten. Da jeder Policy-Update bei MPC die Lösung eines optimalen Steuerungsproblems erfordert (was rechenintensiv ist), ist eine langsame Konvergenz besonders kostspielig.
• Hoher Rechenaufwand für Second-Order-Methoden: Zwar ermöglichen die wenigen Parameter von MPC-Strategien prinzipiell Second-Order-Methoden (Newton-Verfahren) mit superlinearer Konvergenz, aber die exakte Berechnung der Policy-Hessischen Matrix erfordert zweite Ableitungen der Policy (bzw. dritte Ableitungen der Lagrange-Funktion des MPC). Dies ist rechnerisch oft nicht handhabbar (intractable) und speicherintensiv, insbesondere bei hochdimensionalen oder stark nichtlinearen Systemen.
• Instabilität durch Rauschen: In der Praxis sind Gradienten und Hessische Matrizen nur geschätzt (durch Stichproben), was zu verrauschten Schätzungen und instabilem Training führen kann.

2. Methodik

Die Autoren schlagen einen neuen Rahmen für Gauss-Newton-basierte Policy-Optimierung vor, der Second-Order-Vorteile mit geringem Rechenaufwand kombiniert.

A. Gauss-Newton-Approximation der Hessischen Matrix

Statt die vollständige Hessische Matrix der Policy zu berechnen, wird eine Approximation vorgeschlagen, die auf der Struktur des deterministischen Policy-Gradienten aufbaut.

• Theoretische Grundlage: Basierend auf dem Lemma, dass der Gradient der Action-Value-Funktion $Q$ am optimalen Policy-Wert null ist ($\nabla_a Q = 0$), zeigt das Paper, dass der erste Term der herkömmlichen Hessischen-Näherung (der zweite Ableitungen der Policy $\nabla^2_\theta \pi$ benötigt) gegen null konvergiert, wenn sich die Parameter dem Optimum nähern.
• Approximation: Es wird nur der zweite Term $M_2(\theta)$ verwendet, der nur erste Ableitungen der Policy und die Hessische Matrix der Action-Value-Funktion bezüglich der Aktionen ($\nabla^2_a Q$) benötigt.
• Vorteil: Dies eliminiert die Notwendigkeit, zweite Ableitungen der Policy (und damit dritte Ableitungen des MPC-Lagrangians) zu berechnen. Die Autoren beweisen mathematisch, dass diese Approximation dennoch superlineare Konvergenz garantiert.

B. Momentum-basierte Hessische Mittelung

Um die Stabilität bei verrauschten Schätzungen zu erhöhen, wird ein Momentum-Ansatz auf die Schätzung der Hessischen Matrix angewendet.

• Eine exponentiell gewichtete gleitende Durchschnittsbildung (Exponential Moving Average) wird für die Hessische Matrix eingeführt.
• Um Verzerrungen durch die Initialisierung zu vermeiden, wird eine Korrekturfunktion abgeleitet, die der Bias-Korrektur in Adam ähnelt, aber an die Matrix-Struktur angepasst ist.
• Dies glättet die Eigenwerte der Hessischen Matrix und verhindert instabile Updates durch einzelne schlechte Schätzungen.

C. Adaptive Trust-Region

Da stochastische Schätzungen in RL direkte Vergleiche zwischen vorhergesagter und tatsächlicher Verbesserungen (wie in klassischen Trust-Region-Methoden) oft unzuverlässig machen, wird eine adaptive Trust-Region eingeführt.

• Der Trust-Region-Radius $\delta_k$ wird dynamisch basierend auf der Norm des Adam-Updates skaliert.
• Das Optimierungsproblem wird unter der Nebenbedingung $\|\mathbf{p}\|_2 \le \delta_k$ gelöst, um große, potenziell instabile Schritte zu begrenzen, wenn die Gradienten groß sind, aber kleine Schritte nahe dem Optimum zu erlauben.

3. Hauptbeiträge

1. Rechen-effiziente Gauss-Newton-Approximation: Ein neuer Algorithmus, der die Hessische Matrix so approximiert, dass keine zweiten Policy-Ableitungen benötigt werden, aber superlineare Konvergenz erhalten bleibt. Dies reduziert den Speicher- und Rechenbedarf drastisch.
2. Robuste Hessische Schätzung: Ein momentum-basierter Update-Regel für die Hessische Matrix, der ein unverzerrtes, exponentiell gemitteltes Schätzergebnis liefert und so das Training gegen Rauschen robust macht.
3. Adaptive Trust-Region: Eine Methode zur Berechnung robuster Parameter-Updates ohne direkten Vergleich von Zielfunktionswerten, was bei stochastischen RL-Problemen essenziell ist.
4. Theoretische Beweise: Strenge mathematische Beweise für die superlineare Konvergenz der vorgeschlagenen Approximation.

4. Ergebnisse

Die Methode wurde an zwei Fallstudien getestet: einem analytischen linearen System und einem nichtlinearen kontinuierlich gerührten Tankreaktor (CSTR).

• Konvergenzgeschwindigkeit: Auf dem analytischen Beispiel zeigte die Gauss-Newton-Methode superlineare Konvergenz, während First-Order-Methoden (Gradientenabstieg) nur lineare Konvergenz zeigten.
• Skalierbarkeit (CSTR):
  • Bei steigender Anzahl der trainierbaren Parameter (von 2 auf 33) blieb die Iterationszeit der Gauss-Newton-Methode moderat und ähnlich wie bei Adam.
  • Im Gegensatz dazu stieg die Iterationszeit der herkömmlichen Second-Order-Methode (mit voller Hessischer Näherung) drastisch an, da diese zweite NLP-Sensitivitäten berechnen muss (quadratische Skalierung).
  • Die Gauss-Newton-Methode erreichte mit weniger Iterationen (weniger Daten/Interaktionen) eine hohe Performance als First-Order-Methoden.
• Robustheit gegenüber Skalierung: Die Methode war robust gegenüber schlechter Skalierung der Policy-Parameter (hohe Sensitivitätsunterschiede), während First-Order-Methoden (Adam) bei schlechter Skalierung oft in suboptimalen lokalen Minima stecken blieben oder instabil wurden.
• Vergleich mit Deep RL: Im Vergleich zu einem mit TD3 trainierten neuronalen Netz (NN) zeigte der MPC-basierte Ansatz:
  • Deutlich bessere Initialisierung (Startperformance).
  • Höhere Daten-Effizienz (schnelleres Lernen).
  • Bessere Endleistung und bessere Handhabung von Constraints (obwohl auch hier Soft-Constraints genutzt wurden).

5. Bedeutung und Fazit

Das Paper liefert einen bedeutenden Fortschritt für die Integration von RL in die Prozessregelung.

• Praktische Relevanz: Es ermöglicht den Einsatz von Second-Order-Optimierung für MPC-Policies, ohne die rechenintensive Berechnung dritter Ableitungen durchführen zu müssen. Dies macht RL für MPC in industriellen Anwendungen mit begrenzten Daten und Rechenressourcen praktikabler.
• Effizienz: Durch die superlineare Konvergenz wird die Anzahl der notwendigen Interaktionen mit der realen Anlage (die oft teuer oder riskant ist) minimiert.
• Stabilität: Die Kombination aus Momentum und Trust-Region sorgt für stabiles Training auch unter realistischen Bedingungen mit verrauschten Schätzungen.

Zusammenfassend bietet der vorgeschlagene Ansatz einen optimalen Kompromiss zwischen der Rechenkomplexität von First-Order-Methoden und der Konvergenzgeschwindigkeit von Second-Order-Methoden, speziell für parametrisierte MPC-Policies.