Conditions for Complete Decentralization of the Linear Quadratic Regulator

Titel: Bedingungen für die vollständige Dezentralisierung des Linearen Quadratischen Reglers (LQR)

Autoren: Addie McCurdy, Isabel Collins, Emily Jensen (University of Colorado Boulder)

---

1. Problemstellung

In modernen Regelungssystemen, die durch fortschrittliche Sensorik und Aktorik große Datenmengen verarbeiten, wird die Echtzeit-Optimierung komplexer Systeme oft rechnerisch untragbar. Der klassische optimale Regler (LQR) erfordert typischerweise den Zugriff auf vollständige Systemzustandsinformationen, was in verteilten Architekturen zu Kommunikationsengpässen führt, da alle Teilregler Informationen austauschen müssen.

Zwar gibt es Ansätze, Sparsitätsbeschränkungen in das Optimierungsproblem zu integrieren, um dezentrale Lösungen zu erzwingen, doch diese Probleme sind im Allgemeinen nicht konvex und nur für spezielle Systemklassen (z. B. mit quadratischer Invarianz) lösbar.
Das zentrale Ziel dieses Papers ist es, die Frage zu beantworten: Unter welchen Bedingungen an die Systemparameter und die Dynamik ist der unbeschränkte optimale Regler (ohne künstliche Sparsitätsbeschränkungen) von Natur aus vollständig dezentral? Das bedeutet, dass die Stellgröße eines jeden Subsystems ausschließlich auf Basis der lokalen Zustandsinformationen berechnet werden kann, ohne Kommunikation mit anderen Teilreglern.

2. Methodik

Die Autoren verfolgen einen analytischen Ansatz, bei dem sie die Bedingungen für die vollständige Dezentralisierung schrittweise von einfachen zu komplexeren Systemen herleiten:

1. Analyse von 2x2-Systemen: Zunächst wird ein diskretes 2x2-System mit diagonalen Matrizen für Eingangs- ($B$), Kosten- ($Q, R$) und Kopplungsmatrizen ($A$) betrachtet. Hier wird die Algebraische Riccati-Gleichung (ARE) explizit gelöst, um Bedingungen für die Diagonalität der Reglermatrix $K$ abzuleiten.
2. Räumlich invariante Systeme: Für Systeme beliebiger Größe mit zirkulanten Matrizen (die räumliche Invarianz repräsentieren) wird die Diskrete Fourier-Transformation (DFT) genutzt. Da die DFT zirkulante Matrizen diagonalisiert, wird das LQR-Problem in den Frequenzbereich transformiert, wo es in unabhängige skalare Probleme zerfällt.
3. Physikalische Interpretation: Die mathematisch abgeleiteten Bedingungen werden durch physikalische Beispiele (Räuber-Beute-Dynamik, Wärmetransfer, Diffusion) interpretiert, um zu verstehen, warum Dezentralisierung möglich ist.
4. Erweiterung auf komplexe Systeme: Die Ergebnisse werden auf Systeme zweiter Ordnung (z. B. Wellengleichungen) und block-zirkulante Systeme übertragen, indem die ARE iterativ in kleinere Teilprobleme zerlegt wird.

3. Wichtige Beiträge und Ergebnisse

A. Das 2x2-System mit diagonaler Kostenfunktion

Für ein System $\dot{x} = Ax + Bu$ mit diagonalem $B, Q, R$ und einer gekoppelten Dynamikmatrix $A$ wurde folgende hinreichende Bedingung für vollständige Dezentralisierung gefunden:

• Die off-diagonalen Elemente von $A$ ($a_1, a_{-1}$) müssen entgegengesetzte Vorzeichen haben.
• Die diagonalen Elemente von $A$ ($a_0, a_2$) müssen das gleiche Vorzeichen haben.
• Die Kostenparameter $Q$ und $R$ müssen spezifische Verhältnisse zu den Dynamikparametern erfüllen.

Physikalische Interpretation: Diese Bedingungen beschreiben ein „konkurrierendes" System (z. B. Räuber-Beute). Ein „überkorrigierender" Regler für eine Population führt zu einer Reaktion der anderen Population, die den Fehler des ersten Reglers dämpft. Daher ist es optimal, nur lokale Informationen zu nutzen; zusätzliche Informationen würden die Leistung nicht verbessern.

B. Räumlich invariante Systeme

Für Systeme beliebiger Größe mit zirkulanten Matrizen gilt: Der LQR ist genau dann vollständig dezentral, wenn eine Konstante $c$ existiert, sodass für alle Frequenzen $\kappa$ gilt:
$$0 = c^2 - 2c\frac{\hat{a}(\kappa)}{\hat{b}(\kappa)} - \frac{\hat{q}(\kappa)}{\hat{r}(\kappa)}$$
Dabei bezeichnen die Hütchen die Eigenwerte der zirkulanten Matrizen.

Wichtige Erkenntnis: Im Gegensatz zum 2x2-Fall kann bei „kooperativen" Systemen (z. B. Diffusionsprozesse, wo off-diagonale Elemente das gleiche Vorzeichen haben) eine vollständige Dezentralisierung nur erreicht werden, wenn die Kostenfunktion gekoppelt ist (d.h. $Q$ ist nicht diagonal). Dies steht im Kontrast zum konkurrierenden Fall, wo eine entkoppelte Kostenfunktion ausreicht.

C. 2x2-Raum-invariante Systeme (Physikalische Intuition)

Für den Fall $N=2$ mit zirkulanten Matrizen wird die Bedingung als Gleichgewicht der „relativen Einflussunterschiede" interpretiert: Das Verhältnis des Eigen-Einflusses zum gegenseitigen Einfluss muss in der Systemdynamik ($A$) und der Eingangsverteilung ($B$) sowie in den Gewichten ($Q, R$) übereinstimmen.

• Beispiel Wärmetransfer: Ein dezentraler Regler ist optimal, wenn das Verhältnis des Wärmeverlusts an die Umgebung zum gesamten Wärmeverlust genau dem Verhältnis des Heizinputs zum eigenen Raum zum gesamten Heizinput entspricht.

D. Erweiterung auf Systeme zweiter Ordnung

Die Autoren zeigen, wie komplexe Systeme zweiter Ordnung (z. B. $\ddot{x} = A_1 x + A_2 \dot{x} + B_0 u$) durch iterative Lösung von „kleineren" AREs (Algebraischen Riccati-Gleichungen) behandelt werden können. Wenn die Teilprobleme die Dezentralisierungsbedingungen erfüllen, ist auch der Gesamtreger dezentral.

4. Signifikanz und Implikationen

• Kein Trade-off zwischen Leistung und Dezentralisierung: Die Analyse der geschlossenen Regelkreise (H2-Norm) zeigt, dass Parameterkombinationen, die eine vollständige Dezentralisierung ermöglichen, nicht zwangsläufig zu schlechterer Systemleistung führen. Es gibt keine inhärente Kompromisslinie zwischen räumlicher Lokalität und optimaler Performance.
• Co-Design von Regler und Anlage: Die Ergebnisse ermöglichen es, Systemparameter (Dynamik und Kosten) so zu wählen, dass der optimale Regler von Natur aus dezentral ist. Dies eliminiert die Notwendigkeit für komplexe Kommunikationsnetzwerke und reduziert die Rechenkomplexität.
• Erweiterung des Verständnisses: Das Paper liefert eine physikalische Erklärung dafür, warum Dezentralisierung in bestimmten Fällen optimal ist (z. B. durch konkurrierende Dynamiken oder spezifische Kopplungen in der Kostenfunktion), was bisher nur als mathematisches Phänomen bekannt war.
• Allgemeingültigkeit: Die Bedingungen gelten nicht nur für räumlich invariante Systeme, sondern auch für räumlich variierende Fälle und Systeme mit gekoppelten oder entkoppelten Kostenfunktionen.

Fazit

Dieses Paper leistet einen wesentlichen Beitrag zum Verständnis der strukturellen Eigenschaften von LQR-Reglern. Es identifiziert spezifische dynamische und kostenbasierte Bedingungen, unter denen der optimale Regler vollständig dezentral ist, ohne dass Sparsitätsbeschränkungen auferlegt werden müssen. Dies eröffnet neue Wege für das Co-Design verteilter Systeme, bei denen Kommunikation minimiert und gleichzeitig optimale Leistung sichergestellt wird.