Online Learning for Supervisory Switching Control

1. Problemstellung

Das Paper adressiert das Problem der überwachenden Schaltregelung (Supervisory Switching Control) für teilweise beobachtbare lineare dynamische Systeme.

• Ziel: Identifizierung und Einsatz des besten Reglers für ein unbekanntes System aus einer Sammlung von $N$ Kandidatenreglern.
• Herausforderung:
  • Das wahre System ist unbekannt, aber seine Parameter gehören zu einer bekannten Menge von Modellen.
  • Nicht alle Kandidatenregler stabilisieren das System; einige können zu Instabilität führen.
  • Das System ist teilweise beobachtbar (nur die Ausgabe $y_t$ ist messbar, der Zustand $x_t$ ist nicht direkt zugänglich).
• Limitationen bestehender Ansätze:
  • Klassische estimator-basierte Methoden: Garantieren asymptotische Stabilität, liefern aber keine quantitativen, nicht-asymptotischen Schranken für die Konvergenzzeit (wie lange dauert es, bis der richtige Regler gefunden ist?).
  • Systemidentifikation (Online Learning): Moderne nicht-asymptotische Methoden setzen oft geschlossene Stabilität oder vollständige Zustandsbeobachtung voraus. Dies ist im Schaltkontext nicht gegeben, da das Testen instabiler Regler zu Divergenz führen kann, bevor genug Daten gesammelt sind.
  • Vorherige Arbeiten des Autors: Ein früherer Ansatz ([29]) benötigte eine exponentielle Anzahl von Schritten ($O(\exp(N))$), um den richtigen Regler zu finden, was ineffizient ist.

2. Methodik

Die Autoren schlagen einen datengesteuerten, nicht-asymptotischen Ansatz vor, der Techniken aus dem Multi-Armed Bandit (MAB) Problem mit regelungstheoretischen Konzepten (Beobachtbarkeit) kombiniert.

Kernkonzept: Episodisches Lernen mit Bewertungskriterien

Der Algorithmus läuft in Episoden fester Länge $\tau$ ab. In jeder Episode wird ein Kandidatenregler angewendet. Basierend auf den beobachteten Ausgaben wird ein Score berechnet, der zwei Kriterien kombiniert:

1. Kriterium 1: Instabilitätsdetektion ($S^{(1)}$)

   • Ziel: Unterscheidung zwischen stabilen und instabilen Reglern.
   • Mechanismus: Nutzung der Beobachtbarkeit des Systems. Aus den ersten $\nu$ Ausgabedaten wird der Anfangszustand der Episode rekonstruiert ($\hat{x}_1$).
   • Logik:
     • Wenn der Regler stabil ist, bleibt der Residualfehler ($y_t - \hat{y}_t$) unter einem Schwellenwert.
     • Wenn der Regler instabil ist, wächst der Residualfehler exponentiell aufgrund des instabilen Modus, der durch das Prozessrauschen aktiviert wird.
   • Ergebnis: Ein instabiler Regler wird mit hoher Wahrscheinlichkeit als „0" (instabil) bewertet, ein stabiler als „1".

2. Kriterium 2: Systemidentifikation ($S^{(2)}$)

   • Ziel: Unterscheidung zwischen dem korrekten stabilen Regler und anderen falschen, aber stabilen Reglern.
   • Mechanismus: Nutzung der Markov-Parameter (Impulsantwort) des Systems.
   • Logik:
     • Es wird eine Least-Squares-Schätzung (OLS) der Differenz zwischen den Markov-Parametern des Kandidatenmodells und den beobachteten Daten durchgeführt.
     • Durch Ausnutzung spezifischer „kritischer Richtungen" (Unit-Vektoren), die die Unterschiede zwischen den Modellen maximieren, wird die Schätzung dimensionsunabhängig gemacht.
     • Wenn der Regler falsch ist, ist die geschätzte Differenz groß ($\ge \gamma$); wenn korrekt, ist sie klein.

Algorithmus (Algorithm 1)

• Exploration vs. Exploitation: Der Algorithmus verwendet eine Strategie ähnlich dem Upper Confidence Bound (UCB).
• Score-Berechnung: Der Score eines Reglers ist der Durchschnitt der Scores ($S^{(1)}$ und $S^{(2)}$) plus ein Explorationsbonus, der Regler mit wenigen Tests bevorzugt.
• Entscheidung: Nach einer festen Anzahl von Episoden $L$ wird der am häufigsten ausgewählte Regler als finaler Regler festgelegt.

3. Wichtige Beiträge

1. Nicht-asymptotische Analyse für teilweise beobachtbare Systeme:
   • Erstmals werden quantitative, endliche Zeit-Schranken für die Identifikation des besten Reglers in einem teilweise beobachtbaren Schaltkontext geliefert, ohne die Annahme vollständiger Zustandsbeobachtung oder geschlossener Stabilität während der Exploration.
2. Dimensionsunabhängige Komplexität:
   • Der Algorithmus identifiziert den optimalen Regler in $O(N \log N)$ Schritten (Episoden). Dies ist eine drastische Verbesserung gegenüber der vorherigen Arbeit der Autoren ($O(\exp(N))$) und übertrifft viele klassische Ansätze.
3. Entkopplung der Episoden:
   • Durch die Nutzung der Beobachtbarkeit zur Rekonstruktion des Anfangszustands jeder Episode werden die Abhängigkeiten zwischen den Episoden (die durch den Systemzustand entstehen) effektiv eliminiert. Dies ermöglicht die Anwendung von MAB-Analyse-Techniken, die normalerweise unabhängige Belohnungen voraussetzen.
4. Garantie für endliche $L_2$-Verstärkung:
   • Der Algorithmus garantiert nicht nur die Identifikation, sondern auch, dass das geschlossene System eine endliche $L_2$-Verstärkung bezüglich Störungen ($w_t, u_t$) aufweist, selbst während der Explorationsphase.

4. Ergebnisse und Theoreme

• Theorem 3 (Hauptresultat):

  • Unter den Annahmen (strikte Beobachtbarkeit, ausreichende Trennung der Markov-Parameter, spektraler Radius für Instabilität) findet der Algorithmus mit Wahrscheinlichkeit $1-\delta$ den korrekten Regler.
  • Komplexität: Benötigt $L = O(N \log(N/\delta))$ Episoden.
  • Stabilität: Die kumulierte Energie des Zustands $\sum \|x_t\|^2$ ist durch eine Konstante $C_0$ (abhängig von der Explorationsdauer) und die Störungsenergie beschränkt.
  • Vergleich: Die Konstante $C_0$ skaliert exponentiell mit $N \log N$, was unvermeidbar ist, wenn instabile Regler getestet werden müssen, aber der Faktor im Exponenten ist besser als bei reinen Black-Box-Ansätzen.

• Vergleich zu klassischen Methoden:

  • Klassische Methoden liefern oft nur asymptotische Garantien oder Schranken für eine abklingende $L_2$-Norm (mit Vergessensfaktor $\lambda$).
  • Dieser Ansatz liefert Garantien für die nicht-abklingende $L_2$-Norm ($\lambda = 0$), was für praktische Anwendungen kritischer ist.

5. Bedeutung und Ausblick

• Praktische Relevanz: Die Methode ist besonders relevant für Anwendungen wie Energiesysteme, autonome Fahrzeuge und Gesundheitswesen, wo ein einzelner Regler nicht alle Betriebsbedingungen abdecken kann und das Testen von Reglern sicher (ohne Systemkollaps) erfolgen muss.
• Brücke zwischen ML und Regelung: Das Paper verbindet erfolgreich die Theorie des Online-Learnings (Bandits) mit der klassischen Regelungstheorie (Beobachtbarkeit, Stabilität), um Probleme zu lösen, die mit reinen Lernansätzen oder reinen regelungstheoretischen Ansätzen nicht lösbar waren.
• Zukünftige Richtungen: Die Autoren schlagen vor, die Bewertungskriterien zu erweitern, um innerhalb einer einzigen Episode mehrere Kandidatenmodelle gleichzeitig zu bewerten (Cross-Evaluation), was die Sicherheit und Leistung weiter verbessern könnte.

Fazit:
Dieses Werk stellt einen bedeutenden Fortschritt in der adaptiven Regelung dar, indem es eine effiziente, datengesteuerte Methode zur sicheren Identifikation des besten Reglers für unsichere, teilweise beobachtbare Systeme bietet, mit starken theoretischen Garantien für Konvergenzgeschwindigkeit und Stabilität.