On the Comparison of Reinforcement Learning and Adaptive Control for Linear Systems under Packet Loss and Uncertainty

Technische Zusammenfassung: Vergleich von Reinforcement Learning und adaptiver Regelung für lineare Systeme unter Paketverlust und Unsicherheit

Problemstellung
Diese Arbeit befasst sich mit der Regelung unsicherer linearer Systeme, die über Kommunikationskanäle mit Paketverlust und Eingangsquantisierung operieren. Die spezifische Herausforderung besteht darin, ein System zu stabilisieren, das während des Betriebs einen dynamischen Wechsel von einer nominalen instabilen Konfiguration zu einer instabileren Konfiguration durchläuft. Die Studie vergleicht zwei unterschiedliche Kontrollparadigmen in diesem Szenario: die Adaptive Quantized Control (AQC), einen modellbasierten Ansatz unter Verwendung von Bestätigungsnachrichten (Acknowledgment), und den Deep Deterministic Policy Gradient (DDPG), einen datengesteuerten Reinforcement Learning (RL)-Ansatz, der auf dem nominalen Modell ohne Bestätigungsnachrichten trainiert wurde. Der Kern der Problemstellung ist die Bewertung des Zielkonflikts zwischen der transienten Performance lernbasierter Methoden und der Robustheit adaptiver Regelung unter Modellunsicherheit und Kommunikationsbeschränkungen.

Methodik
Die Studie verwendet ein diskretes Zeitlinienmodell eines unsicheren linearen Systems, bei dem das Steuersignal über einen Kanal mit einer Paketverlustwahrscheinlichkeit $\bar{p}$ übertragen wird. Das Steuersignal unterliegt einer logarithmischen Quantisierung, die als zeitvariante, sektorbeschränkte Nichtlinearität modelliert wird.

1. Adaptive Quantized Control (AQC):

   • Framework: Basierend auf vorangegangener Arbeit [11, 12] nutzt die AQC eine zeitvariante Rückkopplungsgewinnmatrix $K(k)$ und einen Quantisierer $q(k, u(k))$.
   • Mechanismus: Der Regler stützt sich auf Bestätigungsnachrichten, um zu bestimmen, ob ein Paket erfolgreich empfangen wurde ($\eta(k)=1$) oder verloren ging ($\eta(k)=0$). Diese Information wird verwendet, um das Steuergesetz und die Parameter des Quantisierers zu aktualisieren.
   • Stabilität: Das Design basiert auf der Lyapunov-Stabilitätstheorie. Eine Riccati-Gleichung wird gelöst, um einen stabilisierenden Gewinn zu bestimmen, und das adaptive Gesetz stellt sicher, dass das System auch unter Paketverlust mit hoher Wahrscheinlichkeit stabil bleibt, sofern die Verlustgrenze eine spezifische, aus der Lyapunov-Funktion abgeleitierte Bedingung erfüllt.

2. Deep Deterministic Policy Gradient (DDPG):

   • Framework: Eine Actor-Critic-Architektur unter Verwendung von Feedforward-Neuronalen Netzen (FFNN). Der Actor bildet Zustände direkt auf kontinuierliche Steueraktionen ab, während der Critic die Aktionswertfunktion schätzt.
   • Training: Der DDPG-Agent wird ausschließlich auf dem nominalen Systemmodell (oh heavy Paketverlust oder dynamisches Schalten) unter Verwendung einer Belohnungsfunktion basierend auf dem Tracking-Fehler trainiert.
   • Implementierung: Während der Evaluierung wird die trainierte Policy auf das System mit demselben zeitvarianten Quantisierer wie bei der AQC angewendet, jedoch ohne Zugriff auf Bestätigungsnachrichten. Der Agent muss seine Policy generalisieren, um Paketverlust und den Wechsel zu einem instabileren System ($A_w$) zu handhaben.

Wesentliche Beiträge

• Vergleichende Analyse: Die Arbeit liefert einen direkten numerischen Vergleich zwischen einem streng entworfenen adaptiven Regler und einem modernen Deep-Reinforcement-Learning-Regler unter identischen Bedingungen von Eingangsquantisierung, Paketverlust und dynamischem Systemwechsel.
• Bewertung der Robustheit: Es wird untersucht, wie beide Methoden auf Änderungen der Systemdynamik reagieren, wenn das System von einem nominalen instabilen Zustand zu einem stärker instabilen Zustand wechselt – ein Szenario, das während der DDPG-Trainingsphase nicht vorhanden war.
• Integration der Quantisierung: Beide Steuerungsstrategien werden mit einem zeitvarianten logarithmischen Quantisierer implementiert, was einen fairen Vergleich ermöglicht, wie jede Methode mit endlichen Bandbreitenbeschränkungen umgeht.

Numerische Ergebnisse
Simulationen wurden an einem System zweiter Ordnung mit variierenden Anfangsbedingungen und Schaltzeiten ($t_d$) durchgeführt.

• Leistung in der Trainingsumgebung: In Abwesenheit von Paketverlust und innerhalb des nominalen Dynamikbereichs zeigte der DDPG-Regler im Vergleich zur AQC schnellere transiente Antworten und eine verbesserte Dämpfung.
• Robustheit unter Unsicherheit und Paketverlust:
  • AQC: Stabilisierte das System konsistent über alle getesteten Szenarien hinweg, einschließlich hoher Paketverlustraten ($\bar{p} > 0.5$) und dynamischen Schaltens. Die Verwendung von Bestätigungsnachrichten ermöglichte es dem Regler, verlorene Pakete zu kompensieren und die Stabilität gemäß der Lyapunov-Theorie aufrechtzuerhalten.
  • DDPG: Während der DDPG-Regler bei geringfügigen Abweichungen von der Trainingsumgebung effektiv war, konnte er das System bei erheblicher Modellunsicherheit (Wechsel zu hochinstabilen Dynamiken) oder hohen Paketverlustraten nicht stabilisieren. Oh sich auf Bestätigungsnachrichten nicht konnte der Regler den Verlust von Steuersignalen nicht kompensieren, was zur Instabilität führte.
• Stabilitätsbereich: Tabelle 1 der Arbeit zeigt, dass der DDPG-Regler nur für Parameterabweichungen stabil bleibt, die nahe am Trainingssatz liegen, während die AQC die Stabilität über einen signifikant breiteren Bereich von Systemparametern aufrechterhält.

Bedeutung und Behauptungen
Die Arbeit kommt zu dem Schluss, dass ein deutlicher Zielkonflikt zwischen datengesteuerter Performance und modellbasierter Robustheit besteht.

• Performance vs. Robustheit: DDPG bietet eine überlegene transiente Performance, wenn die Betriebsumgebung eng mit der Trainingsverteilung übereinstimmt. Die AQC bietet jedoch eine überlegene Robustheit und garantierte Stabilität in Gegenwart von Modellunsicherheit, Paketverlust und dynamischem Schalten, bedingt durch ihre strengen Lyapunov-Stabilitätsgarantien.
• Anwendbarkeit: Die Ergebnisse legen nahe, dass die Anwendbarkeit von Reinforcement Learning für unsichere vernetzte Systeme begrenzt ist, sofern keine expliziten Stabilitätsmechanismen oder ein Training vorhanden sind, das das volle Spektrum potenzieller Unsicherheiten abdeckt.
• Zukünftige Richtungen: Die Autoren merken an, dass sich zukünftige Arbeiten darauf konzentrieren werden, diese Frameworks auf vernetzte Multi-Agenten-Systeme auszuweiten, insbesondere im Hinblick auf Kommunikationsverzögerungen, verteilte Interaktionen und die Entwicklung von RL-Algorithmen mit strengen Stabilitätsgarantien für die kooperative Regelung.