On the Comparison of Reinforcement Learning and Adaptive Control for Linear Systems under Packet Loss and Uncertainty

Technische Samenvatting: Vergelijking van Reinforcement Learning en Adaptieve Controle voor Lineaire Systemen onder Paketverlies en Onzekerheid

Probleemstelling
Dit artikel behandelt de controle van onzekere lineaire systemen die opereren over communicatiekanalen onderhevig aan pakketverlies en inputkwantisatie. De specifieke uitdaging betreft het stabiliseren van een systeem dat een dynamische overgang ondergaat van een nominale onstabiele configuratie naar een meer onstabiele configuratie tijdens de operatie. De studie vergelijkt twee verschillende controleparadigma's in deze setting: Adaptive Quantized Control (AQC), een modelgebaseerde aanpak gebruikmakend van bevestigingsberichten (acknowledgment messages), en Deep Deterministic Policy Gradient (DDPG), een data-gedreven reinforcement learning (RL) aanpak getraind op het nominale model zonder bevestigingsberichten. Het kernprobleem is het evalueren van de afweging tussen de transiënte prestaties van lerende methoden en de robuustheid van adaptieve controle onder modelonzekerheid en communicatiebeperkingen.

Methodologie
De studie maakt gebruik van een discreet-tijd onzeker lineair systeemmodel waarbij het controlesignaal wordt verzonden via een kanaal met een pakketverlieskans $\bar{p}$. De controle-input is onderhevig aan logaritmische kwantisatie, gemodelleerd als een tijdvariante sectorbegrensde niet-lineariteit.

1. Adaptive Quantized Control (AQC):

   • Framework: Gebaseerd op eerder werk [11, 12], maakt de AQC gebruik van een tijdvariante feedbackgain $K(k)$ en een kwantiseerder $q(k, u(k))$.
   • Mechanisme: De controller vertrouwt op bevestigingsberichten om te bepalen of een pakket succesvol is ontvangen ($\eta(k)=1$) of verloren is gegaan ($\eta(k)=0$). Deze informatie wordt gebruikt om de control law en de parameters van de kwantiseerder bij te werken.
   • Stabiliteit: Het ontwerp is gebaseerd op de Lyapunov-stabiliteitstheorie. Een Riccati-vergelijking wordt opgelost om een stabiliserende gain te bepalen, en de adaptieve wet zorgt ervoor dat het systeem waarschijnlijk stabiel blijft, zelfs onder pakketverlies, mits de verliesgrens voldoet aan een specifieke voorwaarde afgeleid van de Lyapunov-functie.

2. Deep Deterministic Policy Gradient (DDPG):

   • Framework: Een actor-critic architectuur gebruikmakend van feed-forward neurale netwerken (FFNN). De actor brengt staten direct in kaart naar continue controleacties, terwijl de critic de actie-waarde functie schat.
   • Training: De DDPG-agent wordt uitsluitend getraind op het nominale systeemmodel (zonder pakketverlies of dynamisch schakelen) met een beloningsfunctie gebaseerd op de fout in het volgen (tracking error).
   • Implementatie: Tijdens de evaluatie wordt het getrainde beleid toegepast op het systeem met dezelfde tijdvariante kwantiseerder als gebruikt bij de AQC, maar zonder toegang tot bevestigingsberichten. De agent moet zijn beleid generaliseren om pakketverlies en de overgang naar een meer onstabiel systeem ($A_w$) te hanteren.

Belangrijkste Bijdragen

• Vergelijkende Analyse: Het artikel biedt een directe numerieke vergelijking tussen een rigoureus ontworpen adaptieve controller en een moderne deep reinforcement learning controller onder identieke omstandigheden van inputkwantisatie, pakketverlies en dynamisch systeemwisselen.
• Evaluatie van Robuustheid: Het onderzoekt de prestaties van beide methoden wanneer de systeemdynamica verandert van een nominale onstabiele staat naar een meer onstabiele staat, een scenario dat niet aanwezig was tijdens de DDPG-trainingsfase.
• Integratie van Kwantisatie: Beide controle-strategieën worden geïmplementeerd met een tijdvariante logaritmische kwantiseerder, wat een eerlijke vergelijking mogelijk maakt van hoe elk de beperkingen van de bandbreedte afhandelt.

Numerieke Resultaten
Simulaties werden uitgevoerd op een tweede-orde onzeker systeem met variërende begincondities en schakeltijden ($t_d$).

• Prestaties in de Trainingsomgeving: In de afwezigheid van pakketverlies en binnen het nominale dynamische bereik, vertoonde de DDPG-controller snellere transiënte responsen en verbeterde demping vergeleken met de AQC.
• Robuustheid onder Onzekerheid en Pakketverlies:
  • AQC: Stabiliseerde het systeem consistent in alle geteste scenario's, inclus\ de hoge pakketverliespercentages ($\bar{p} > 0.5$) en dynamisch schakelen. Het gebruik van bevestigingsberichten stelde de controller in staat om verloren pakketten te compenseren, waardoor stabiliteit behouden bleef zoals gegarandeerd door de Lyapunov-theorie.
  • DDPG: Hoewel effectief voor kleine afwijkingen van de trainingsomgeving, faalde de DDPG-controller in het stabiliseren van het systeem wanneer het werd blootgesteld aan significante modelonzekerheid (schakelen naar zeer onstabiele dynamica) of hoge pakketverliespercentages. Zonder bevestigingsberichten kon de controller niet adapteren aan het verlies van controlesignalen, wat leidde tot instabiliteit.
• Stabiliteitsbereik: Tabel 1 in het artikel geeft aan dat hoewel de DDPG-controller alleen stabiel blijft voor parameterveranderingen die dicht bij de trainingsset liggen, de AQC stabiliteit behoudt over een aanzienlijk breder bereik van systeemparameters.

Betekenis en Claims
Het artikel concludeert dat er een duidelijk onderscheid is tussen de prestaties van data-gedreven methoden en de robuustheid van modelgebaseerde methoden.

• Prestaties versus Robuustheid: DDPG biedt superieure transiënte prestaties wanneer de operationele omgeving nauw overeenkomt met de trainingsdistributie. Echter, AQC biedt superieure robuustheid en gegarandeerde stabiliteit in de aanwezigheid van modelonzekerheid, pakketverlies en dynamisch schakelen, dankzij de rigoureuze Lyapunov-stabiliteitsgaranties.
• Toepasbaarheid: De resultaten suggereren dat hoewel reinforcement learning veelbelovend is voor hoog-dimensionale ruimtes, de toepasbaarheid ervan op netwerkgebaseerde onzekere systemen beperkt is zonder expliciete stabiliteitsmechanismen of training die het volledige bereik van potentiële onzekerheden omvat.
• Toekomstige Richtingen: De auteurs merken op dat toekomstig werk zich zal richten op het uitbreiden van deze kaders naar netwerkgebaseerde multi-agent systemen, specif specifiek gericht op communicatievertragingen, gedistribueerde interacties en de ontwikkeling van RL-algoritmen met rigoureuze stabiliteitsgaranties voor coöperatieve controle.