On the Comparison of Reinforcement Learning and Adaptive Control for Linear Systems under Packet Loss and Uncertainty

Sintesi Tecnica: Confronto tra Reinforcement Learning e Controllo Adattivo per Sistemi Lineari sotto Perdita di Pacchetti e Incertezza

Definizione del Problema
Questo articolo affronta il controllo di sistemi lineari incerti che operano su canali di comunicazione soggetti a perdita di pacchetti e quantizzazione dell'input. La sfida specifica consiste nel stabilizzare un sistema che subisce uno switching dinamico da una configurazione instabile nominale a una più instabile durante il funzionamento. Lo studio confronta due distinti paradigmi di controllo in questo contesto: l'Adaptive Quantized Control (AQC), un approccio basato sul modello che utilizza messaggi di acknowledgment, e il Deep Deterministic Policy Gradient (DDPG), un approccio di reinforcement learning (RL) basato sui dati, addestrato sul modello nominale senza acknowledgment. Il problema centrale è valutare il compromesso tra la prestazione transitoria dei metodi basati sull'apprendimento e la robustezza del controllo adattivo sotto incertezza del modello e vincoli di comunicazione.

Metodologia
Lo studio impiega un modello di sistema lineare discreto nel tempo in cui il segnale di controllo viene trasmesso attraverso un canale con una probabilità di perdita di pacchetti $\bar{p}$. L'input di controllo è soggetto a una quantizzazione logaritmica, modellata come una non linearità limitata a un settore variabile nel tempo.

1. Adaptive Quantized Control (AQC):

   • Framework: Basato sul lavoro precedente [11, 12], l'AQC utilizza un guadagno di feedback variabile nel tempo $K(k)$ e un quantizzatore $q(k, u(k))$.
   • Meccanismo: Il controllore si affida a messaggi di acknowledgment per determinare se un pacchetto è stato ricevuto con successo ($\eta(k)=1$) o perso ($\eta(k)=0$). Questa informazione viene utilizzata per aggiornare la legge di controllo e i parametri del quantizzatore.
   • Stabilità: Il design si fonda sulla teoria della stabilità di Lyapunov. Viene risolta un'equazione di Riccati per determinare un guadagno stabilizzante, e la legge adattiva assicura che il sistema rimanga stabile in probabilità anche in presenza di perdita di pacchetti, a condizione che il limite di perdita soddisfi una specifica condizione derivata dalla funzione di Lyapunov.

2. Deep Deterministic Policy Gradient (DDPG):

   • Framework: Un'architettura actor-critic che utilizza reti neurali feed-forward (FFNN). L'actor mappa direttamente gli stati in azioni di controllo continue, mentre il critic stima la funzione valore dell'azione.
   • Addestramento: L'agente DDPG è addestrato esclusivamente sul modello del sistema nominale (senza perdita di pacchetti o switching dinamico) utilizzando una funzione di ricompensa basata sull'errore di inseguimento.
   • Implementazione: Durante la valutazione, la politica addestrata viene applicata al sistema con lo stesso quantizzatore variabile nel tempo utilizzato per l'AQC, ma senza accesso ai messaggi di acknowledgment. L'agente deve generalizzare la propria politica per gestire la perdita di pacchetti e lo switch verso un sistema più instabile ($A_w$).

Contributi Chiave

• Analisi Comparativa: L'articolo fornisce un confronto numerico diretto tra un controllore adattivo rigorosamente progettato e un moderno controllore di reinforcement learning profondo sotto identiche condizioni di quantizzazione dell'input, perdita di pacchetti e switching dinamico del sistema.
• Valutazione della Robustezza: Investiga la prestazione di entrambi i metodi quando la dinamica del sistema cambia da uno stato instabile nominale a uno stato più instabile, uno scenario non presente durante la fase di addestramento del DDPG.
• Integrazione della Quantizzazione: Entrambe le strategie di controllo sono implementate con un quantizzatore logaritmico variabile nel tempo, permettendo un confronto equo su come ciascun metodo gestisce i vincoli di larghezza di banda finita.

Risultati Numerici
Le simulazioni sono state condotte su un sistema incerto del secondo ordine con diverse condizioni iniziali e tempi di switching ($t_d$).

• Prestazioni nell'Ambiente di Addestramento: In assenza di perdita di pacchetti e all'interno del range dinamico nominale, il controllore DDPG ha dimostrato risposte transitorie più rapide e uno smorzamento migliore rispetto all'AQC.
• Robustezza sotto Incertezza e Perdita di Pacchetti:
  • AQC: Ha stabilizzato costantemente il sistema in tutti gli scenari testati, inclusi alti tassi di perdita di pacchetti ($\bar{p} > 0.5$) e lo switching dinamico. L'uso dei messaggi di acknowledgment ha permesso al controllore di compensare i pacchetti persi, mantenendo la stabilità come garantito dalla teoria di Lyapunov.
  • DDPG: Sebbene efficace per piccole deviazioni dall'ambiente di addestramento, il controllore DDPG non è riuscito a stabilizzare il sistema quando sottoposto a significativa incertezza del modello (switch verso dinamiche altamente instabili) o alti tassi di perdita di pacchetti. Senza messaggi di acknowledgment, il controllore non è stato in grado di adattarsi alla perdita dei segnali di controllo, portando all'instabilità.
• Range di Stabilità: La Tabella 1 nel paper indica che, mentre il controllore DDPG rimane stabile solo per variazioni dei parametri vicine al set di addestramento, l'AQC mantiene la stabilità su un intervallo significativamente più ampio di parametri di sistema.

Significato e Affermazioni
L'articolo conclude che esiste un netto compromesso tra prestazione basata sui dati e robustezza basata sul modello.

• Prestazione vs. Robustezza: Il DDPG offre una prestazione transitoria superiore quando l'ambiente operativo corrisponde strettamente alla distribuzione di addestramento. Tuttavia, l'AQC fornisce una robustezza superiore e una stabilità garantita in presenza di incertezza del modello, perdita di pacchetti e switching dinamico, grazie alle sue rigorose garanzie di stabilità di Lyapunov.
• Applicabilità: I risultati suggeriscono che, sebbene il reinforcement learning sia promettente per spazi ad alta dimensionalità, la sua applicabilità ai sistemi incerti in rete è limitata senza meccanismi di stabilità espliciti o un addestramento che comprenda l'intero intervallo di potenziali incertezze.
• Direzioni Future: Gli autori osservano che il lavoro futuro si concentrerà sull'estensione di questi framework ai sistemi multi-agente in rete, affrontando specificamente i ritardi di comunicazione, le interazioni distribuite e lo sviluppo di algoritmi di RL con rigorose garanzie di stabilità per il controllo cooperativo.