Sintesi Tecnica: Apprendimento per Rinforzo Adattivo per Ritardi Casuali Inosservabili

Definizione del Problema

Gli algoritmi standard di Reinforcement Learning (RL), come Proximal Policy Optimization (PPO) e Soft Actor-Critic (SAC), assumono tipicamente un Processo Decisionale di Markov (MDP) in cui l'agente osserva lo stato del sistema istantaneamente ed esegue le azioni senza ritardi. Nei sistemi cyber-fisici del mondo reale, questa assunzione fallisce frequentemente a causa dei ritardi di interazione derivanti dalla trasmissione delle osservazioni, dal calcolo e dall'attuazione.

Gli approcci esistenti per gestire i ritardi rientrano generalmente in due categorie:

1. Processi Decisionali di Markov Parzialmente Osservabili (POMDP): Modellare i ritardi come osservazioni obsolete, il che limita l'accesso dell'agente alle informazioni sull'evoluzione dell'ambiente durante il ritardo.
2. Assunzioni di Ritardo Fisso: Imporre un ritardo costante (spesso il limite superiore del caso peggiore) tramite buffer di azioni. Sebbene ciò semplifichi il processo decisionale fornendo informazioni perfette sul tempismo delle azioni, è eccessivamente conservativo. Forza l'agente a operare sotto la latenza del caso peggiore anche quando i ritardi effettivi sono minimi, portando a prestazioni subottimali.

Esiste una lacuna critica nella gestione dei ritardi casuali, variabili e inosservabili. In molti scenari del mondo reale (ad esempio, controllo di rete), l'agente non sa al momento della decisione quanto tempo impiegherà un'azione per essere eseguita, né può prevedere se i pacchetti verranno persi o arriveranno fuori ordine. Metodi come DCAC permettono ritardi inosservabili ma mancano del controllo su quando le azioni vengono applicate, mentre altri algoritmi allo stato dell'arte (ad esempio, BPQL, VDPO) si basano su paradigmi a ritardo fisso.

Metodologia

1. Il Framework dello Strato di Interazione (Interaction Layer)

Gli autori introducono un nuovo framework chiamato Interaction Layer, che si posiziona tra l'agente e il sistema controllato. Questo strato gestisce l'incertezza dei ritardi inosservabili attraverso due componenti principali: un Osservatore e un Buffer di Azioni.

• Pacchetti di Osservazione: L'osservatore campiona lo stato del sistema e invia un pacchetto di osservazione all'agente. Questo pacchetto include lo stato, il contenuto corrente del buffer di azioni, il ritardo del pacchetto che ha aggiornato il buffer e un contatore di scorrimento (shift counter).
• Pacchetti di Azione (Generazione di Matrici): Inveverso di inviare una singola azione, l'agente genera un pacchetto di azione contenente una matrice di azioni candidate.
  • La matrice ha $L$ righe (lunghezza di predizione) e $h$ colonne (orizzonte del buffer di azioni).
  • La $i$-esima riga corrisponde alla sequenza di azioni da eseguire se il pacchetto arriva al tempo $t+i$.
  • Le colonne gestiscono gli scenari in cui non arriva un nuovo pacchetto; se un pacchetto manca a uno step specifico, il sistema passa alla colonna successiva nel buffer.
• Logica di Esecuzione: Quando un pacchetto di azione arriva allo strato di interazione, il sistema calcola il ritardo di andata e ritorno ($\delta$) utilizzando orologi locali. Successivamente, seleziona la riga specifica della matrice corrispondente a quel ritardo. Se il ritardo supera le righe della matrice ($L$) o se i pacchetti arrivano fuori ordine, il pacchetto viene scartato.

2. Actor-Critic con Adattamento del Ritardo (ACDA)

Costruendo sullo strato di interazione, gli autori propongono ACDA, un algoritmo di RL basato su modello progettato per adattarsi dinamicamente ai ritardi variabili.

• Euristica per le Azioni Precedenti Presunte: Poiché l'agente non può sapere esattamente quali azioni siano state applicate al sistema tra la generazione di un pacchetto e il suo arrivo, ACDA utilizza un'euristica. Assume che se l'attuale pacchetto ha un ritardo di $k$, anche i pacchetti precedenti avessero un ritardo di $k$. Ciò consente all'agente di ricostruire la sequenza di azioni applicate al sistema, permettendogli di prevedere la distribuzione dello stato attuale.
• Agente di Distribuzione Basato su Modello: Le reti neurali standard (MLP) richiedono input di dimensione fissa, ma la sequenza di azioni "memorizzate" in ACDA varia in lunghezza. Per risolvere questo problema, ACDA utilizza un modello di distribuzione multi-step per codificare la storia delle azioni a lunghezza variabile in una rappresentazione latente a dimensione fissa.
  • EMBED: Codifica lo stato corrente in una distribuzione latente.
  • STEP: Una Unità Ricorrente Gated (GRU) che aggiorna la distribuzione latente simulando l'effetto dell'applicazione della sequenza di azioni memorizzate.
  • EMIT: Un decoder utilizzato durante l'addestramento per garantire che la rappresentazione latente predica accuratamente gli stati futuri (minimizzando la divergenza KL).
  • La policy $\pi_\theta$ genera quindi azioni basandosi su questa embedding a dimensione fissa della distribuzione dello stato futuro, piuttosto che su semplici storie stato-azione.
• Addestramento: ACDA segue una configurazione Actor-Critic basata su Soft Actor-Critic (SAC). Il critico valuta i valori sugli stati del sistema non ritardati, richiedendo all'algoritmo di ricostruire la traiettoria dalla prospettiva dell'MDP non ritardato durante l'addestramento.

Contributi Chiave

1. Framework dello Strato di Interazione: Un framework generale che consente agli agenti di gestire ritardi casuali e inosservabili e la perdita di pacchetti generando una matrice di azioni future. Ciò consente un processo decisionale informato sotto incertezza senza assumere un ritardo fisso.
2. Algoritmo ACDA: Un algoritmo di RL basato su modello che sfrutta lo strato di interazione. Introduce un'euristica per stimare le azioni applicate e un meccanismo di embedding basato sulla distribuzione per gestire le storie di azioni a lunghezza variabile, permettendo alla policy di ragionare sulle distribuzioni degli stati futuri.
3. Validazione Empirica: Valutazione completa sui compiti di locomozione MuJoCo utilizzando sia processi di ritardo simulati (modelli Gilbert-Elliot e code M/M/1) sia ritardi WiFi reali misurati.

Risultati

Il paper valuta ACDA rispetto a diversi baseline allo stato dell'arte, inclusi SAC (con e senza Constant-Delay Augmentation), Dreamer, BPQL, VDPO e DCAC.

• Prestazioni: ACDA supera costantemente tutti i baseline in una vasta gamma di ambienti (Ant, Humanoid, HalfCheetah, Hopper, Walker2d) e processi di ritardo.
• Ritardi del Mondo Reale: Negli esperimenti utilizzando ritardi di rete WiFi registrati (DLib e DOff), ACDA ha dimostrato prestazioni superiori, in particolare perché i ritardi del mondo reale presentano correlazioni temporali che ACDA è progettato per sfruttare.
• Robustezza: Sebbene ACDA assuma una correlazione temporale nei ritardi, mantiene prestazioni accettabili anche sotto processi di ritardo indipendenti e identicamente distribuiti (i.i.d.), sebbene con un margine ridotto.
• Confronto con Metodi a Ritardo Fisso: I metodi che si affidano al ritardo massimo del caso peggiore (come BPQL e VDPO con Constant-Delay Augmentation) hanno ottenuto prestazioni significativamente inferiori, evidenziando l'inefficienza delle assunzioni conservative in ambienti stocastici.

Significato e Rivendicazioni

Gli autori affermano che questo lavoro rappresenta il primo framework che permette agli agenti di prendere decisioni informate e controllate sotto ritardi casuali e inosservabili nel RL. Andando oltre il paradigma del ritardo fisso, lo strato di interazione e ACDA consentono di adattarsi alla latenza effettiva del sistema invece di un limite superiore conservativo.

Il paper sottolinea che, sebbene le garanzie di convergenza per il deep RL sotto ritardi casuali (formulazione POMDP) rimangano teoricamente aperte, i risultati empirici dimostrano che ACDA ottiene ritorni medi significativamente più alti rispetto agli approcci attuali allo stato dell'arte. Il lavoro suggerisce che gestire l'incertezza del ritardo direttamente, piuttosto che imporre una costanza artificiale, sia una strategia più efficace per l'implementazione del RL in sistemi cyber-fisici reali. Le direzioni future includono l'estensione del framework per gestire comportamenti di interazione più complessi e l'ottimizzazione della struttura dei pacchetti di azione per ridurre l'overhead computazionale e di comunicazione.