Riepilogo Tecnico: TCRL per il Reinforcement Learning Vincolato Robusto

Definizione del Problema

Il Reinforcement Learning Vincolato (CRL) è fondamentale per i domini critici per la sicurezza come la guida autonoma e la robotica, dove gli agenti devono massimizzare le ricompense rispettando al contempo vincoli di sicurezza. Tuttavia, gli esistenti metodi di CRL robusto mostrano vulnerabilità significative quando vengono implementati in ambienti reali soggetti a perturbazioni avversarie. Gli approcci attuali si concentrano principalmente su perturbazioni temporali-indipendenti (a singolo step), spesso modellate all'interno di sfere con norma $\ell_p$ a raggio fisso. Essi non riescono ad affrontare le perturbazioni temporali-accoppiate, in cui un attaccante genera perturbazioni che evolvono nel tempo in base alla storia dell'agente e ai vincoli di costo della sicurezza.

Negli scenari peggiori, gli attaccanti possono apprendere le funzioni di costo della sicurezza e di ricompensa dell'agente per generare perturbazioni che aumentano progressivamente in intensità. Ciò causa la deviazione dell'agente dal suo obiettivo, la violazione dei vincoli di sicurezza e una significativa degradazione della ricompensa. I metodi esistenti affrontano due sfide specifiche:

1. Percezione: Mancano di meccanismi per consentire alle funzioni di vincolo del costo di percepire e stimare i costi di sicurezza peggiori sotto perturbazioni temporali-accoppiate senza modellare esplicitamente l'attaccante.
2. Difesa: Mancano di strategie di addestramento efficaci per difendersi dagli attacchi temporali-accoppiati sul segnale di ricompensa, spesso fallendo nel mantenere l'imprevedibilità della ricompensa o nel interrompere i pattern temporali dell'attaccante.

Metodologia: Framework TCRL

Gli autori propongono TCRL (Temporal-Coupled Adversarial Training), un framework progettato per ottimizzare le politiche decisionali sotto perturbazioni temporali-accoppiate peggiori. Il framework è composto da tre componenti principali:

1. Modello di Perturbazione Temporale-Accoppiata

Il documento definisce un nuovo vincolo di perturbazione in cui l'intensità della perturbazione è dinamica. Un parametro di vincolo adattivo $\bar{\epsilon}_t$ viene aggiornato in base all'entità della perturbazione precedente ($p_{t-1}$):
$$\bar{\epsilon}_t = \bar{\epsilon}_{t-1} + \alpha \cdot \|p_{t-1}\|$$
Ciò consente all'attaccante di esplorare strategie a maggiore intensità nel tempo, soggette a un vincolo sulla differenza tra perturbazioni consecutive: $\|p_t - p_{t-1}\| \leq \bar{\epsilon}_t$.

2. Funzione di Vincolo del Costo Percepito nel Caso Peggiore

Per affrontare la sfida di stimare i costi di sicurezza senza un esplicito modello dell'attaccante, TCRL introduce un Operatore di Bellman del Costo nel Caso Peggiore ($\Gamma$).

• Definizione: Per una politica $\pi$, l'operatore stima il costo cumulativo massimo su un orizzonte decisionale sotto attacchi di osservazione limitati.
• Implementazione: Una rete del costo nel caso peggiore ($Q^\pi_\varphi$) viene addestrata utilizzando una funzione di perdita specializzata che incorpora il costo massimo sull'insieme delle potenziali azioni $\Omega(s, \pi)$ che un attaccante potrebbe indurre tramite perturbazione dello stato.
• Trasformazione del Vincolo: Il vincolo standard del CRL ($V^\pi_c \leq \eta$) viene trasformato in un vincolo del caso peggiore: $V^\pi_c \leq C_{threshold}$, dove $V^\pi_c$ è il valore del costo stimato nel caso peggiore. Ciò garantisce la sicurezza anche sotto gli attacchi temporali-accoppiati più severi.

3. Meccanismo di Difesa della Ricompensa a Doppio Vincolo

Per contrastare gli attaccanti che sfruttano i dati storici della ricompensa per modellare la funzione di ricompensa, TCRL implementa due vincoli sul segnale di ricompensa durante l'addestramento:

• Vincolo di Correlazione Temporale: Questo limita l'autocorrelazione della sequenza di ricompensa all'interno di una finestra temporale $w$. Imponendo un vincolo di correlazione debole ($C_{corr} \leq \epsilon_{corr}$), il metodo interrompe la capacità dell'attaccante di modellare le dipendenze temporali nelle dinamiche di sistema. Viene utilizzato un meccanismo di correzione del gradiente per gestire la non differenziabilità dei coefficienti di correlazione standard.
• Vincolo di Stabilità dell'Entropia della Ricompensa: Questo impedisce cambiamenti bruschi nella distribuzione della ricompensa causati dalle perturbazioni. Vincola il tasso di variazione dell'entropia della ricompensa ($H_t$) tra passi temporali consecutivi ($C_{ent} \leq \epsilon_{ent}$), assicurando che la distribuzione della ricompensa evolva in modo fluido e rimanga imprevedibile per l'attaccante.
  L'obiettivo complessivo è formulato utilizzando la rilassazione Lagrangiana, ottimizzando la politica per massimizzare le ricompense attese soddisfacendo simultaneamente i vincoli di costo di sicurezza, correlazione ed entropia.

Contributi Chiave

1. Framework TCRL: Un nuovo framework di addestramento avversario specificamente progettato per il CRL robusto in scenari temporali-accoppiati peggiori.
2. Stima del Costo nel Caso Peggiore: Una funzione di vincolo del costo capace di stimare direttamente i costi di sicurezza peggiori sotto perturbazioni temporali-accoppiate senza un esplicito modello dell'attaccante, accompagnata da una funzione di perdita su misura per l'addestramento robusto.
3. Difesa a Doppio Vincolo: Un meccanismo di difesa basato sulla ricompensa che comprende un vincolo di correlazione temporale (per interrompere i pattern di attacco) e un vincolo di stabilità dell'entropia (per preservare l'imprevedibilità della ricompensa).
4. Validazione Empirica: Esperimenti estesi che dimostrano una robustezza superiore rispetto ai metodi esistenti.

Risultati Sperimentali

Gli autori hanno valutato TCRL (integrato con l'algoritmo PPOL) in quattro compiti di controllo continuo: Ball-Circle, Ball-Run, Car-Circle e Car-Run. La valutazione ha incluso cinque condizioni: naturale (nessun attacco), MAD (Massima Differenza di Azione), MC (Max Cost), Random e un attaccante personalizzato Worst-TC (Worst-Case Temporal-Coupled).

• Performance di Sicurezza: TCRL ha costantemente ottenuto i costi di sicurezza più bassi sotto attacchi Worst-TC. Il documento riporta riduzioni dei costi di sicurezza che vanno dal 559,38% al 19.077,78% rispetto ai metodi baseline nei quattro compiti. Ad esempio, nel compito Car-Run, TCRL ha ridotto i costi di sicurezza fino a 190,77 volte rispetto ai baseline.
• Performance della Ricompensa: A differenza dei baseline, che hanno subito una significativa degradazione della ricompensa sotto attacchi Worst-TC, TCRL ha mantenuto o addirittura aumentato i propri valori di ricompensa. TCRL ha migliorato i valori di ric compresa l'entità del 11,09% al 34,76% rispetto ai baseline sotto attacchi Worst-TC.
• Studio di Ablazione: Rimuovere la funzione di vincolo del costo (TCRL-Worstcost) ha portato a un aumento significativo dei costi di sicurezza, mentre rimuovere i vincoli di difesa della ricompensa (TCRL-Reward) ha causato un calo sostanziale delle ricompense, confermando la necessità di entrambi i componenti.

Significato e Rivendicazioni

Il documento sostiene che TCRL colma una lacuna critica nella letteratura esistente modellando e difendendo esplicitamente contro le perturbazioni temporali-accoppiate, che sono più rappresentative degli scenari avversari del mondo reale rispetto agli attacchi a singolo step.

Gli autori affermano che TCRL consente agli agenti di:

• Mantenere alte ricompense del compito pur evitando rigorosamente le violazioni dei vincoli di sicurezza sotto attacchi temporali peggiori.
• Percepire e difendersi da avversari temporali-accoppiati ottimali senza la necessità di co-addestrare con un modello specifico dell'attaccante.
• Interrompere la capacità dell'attaccante di apprendere la funzione di ricompensa attraverso vincoli di correlazione temporale ed entropia.

Il lavoro posiziona TCRL come una soluzione robusta per l'implementazione del CRL in ambienti fisici critici per la sicurezza dove le osservazioni dello stato sono soggette a rumore avversario evolutivo e correlato.