Sintesi Tecnica: Apprendimento per Rinforzo Robusto con Vincoli di Costo di Picco (RP-CRL)

1. Formulazione del Problema

Il documento affronta il problema dell'Apprendimento per Rinforzo Robusto con Vincoli di Costo di Picco (Robust Peak-cost Constrained Reinforcement Learning - RP-CRL), un setting in cui un agente deve massimizzare la ricompensa cumulativa attesa garantendo che il costo massimo incontrato lungo qualsiasi traiettoria rimanga al di sotto di una soglia specificata. Questa formulazione è motivata da applicazioni critiche per la sicurezza, dove una singola violazione catastrofica è inaccettabile, rendendo insufficienti i classici framework dei Processi Decisionali di Markov Vincolati (CMDP) — che si basano sul costo cumulativo atteso.

Gli autori formalizzano due sfide critiche:

1. Vincoli di Costo di Picco: A differenza dei CMDP standard, il vincolo dipende dal valore massimo del costo lungo la traiettoria piuttosto che su una somma additiva. Ciò conduce a un problema di ottimizzazione non convesso rispetto alla misura di occupazione stato-azione.
2. Discrepanza Sim-to-Real: Le policy addestrate in simulazione spesso falliscono nel mondo reale a causa di discrepanze nelle dinamiche di transizione. Il documento cerca una policy che soddisfi il vincolo di costo di picco sotto le peggiori dinamiche di transizione all'interno di un insieme di incertezza prescritto.

Il problema di ottimizzazione centrale è definito come:
$$\min_{\pi} \max_{P \in \mathcal{P}} J^P_r(\pi) \quad \text{s.t.} \quad \max_{P \in \mathcal{P}} \max_{s \in S_{\pi,P}} V^{\pi,P}_{c,peak}(s) \leq b$$
dove $V^{\pi,P}_{c,peak}$ rappresenta la funzione di valore del costo di picco robusta, e $\mathcal{P}$ è l'insieme di incertezza dei modelli di transizione.

2. Contributi Chiave e Approfondimenti Teorici

A. Gap di Dualità Non Nullo nei MDP con Costo di Picco

Un primario contributo teorico è la dimostrazione che, diversamente dai CMDP standard, i MDP con vincoli di costo di picco potrebbero non ammettere un gap di dualità nullo, anche quando la condizione di Slater è soddisfatta.

• Ragionamento: Il vincolo "hard-max" distrugge la convessità del problema rispetto alla misura di occupazione stato-azione.
• Implicazione: I metodi primal-dual basati su Lagrange standard, che si affidano alla forte dualità per recuperare la soluzione ottima, non sono garantiti per funzionare per i problemi di costo di picco. Gli autori forniscono un controesempio (anche in un MDP a due stati) mostrando che la rilassazione Lagrangiana può essere strettamente debole.

B. Framework di Ottimizzazione Surrogata Robusta

Per superare la mancanza di forte dualità e affrontare l'incertezza delle dinamiche, gli autori propongono un framework di ottimizzazione surrogata.

• Obiettivo Surrogato: Invece di risolvere direttamente il problema vincolato, essi minimizzano un obiettivo surrogato che bilancia la peggiore ricompensa e la peggiore violazione del vincolo:
  $$\min_{\pi} \max \left\{ \frac{\max_{P} J^{\pi,P}_r}{\beta}, \left( \max_{P, s \in S_{\pi,P}} V^{\pi,P}_{c,peak}(s) - b \right) \right\}$$
• Garanzia Teorica: Gli autori dimostrano che con una scelta appropriata dell'iperparametro $\beta$ (specificamente $\beta \geq C_{max}/\epsilon$), la soluzione ottima di questo problema surrogato raggiunge lo stesso valore di ricompensa robusta del problema originale pur violando il vincolo di al massimo $\epsilon$.

C. Stima del Valore Robusto tramite IPM

Per gestire efficientemente l'insieme di incertezza $\mathcal{P}$, il documento utilizza le Metriche di Probabilità Integrale (Integral Probability Metrics - IPM).

• Per spazi di stato continui, l'insieme di incertezza è definito tramite una distanza IPM da un modello nominale $P_0$.
• Ciò consente un'espressione in forma chiusa dell'operatore di Bellman robusto sotto approssimazione lineare di funzione. Nello specifico, l'aggiornamento del valore nel caso peggiore include un termine di regolarizzazione proporzionale alla norma dei pesi della funzione di valore:
  $$L_P V^{\pi}_{c,peak} = (1-\gamma)c(s,a) + \gamma V^{\pi}_{c,peak} + \rho \|w_{c, 2:d}\|_2$$
  Questa formulazione evita l'intrattabilità computazionale degli insiemi di incertezza non rettangolari.

3. Metodologia: L'Algoritmo RP-CRL

L'algoritmo proposto, RP-CRL, è un framework Actor-Critic adattato per l'ottimizzazione robusta con vincoli di picco.

• Attore (Actor): Aggiornato utilizzando un obiettivo di tipo PPO (Proximal Policy Optimization) con clipping. Il segnale di vantaggio utilizzato per l'aggiornamento dell'attore è selezionato dinamicamente in base al fatto che la policy corrente sia fattibile o meno.
• Critico (Critic): Vengono mantenuti due critici:
  1. Critico della Ricompensa ($V_r$): Stima la ricompensa attesa robusta.
  2. Critico del Costo di Picco ($V_{c,peak}$): Stima il costo di picco robusto utilizzando una ricorsione scontata che coinvolge un operatore max (approssimato tramite Log-Sum-Exponential per la fluidità).
• Robustizzazione: Entrambi i critici incorporano il termine di robustificazione basato su IPM (la regolarizzazione $\rho \|\cdot\|$) nei loro calcoli dell'errore di Differenza Temporale (TD).
• Ciclo di Addestramento: L'algoritmo alterna l'aggiornamento dei critici della ricompensa e del costo. Una funzione di selezione determina se dare priorità alla minimizzazione della violazione del vincolo (se non fattibile) o alla massimizzazione della ricompensa (se fattibile), risolvendo efficacemente il problema surrogato.

4. Risultati Sperimentali

Gli autori valutano RP-CRL sugli ambienti CartPole e MuJoCo (Ant, HalfCheetah, Humanoid, Swimmer) sotto dinamiche perturbate.

• Baseline: I confronti sono effettuati contro:
  1. Un metodo Primal-Dual (PD) adattato per i vincoli di costo di picco (da lavori precedenti [5], [6]).
  2. L'obiettivo surrogato proposto addestrato in un ambiente non perturbato (nominale).
• Configurazione della Perturbazione: L'addestramento prevede l'iniezione di rumore nelle dinamiche di sistema (ad esempio, gravità $g$ o viscosità). L'inferenza è testata sotto perturbazioni più forti.
• Risultati Chiave:
  • Soddisfacimento del Vincolo: RP-CRL riesce a mantenere il costo di picco al di sotto della baseline (spesso ottenendo uno zero costo di picco) anche sotto significative perturbazioni delle dinamiche. Al contrario, la surrogata non robusta e il metodo PD violano frequentemente i vincoli durante l'inferenza.
    P** * Performance della Ricompensa: RP-CRL ottiene rendimenti più elevati rispetto al metodo PD, che tende a imparare policy sub-ottimali a causa della mancanza di forte dualità.
  • Robustezza: L'addestramento con la formulazione robusta (surrogata + IPM) porta a curve di apprendimento più fluide con minore varianza e una migliore generalizzazione a perturbazioni non viste rispetto all'addestramento su dinamiche nominali.
  • Generalizzabilità: Il metodo funziona efficacemente attraverso diverse definizioni di funzioni di costo e livelli variabili di perturbazione ($\sigma$).

5. Significato e Rivendicazioni

Il documento afferma che RP-CRL fornisce un avanzamento necessario per l'RL critico per la sicurezza fornendo:

1. Correzione delle Assunzioni Teoriche: Stabilire che la forte dualità non vale per i vincoli di costo di picco, invalidando così l'applicazione diretta dei classici metodi Lagrangiani per questo specifico obiettivo di sicurezza.
2. Colmare il Gap Sim-to-Real: Offrire un framework di ottimizzazione robusta che assicuri il rispetto dei vincoli di sicurezza anche quando l'ambiente di distribuzione differisce dal simulatore di addestramento.
3. Efficacia Pratica: Dimostrare attraverso esperimenti che l'approccio surrogato proposto, combinato con la stima del valore robusto tramite IPM, impone efficacemente la sicurezza mantenendo al contempo una forte performance della ricompensa in ambienti incerti.

Gli autori osservano che, sebbene la soluzione surrogata raggiunga il valore di ricompensa robusta del problema originale, le garanzie di convergenza per il proposto algoritmo actor-critic in grandi spazi di stato sono lasciate a lavori futuri.