Sintesi Tecnica: TraCeS

Problema

Garantire un comportamento sicuro nel Reinforcement Learning (RL) è una sfida quando i vincoli di sicurezza sono impliciti, non misurabili o non disponibili durante l'addestramento. In molti domini critici per la sicurezza (ad es. robotica, guida autonoma), i vincoli codificati rigidamente e le funzioni di costo modellate manualmente sono spesso fragili e non riescono a generalizzare attraverso scenari dipendenti dal contesto. Inoltre, la supervisione densa per singolo timestep è frequentemente indisponibile; invece, la supervisione è limitata a etichette binarie grossolane e sparse che indicano se un'intera traiettoria (o un suo prefisso) sia rimasta entro una soglia di sicurezza sconosciuta.

La difficoltà principale risiede nel problema dell'assegnazione del credito (credit assignment): un'etichetta a livello di traiettoria (ad es. "rifiutata") indica che si è verificata una violazione, ma non specifica quando o quali specifici comportamenti l'abbiano causata. I metodi standard per i Processi Decisionali Markoviani Vincolati (CMDP) assumono l'accesso a una funzione di costo per singolo step nota e a una soglia, il che non è il caso qui. Il documento affronta il setting in cui l'agente deve apprendere una politica sicura da etichette di accettazione/rifiuto sparse a livello di traiettoria, senza conoscere la funzione di costo $C$ sottostante o la soglia del vincolo $b$.

Metodologia: TraCeS

Gli autori propongono TraCeS (Trajectory-based Constraint Estimation for Safety), un framework che apprende crediti di violazione per singolo timestep da etichette sparse a livello di traiettoria. Il metodo opera attraverso un ciclo iterativo che coinvolge tre componenti principali:

1. Stimatore di Violazione Sequenziale

TraCeS addestra uno stimatore sequenziale per scomporre il feedback binario sparso in crediti di violazione densi per ogni timestep.

• Astrazione di Violazione Monotona: Il metodo assume una struttura di violazione monotona (Assunzione 3.1): una volta che una traiettoria viola un vincolo, rimane violata successivamente. Ciò implica che la probabilità di "non ancora violato" è non crescente nel tempo.
• Fattorizzazione: Lo stimatore predice la probabilità che un prefisso di traiettoria $\tau_{0:t}$ non abbia ancora violato il vincolo, denotata come $\hat{P}(\psi_{0:t}=1 | \tau_{0:t})$. Questa probabilità è fattorizzata in crediti moltiplicativi per singolo step:
  $$\hat{P}(\psi_{0:T-1}=1 | \tau_{0:T-1}) = \prod_{t=0}^{T-1} \hat{P}^\Delta_t$$
  In questo contesto, $\hat{P}^\Delta_t$ rappresenta la variazione della probabilità di non violazione estendendo il prefisso di un passo. Un valore significativamente inferiore a 1 indica un passo che induce un brusco calo nella probabilità di sicurezza, localizzando efficacemente il credito della violazione.
• Architettura: Lo stimatore utilizza un encoder condiviso $f_w$ per mantenere un vettore di riepilogo $h_t$ del prefisso e un decoder $g_w$ per produrre i parametri di una distribuzione log-normale. Il log-credito campionato è vincolato a essere non positivo ($\log \hat{P}^\Delta_t \le 0$), garantendo che la probabilità cumulativa non aumenti.
• Addestramento: Lo stimatore è addestrato utilizzando la perdita di Cross-Entropy Binaria sulle etichette binarie sparse (accetta/rifiuta) delle traiettorie o dei prefissi, trattando il problema come una stima di massima verosimiglianza della regola di etichettatura sconosciuta $\Psi(\cdot)$.

2. Ottimizzazione della Politica Vincolata

Una volta che lo stimatore ha appreso i crediti per singolo step, TraCeS li integra in un risolutore CMDP standard.

• Costo Surrogato: Il log-credito stimato viene trasformato in un costo surrogato: $\tilde{C}_t = -\log \hat{P}^\Delta_t \ge 0$.
• Riformulazione del Vincolo: Il vincolo di probabilità originale (che richiede che la probabilità di una traiettoria accettabile sia almeno $d$) viene approssimato. Utilizzando la disuguaglianza di Jensen, gli autori derivano un limite inferiore trattabile che converte il vincolo moltiplicativo in una forma additiva:
  $$\mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t} \tilde{C}_t \right] \le -\log d$$
  Questa riformulazione consente l'uso di algoritmi di RL vincolati standard (ad es. PPO-Lagrangiano) con i costi surrogati appresi, anche se la vera funzione di costo è sconosciuta.
• Garanzia Teorica: Il documento fornisce un limite sul gap di approssimazione introdotto dalla disuguaglianza di Jensen, mostrando che il gap si riduce man mano che lo stimatore diventa più stabile e la varianza delle probabilità predette di non violazione diminuisce.

3. Selezione Attiva delle Traiettorie

Per ridurre il carico di annotazione, TraCeS impiega una strategia basata sull'incertezza per selezionare quali traiettorie etichettare.

• Coefficiente di Variazione (CV): Il metodo calcola il CV del costo surrogato a livello di traiettoria sotto il rumore di campionamento dello stimatore. Le traiettorie con CV elevato (che indicano alta dispersione o incertezza nella predizione dello stimatore) sono prioritarie per l'etichettatura. Ciò concentra gli sforzi di annotazione umana o automatizzata sulle simulazioni in cui lo stimatore è più incerto, migliorando l'efficienza dei dati.

Contributi Chiave

1. Formulazione del Problema: Il documento formalizza il problema dell'apprendimento di una politica sicura da etichette sparse a livello di traiettoria sotto un'astrazione di violazione monotona, affrontando il vuoto in cui né la funzione di costo né la soglia sono note.
2. Metodo (TraCeS): Un nuovo stimatore sequenziale che fattorizza l'accettabilità a livello di traiettoria in crediti di violazione per singolo timestep. Ciò consente di trasformare il feedback binario grossolano in un segnale di costo surrogato denso compatibile con gli standard solver CMDP.
3. Teoria e Valutazione:
   • Analisi teorica del gap di approssimazione introdotto dal limite inferiore della disuguaglianza di Jensen.
   • Validazione empirica su 12 compiti di controllo continuo (Safety Gymnasium, MuJoCo, Bullet Safety Gym).
   • Dimostrazione di robustezza in regimi con pochi dati, sotto etichette rumorose e in contesti con feedback umano.

Risultati Sperimentali

Gli autori valutano TraCeS rispetto a diversi baseline:

• Metodi Oracle: PPO-Lagrangian e CPPO-PID (presuppongono costo e soglia noti).
• Conoscenza Parziale: RLSF (apprende i costi ma assume una soglia nota).
• Baseline a Conoscenza Nulla: Una baseline Cost-Threshold (C-T) che tenta di apprendere sia il costo che la soglia da zero.

Risultati Chiave:

• Soddisfacimento dei Vincoli: TraCeS apprende in modo affidabile politiche che soddisfano i vincoli di sicurezza (costo $\le$ soglia) nella maggior parte dei compiti, nonostante non abbia alcuna conoscenza del costo o della soglia.
• Efficienza delle Etichette: TraCÈS è sostanzialmente più efficiente nelle etichette rispetto alla baseline a conoscenza nulla C-T, richiedendo significativamente meno traiettorie etichettate per convergere a politiche sicure.
• Performance: TraCeS raggiunge scambi premio-sicurezza competitivi rispetto ai metodi a conoscenza parziale (RLSF) e si avvicina alle performance dei metodi oracle in diversi compiti.
• Localizzazione: L'analisi qualitativa mostra che i crediti appresi per singolo step localizzano accuratamente gli eventi di violazione, raggiungendo il picco vicino al timestep in cui il costo cumulativo dell'oracle attraversa la soglia, anziché distribuire il costo uniformemente.
• Robustezza: Il metodo rimane efficace sotto rumore di etichetta moderato (fino al 10-20%) e in regimi con pochi dati (ad es. 1000 traiettorie etichettate). Funziona bene anche con il feedback umano in uno studio su piccola scala con HalfCheetah.

Significato e Rivendicazioni

Il documento sostiene che TraCeS fornisce una via pratica per allineare gli agenti RL con vincoli impliciti e dipendenti dal contesto quando le specifiche formali non sono disponibili. Trasformando la supervisione sparsa di accettazione/rifiuto in crediti di violazione per singolo timestep, TraCeS consente l'uso di standard meccanismi di ottimizzazione vincolata senza richiedere funzioni di costo progettate a mano o soglie note.

Gli autori sottolineano che i crediti appresi servono come surrogati di sicurezza rilevanti per il controllo piuttosto che come recupero identificabile dei costi reali sottostanti. Il metodo è particolarmente significativo per i casi in cui la sicurezza è definita da fattori complessi e dinamici (ad es. evitare una buca potrebbe richiedere una deviazione temporanea dalla corsia) che sono difficili da codificare come funzioni di costo fisse ma possono essere giudicati da un essere umano o da un monitor come "accettabili" o "inaccettabili" per una traiettoria.

Il lavoro suggerisce che il feedback sparso a livello di traiettoria, se elaborato attraverso uno stimatore sequenziale con selezione attiva, può colmare efficacemente il divario tra giudizi di sicurezza di alto livello e ottimizzazione della politica a basso livello.