SafeExplorer: An Unbiased Policy Gradient for Reinforcement Learning with Recovery Interventions

Sintesi Tecnica: SafeExplorer

Definizione del Problema
L'addestramento di agenti di apprendimento per rinforzo (RL) direttamente su robot fisici è ostacolato dall'alto costo del fallimento. A differenza della simulazione, dove una caduta può essere resettata istantaneamente, una caduta fisica può danneggiare l'hardware e non può essere annullata. Di conseguenza, l'obiettivo primario nell'addestramento nel mondo reale è minimizzare il numero di cadute (violazioni dei vincoli) piuttosto che limitarsi a scambiarle con il rendimento, come avviene comunemente nelle formulazioni di Processo di Markov Vincolato (CMDP).

Una strategia di mitigazione standard prevede l'accoppiamento dell'agente di apprendimento con una policy di recupero separata e pre-addestrata. Questa policy prende il controllo ogni volta che l'agente esce da una regione sicura specificata dal progettista (un sottoinsieme dello spazio degli stati) e riporta il sistema verso uno stato nominale. Sebbene ciò prevenga i danni fisici, introduce un difetto teorico critico: i dati raccolti durante l'addestramento sono generati da una policy mista (la policy principale all'interno della regione sicura e la policy di recupero all'esterno di essa). Gli algoritmi on-policy standard come Proximal Policy Optimization (PPO) assumono che i dati siano generati esclusivamente dalla policy che viene aggiornata. Quando la policy di recupero interviene, le stime del gradiente risultanti diventano distorte (biased) verso il comportamento della policy di recupero.

Inoltre, le correzioni standard per questo bias, come l'importance sampling (IS), falliscono quando la policy di recupero è deterministica (ad esempio, un risolutore di Model Predictive Control o un attore greedy). In tali casi, la policy di recupero produce un'unica azione (una misura di Dirac) piuttosto che una distribuzione di probabilità, rendendo indefinito il rapporto di importanza (divisione per densità zero). Ciò crea un paradosso in cui il meccanismo che abilita l'addestramento sicuro (la policy di recupero) corrompe il segnale di apprendimento, e la soluzione standard (IS) è matematicamente invalida proprio quando è più necessaria.

Metodologia
SafeExplorer affronta questi problemi attraverso una modifica "drop-in" di PPO, basata su quattro componenti teorici e algoritmici:

1. Gradiente di Policy Mascherato e Non Distorto:
   Il contributo principale è un nuovo stimatore del gradiente di policy (Teorema 1) che rimane non distorto per il rendimento della policy mista anche quando la policy di recupero è deterministica. Invece di ripesare le transizioni tramite importance sampling, l'estimatore utilizza un approccio di partizione mascherata (partition masking). Applica la funzione di score ($\nabla_\theta \log \pi_\theta$) solo nei timestep in cui agisce la policy principale (all'interno della regione sicura) e ignora completamente la densità dell'azione della policy di recupero. Poiché la policy di recupero è indipendente dai parametri della policy principale ($\theta$), il suo fattore nella densità della traiettoria svanisce durante la derivazione. Ciò consente di calcolare il gradiente senza dover mai valutare la densità della policy di recupero, rendendolo valido sia per policy di recupero stocastiche che deterministiche.

2. Limite del Gap di Obiettivo (Objective-Gap Bound):
   Il metodo ottimizza il rendimento della policy mista ($J_{mix}$), ma l'obiettivo è massimizzare il rendimento della policy principale ($J$) al momento del deployment. Gli autori derivano un limite (Teorema 4) sul gap $|J - J_{mix}|$, dimostrando che esso è proporzionale al tasso di fuori-regione ($\beta$) della policy principale. Questo gap svanisce se la regione sicura copre tutti gli stati raggiungibili o se la policy principale diventa auto-stabile. Per minimizzare questo gap, SafeExplorer impiega un curriculum lineare che espande gradualmente il raggio della regione sicura ($d$) durante l'addestramento, incoraggiando la policy principale a rimanere all'interno della regione sicura e riducendo la dipendenza dalla policy di recupero.

3. Valore di Recupero Analitico:
   Nel caso comune in cui la dinamica e la policy di recupero sono deterministiche, il valore di uno stato che innesca il recupero ammette un'espressione in forma chiusa (Teorema 6). Invece di affidarsi a un critico appreso per fare il bootstrapping dei valori attraverso i segmenti di recupero (il che introduce errori), SafeExplorer calcola il rendimento esatto della traiettoria di recupero deterministica. Ciò fornisce una supervisione densa e accurata al confine della regione sicura, dove i segnali on-policy sono altrimenti scarsi.

4. Regolarizzatore di Compatibilità a Gate di Esito (Outcome-Gated):
   Per garantire che la policy principale impari a evitare stati insicuri anche quando la policy di recupero è inaffidabile, SafeExplorer aggiunge una perdita di imitazione supervisionata. Questo termine incoraggia la policy principale a imitare le azioni della policy di recupero, ma solo quando il segmento di recupero ha successo (ovvero, l'agente rientra nella regione sicura). Questo meccanismo "a gate di esito" (Teorema 7) impedisce all'agente di imparare dai tentativi di recupero falliti, distinguendosi dal classico behavioral cloning o DAgger.

Contributi Chiave

• Fondazione Teorica: Dimostrato un teorema del gradiente di policy non distorto per policy miste con recupero esterno, indipendente da $\theta$, valido per controller deterministici dove l'importance sampling fallisce.
• Implementazione Algoritmica: Sviluppato SafeExplorer, una variante pratica di PPO che integra gradienti mascherati, target di valore analitici e imitazione a gate di esito.
• Limiti Teorici: Stabilito i limiti del gap tra il rendimento di addestramento (misto) e quello di deployment (principale), dimostrando come il curriculum learning restringa tale gap.
• Validazione Empirica: Dimostrato che il metodo riduce significativamente le cadute durante l'addestramento e raggiunge o supera il rendimento finale del PPO standard.

Risultati Sperimentali
Gli autori hanno valutato SafeExplorer su tre ambienti di locomozione a controllo continuo: HalfCheetah, Ant e il quadrupede Unitree Go1. La policy di recupero era un attore SAC deterministico pre-addestrato.

• Riduzione delle Cadute: SafeExplorer ha ridotto le cadute durante l'addestramento di fattori di 233× (HalfCheetah), 48× (Ant) e 26× (Go1) rispetto al PPO standard.
• Prestazioni del Rendimento: Il metodo ha eguagliato o superato il rendimento finale del PPO standard in tutti gli ambienti.
• Regime di Recupero Inaffidabile: Nell'ambiente Ant, dove la policy di recupero stessa è inaffidabile (fallisce frequentemente), Safeostante SafeExplorer è stato l'unico metodo a raggiungere la soglia di successo (80% del miglior rendimento finale). I metodi baseline, inclusi altri approcci che utilizzano il recupero e i solver CMDP (CPO, PPO-Lagrangian), sono falliti catastroficamente, accumulando decine di migliaia di cadute.
• Studi di Ablazione: Gli autori hanno confermato che ogni componente contribuisce con guadagni distinti: il gradiente mascherato rimuove il bias; il valore analitico migliora l'efficienza dell'apprendimento; e il regolarizzatore a gate di esito è fondamentale per gestire le policy di recupero inaffidabili.

Significato e Rivendicazioni
Il paper sostiene che SafeExplorer fornisca una soluzione teoricamente solida e praticamente efficace per l'apprendimento per rinforzo sicuro su hardware fisico. Trattando la policy di recupero come una fonte di segnale piuttosto che come una fonte di bias, il metodo permette agli agenti di apprendere controller capaci con danni minimi all'hardware.

Gli autori sottolineano che il loro contributo è metodologico, applicabile ovunque una policy di recupero fissa prenda il controllo in stati insicuri. Affermano esplicitamente che il metodo non elimina interamente le cadute, ma riduce drasticamente il numero necessario per raggiungere una policy di successo. Il lavoro si pone come un passo necessario per rendere fattibile l'addestramento su robot, andando oltre la dipendenza da simulazioni massive parallele o dalla modellazione del reward che si limita a scoraggiare le violazioni della sicurezza senza affrontare il bias fondamentale introdotto dall'intervento. Il paper conclude che la combinazione di un estimatore di gradiente non distorto e di una perdita di imitazione a gate di esito trasforma il meccanismo di recupero da un ostacolo all'apprendimento in un asset per l'apprendimento stesso.