SafeExplorer: An Unbiased Policy Gradient for Reinforcement Learning with Recovery Interventions

Technische Samenvatting: SafeExplorer

Probleemstelling
Het trainen van reinforcement learning (RL) agenten direct op fysieke robots wordt belemmerd door de hoge kosten van falen. In tegen tegenover simulatie, waar een val direct kan worden gereset, kan een fysieke val hardware beschadigen en kan deze niet ongedaan worden gemaakt. Bijgevolg is het primaire doel bij training in de echte wereld het minimaliseren van het aantal vallen (schendingen van restricties), in plaats van ze enkel af te wegen tegen de return, zoals gebruikelijk is bij Constrained Markov Decision Process (CMDP) formuleringen.

Een standaard mitigatiestrategie is het koppelen van de lerende agent aan een aparte, vooraf getrainde recovery policy (herstelbeleid). Dit beleid neemt de controle over zodra de agent een door een ontwerper gespecificeerde veilige regio (een deelverzameling van de toestandsruimte) verlaat en stuurt het systeem terug naar een nominale toestand. Hoewel dit fysieke schade voorkomt, introduceert het een cruciale theoretische fout: de verzamelde data tijdens de training wordt gegenereerd door een mixed policy (het hoofdbeleid binnen de veilige regio en het herstelbeleid buiten de veilige regio). Standaard on-policy algoritmen zoals Proximal Policy Optimization (PPO) gaan ervan uit dat data uitsluitend wordt gegenereerd door het beleid dat wordt bijgewerkt. Wanneer het herstelbeleid ingrijpt, worden de resulterende gradiënt-schattingen vertekend (biased) richting het gedrag van het herstelbeleid.

Bovendien falen standaard correcties voor deze bias, zoals importance sampling (IS), wanneer het herstelbeleid deterministisch is (bijv. een Model Predictive Control solver of een greedy actor). In dergelijke gevallen produceert het herstelbeleid één enkele actie (een Dirac-maat) in plaats van een waarschijnlijkheidsverdeling, waardoor de importance ratio ongedefinieerd wordt (deling door nul-dichtheid). Dit creëert een paradox waarbij het mechanisme dat veilige training mogelijk maakt (het herstelbeleid) het leersignaal corrumpeert, en de standaard fix (IS) wiskundig ongeldig is precies wanneer deze het meest nodig is.

Methodologie
SafeExplorer pakt deze problemen aan via een drop-in modificatie van PPO, gebouwd op vier theoretische en algoritmische componenten:

1. Unbiased Masked Policy Gradient:
   De kernbijdrage is een nieuwe policy-gradient estimator (Theorem 1) die onbevooroordeeld blijft voor de mixed-policy return, zelfs wanneer het herstelbeleid deterministisch is. In plaats van transities te herwegen via importance sampling, gebruikt de estimator een partition masking benadering. Het past de scorefunctie ($\nabla_\theta \log \pi_\theta$) alleen toe op tijdstippen waarop het hoofdbeleid handelt (binnen de veilige regio) en negeert de actiedichtheid van het herstelbeleid volledig. Omdat het herstelbeleid onafhankelijk is van de parameters van het hoofdbeleid ($\theta$), verdwijnt de factor van het herstelbeleid in de trajectdichtheid bij differentiatie. Dit maakt het mogelijk om de gradiënt te berekenen zonder ooit de dichtheid van het herstelbeleid te evalueren, wat het geldig maakt voor zowel stochastische als deterministische herstelbeleid.

2. Objective-Gap Bound:
   De methode optimaliseert de mixed-policy return ($J_{mix}$), maar het doel is om de main-policy return ($J$) te maximaliseren bij implementatie. De auteurs leiden een grens af (Theorem 4) op de kloof $|J - J_{mix}|$, die proportioneel is aan de out-of-region rate ($\beta$) van het hoofdbeleid. Deze kloof verdwijnt als de veilige regio alle bereikbare toestanden dekt of als het hoofdbeleid zelf-stabiel wordt. Om deze kloof te minimaliseren, gebruikt SafeExplorer een lineair curriculum dat de straal van de veilige regio ($d$) tijdens de training geleidelijk uitbreidt, waardoor het hoofdbeleid wordt aangemoedigd om binnen de veilige regio te blijven en de afhankelijkheid van het herstelbeleid te verminderen.

3. Analytische Recovery Value:
   In het veelvoorkomende geval dat de dynamica en het herstelbeleid deterministisch zijn, laat de waarde van een toestand die herstel triggert een gesloten vorm expressie toe (Theorem 6). In plaats van te vertrouwen op een geleerde critic om waarden te bootstrappen door herstelsegmenten heen (wat fouten introduceert), berekent SafeExplorer de exacte return van het deterministische herstel-traject. Dit zorgt voor een dichte, nauwkeurige supervisie op de grens van de veilige regio waar on-policy signalen anders schaars zijn.

4. Outcome-Gated Compatibility Regularizer:
   Om ervoor te zorgen dat het hoofdbeleid ook leert onveilige toestanden te vermijden wanneer het herstelbeleid onbetrouwbaar is, voegt SafeExplorer een gesuperviseerde imitatieverlies toe. Deze term moedigt het hoofdbeleid aan om de acties van het herstelbeleid na te bootsen, maar alleen wanneer het herstelsegment succesvol is (d.w.z. de agent de veilige regio weer binnenkomt). Dit "outcome-gated" mechanisme (Theorem 7) voorkomt dat de agent leert van mislukte herpogingen, wat het onderscheidt van standaard behavioral cloning of DAgger.

Belangrijkste Bijdragen

• Theoretische Fundering: Bewezen een onbevooroordeelde policy-gradient theorem voor mixed policies met externe, $\theta$-onafhankelijke herstel, geldig voor deterministische controllers waar importance sampling faalt.
• Algoritmische Implementatie: Ontwikkelde SafeExplorer, een praktische PPO-variant die gemaskeerde gradiënten, analytische waarde-targets en outcome-gated imitatie integreert.
• Theoretische Grenzen: Vastgesteld van grenzen op de kloof tussen training (mixed) en implementatie (main) returns, waarbij wordt aangetoond hoe curriculum learning deze kloof verkleint.
• Empirische Validatie: Gedemonstreerd dat de methode het aantal vallen tijdens de training aanzienlijk vermindert terwijl het de uiteindelijke reward van standaard PPO evenaart of overtreft.

Experimentele Resultaten
De auteurs evalueerden SafeExplorer op drie continu-control locomotie omgevingen: HalfCheetah, Ant, en de Unitree Go1 quadruped. Het herstelbeleid was een vooraf getrainde, deterministische SAC actor.

• Reductie van Vallen: SafeExplorer verminderde de vallen tijdens de training met factoren van 233× (HalfCheetah), 48× (Ant), en 26× (Go1) vergeleken met standaard PPO.
• Reward Prestaties: De methode evenaarde of overtrof de uiteindelijke reward van standaard PPO in alle omgevingen.
• Onbetrouwbaar Herstel Regime: In de Ant omgeving, waar het herstelbeleid zelf onbetrouwbaar is (vaak falend), was SafeExplorer de enige methode die de succesdrempel bereikte (80% van de beste finale reward). Baseline methoden, inclusief andere herstel-gebruikende benaderingen en CMDP-solvers (CPO, PPO-Lagrangian), faalden catastrofaal en cumuleerden tienduizenden vallen.
• Ablatie Studies: De auteurs bevestigden dat elk component unieke winst oplevert: de gemaskeerde gradiënt verwijdert bias; de analytische waarde verbetert de leer-efficiëntie; en de outcome-gated regularizer is cruciaal voor het omgaan met onbetrouwbare herstelbeleid.

Betekenis en Claims
Het artikel claimt dat SafeExplorer een theoretisch solide en praktisch effectieve oplossing biedt voor veilige reinforcement learning op fysieke hardware. Door het herstelbeleid te behandelen als een bron van signaal in plaats van een bron van bias, stelt de methode agenten in staat om capabele controllers te leren met minimale schade aan de hardware.

De auteurs benadrukken dat hun bijdrage methodologisch is, toepasbaar waar een vast herstelbeleid het overneemt bij onveilige toestanden. Ze stellen expliciet dat de methode vallen niet volledig elimineert, maar het aantal dat vereist is om een succesvol beleid te bereiken drastisch vermindert. Het werk positioneert zich als een noodzakelijke stap om training op de robot zelf haalbaar te maken, voorbij de afhankelijkheid van massale parallelle simulatie of reward shaping die slechts het ontmoedigen van veiligheidschendingen bewerkstelligt zonder de fundamentele bias door interventie aan te pakken. Het artikel concludeert dat de combinatie van een onbevooroordeelde gradiënt estimator en een outcome-gated imitatieverlies het herstelmechanisme transformeert van een leerobstakel naar een leer-asset.