Technische Samenvatting: Benutten van Analytische Gradiënten in Bewezen Veilig Versterkend Leren

Probleemstelling

De inzet van autonome robots in veiligheidskritieke toepassingen vereist strikte veiligheidsgaranties. Hoewel Versterkend Leren (RL) vaak superieur presteert aan klassieke besturing in onzekere, hoogdimensionale omgevingen, mist het inherente veiligheidsbevestigingen. Een kritieke uitdaging doet zich voor bij het trainen van agenten in simulatie voor implementatie in de echte wereld (de "sim-naar-real"-kloof). Als training plaatsvindt zonder veiligheidsmaatregelen, kan de agent convergeren naar beleidsregels die vertrouwen op onveilige toestanden of acties. Wanneer vervolgens een veiligheidsmaatregel wordt toegepast tijdens de implementatie, kan dit het beleid beperken tot suboptimale gebieden of leiden tot falen in niet-convexe doelstellingslandschappen, omdat de agent nooit alternatieve veilige oplossingen heeft geleerd.

Hoewel er verschillende veiligheidsbenaderingen bestaan voor op steekproeven gebaseerd RL (bijv. PPO, SAC), die vertrouwen op beleidsgradiënttheorema's, ontbreekt het aan veiligheidsmechanismen voor analytisch gradiëntgebaseerd RL. Deze analytische methoden (bijv. Short-Horizon Actor-Critic, SHAC) maken gebruik van differentieerbare simulatoren om exacte eerste-orde gradiënten van de beloning ten opzichte van acties te berekenen via backpropagatie. Bestaande veiligheidsmaatregelen, vaak ontworpen als nabewerkingsstappen voor op steekproeven gebaseerde methoden, kunnen niet naïef worden toegepast op analytisch gradiëntgebaseerde paradigma's, omdat ze de differentieerbare computationele graaf die nodig is voor backpropagatie kunnen verstoren of falen in het leveren van de nodige gradiëntsignalen voor beleidsoptimalisatie.

Methodologie

De auteurs stellen een kader voor bewezen veilig beleidsoptimalisatie met behulp van analytische gradiënten. De kernbenadering integreert een differentieerbare veiligheidslaag tussen de beleidsoutput en de dynamiek van de omgeving.

1. Kader en Differentieerbaarheid

Het kader behandelt de veiligheidsmaatregel als een differentieerbare afbeelding $g: \mathcal{A} \to \mathcal{A}_s$, waarbij $\mathcal{A}$ de haalbare actieruimte is en $\mathcal{A}_s$ de veilige actieset. Het beleid $\pi$ geeft een actie $a_i$ op, die wordt getransformeerd naar een veilige actie $a_{s,i} = g(a_i)$. De omgeving gaat vervolgens over naar $s_{i+1}$ en levert een beloning $r_i$. Om het beleid te trainen, wordt de gradiënt van de beloning ten opzichte van de beleidsparameters berekend via backpropagatie door de volledige keten, inclusief de veiligheidsmaatregel:
$$\frac{\partial r_i}{\partial a_i} = \left( \frac{\partial r_i}{\partial a_{s,i}} + \frac{\partial r_i}{\partial s_{i+1}}\frac{\partial s_{i+1}}{\partial a_{s,i}} \right) \frac{\partial a_{s,i}}{\partial a_i}$$
Dit vereist dat de veiligheidsmaatregel subdifferentieerbaar is (idealiter $C^1$) en volledige-rang Jacobianen biedt om het leersignaal te voorkomen dat het afzwakt.

2. Veilige Actiesets en Representatie

De auteurs maken gebruik van zonotopen om veilige sets te representeren vanwege hun compactheid en geslotenheid onder lineaire afbeeldingen. Ze onderscheiden tussen:

• Gespecificeerde Veilige Actiesets: Direct gedefinieerde beperkingen.
• Afgeleide Veilige Actiesets: Bereikt via bereikbaarheidsanalyse (bijv. robuust besturingsinvariante sets) om ervoor te zorgen dat het uitvoeren van een actie het systeem binnen een veilige toestandsset $S_s$ houdt.

3. Veiligheidsmechanismen en Aanpassingen

Het artikel analyseert en past twee bestaande differentieerbare veiligheidsmethoden aan:

• Grensprojectie (BP): Maakt een onveilige actie af naar het dichtstbijzijnde punt op de grens van de veilige set.

  • Probleem: Het is niet overal $C^1$ en heeft rang-deficiënte Jacobianen in de richting van de projectie, wat effectief gradiënten elimineert voor acties parallel aan de projectierichting.
  • Aanpassing: De auteurs introduceren een regularisatieterm in de verliesfunctie ($l(a, s, a_s) = l_r(a_s, s) + c_d \|a_s - a\|_2^2$). Dit versterkt de gradiënt in de afbeeldingsrichting, compenseert voor de rang-deficiëntie en moedigt het beleid aan om veilige acties te prefereren.

• Ray Mask (RM): Maakt acties radiaal af naar een "veilig centrum" $c_{As}$ binnen de veilige set.

  • Probleem: De standaard lineaire ray mask verandert veilige acties aanzienlijk en heeft afgezwakte gradiënten in de afbeeldingsrichting.
  • Aanpassingen:
    1. Regularisatie: Vergelijkbaar met BP, om te nudgen naar veiligheid.
    2. Passthrough: Vervanging van de Jacobiaan door een eenheidsmatrix voor snellere berekening en onbelemmerde gradiëntpropagatie (alleen geldig als de optimale actie bekend is als veilig).
    3. Hyperbolische Ray Mask (HRM): Een nieuwe afbeeldingsfunctie die een hyperbolische tangens ($\tanh$) gebruikt om onveilige acties dicht bij de grens af te beelden terwijl veilige acties minimaal worden verstoord. Dit behoudt een volledige Jacobiaan en een gladde afbeelding.

4. Benadering van Veilig Centrum

Voor afgeleide veilige actiesets waar het centrum niet expliciet is gedefinieerd, stelt het artikel twee benaderingsmethoden voor:

• Zonotopische Benadering: Het maximaliseren van het volume van een opgenomen zonotoop.
• Orthogonale Benadering: Het doorboren van de veilige set orthogonaal aan de grens en het nemen van het middelpunt.
  Experimenten suggereren dat de zonotopische aanpak superieure convergentie en uiteindelijke beleidsregels oplevert vanwege zijn continue afbeeldingseigenschappen.

Belangrijkste Bijdragen

1. Eerste Bewezen Veilig Analytisch Gradiënt RL: Het artikel presenteert de eerste effectieve veiligheidsbenadering die specifiek is ontworpen voor analytisch gradiëntgebaseerd versterkend leren.
2. Theoretische Analyse: Een diepgaande analyse van differentieerbare veiligheidsmaatregelen, waarbij vereiste eigenschappen worden geïdentificeerd (veiligheid, subdifferentieerbaarheid, volledige-rang Jacobianen, minimale interventie, snelheid) en wordt aangetoond hoe bestaande methoden zonder aanpassing niet aan deze eisen voldoen.
3. Algoritmische Aanpassingen: De ontwikkeling van gerichte aanpassingen, waaronder geregulariseerde verliesfuncties voor grensprojectie en een nieuwe hyperbolische ray mask, om effectieve gradiëntpropagatie te waarborgen.
4. Empirische Evaluatie: Een uitgebreide evaluatie over drie besturingstaken (slinger, quadcopter en energiemanagement) waarbij analytisch gradiëntmethoden (SHAC) worden vergeleken met op steekproeven gebaseerde baselines (PPO, SAC) onder zowel onveilige als beveiligde training.

Resultaten

De auteurs hebben hun benadering geëvalueerd met het SHAC-algoritme tegen PPO- en SAC-baselines in drie omgevingen:

• Steekproefficiëntie: Bij balancerende taken (slinger, quadcopter) bereikte beveiligd analytisch gradiëntleren (SHAC) betere of vergelijkbare uiteindelijke returns met minder omgevinginteracties dan op steekproeven gebaseerde methoden.
• Behoud van Prestaties: In tegenstelling tot de vrees dat veiligheidsmaatregelen de prestaties verslechteren, maakten de aangepaste veiligheidsmaatregelen (specifiek geregulariseerde BP en HRM) het mogelijk dat SHAC returns bereikte die gelijk waren aan, of zelfs hoger waren dan, onveilige training bij balancerende taken.
• Energiesysteemtaak: Bij de energiemanagementtaak (gekenmerkt door hoge ruis) presteerde SHAC aanvankelijk slechter dan PPO in onveilige instellingen. Echter, bij beveiligde training toonde SHAC aanzienlijke verbetering, waardoor de prestatiekloof met PPO werd verkleind. De auteurs schrijven dit toe aan het stabiliserende effect van afgezwakte gradiënten in omstandigheden met ruis.
• Convergentie: De introductie van regularisatie verminderde het aantal niet-convergente runs aanzienlijk, met name voor grensprojectie in de eendimensionale slingertaak waar gradiëntverlies eerder fataal was.
• Berekeningskosten: Veiligheidsmaatregelen brengen rekenkosten met zich mee. Grensprojectie verhoogde de trainingstijd met ongeveer 5x, en Ray Mask met bijna 10x in vergelijking met onveilige training, voornamelijk vanwege de optimalisatieoplossers (CVXPY) die nodig zijn voor de beperkingen van de veilige set.

Betekenis en Claims

Het artikel claimt een kritieke kloof in veilig versterkend leren te overbruggen door bewezen veilige training mogelijk te maken voor het hoogpresterende analytisch gradiëntgebaseerde paradigma. De auteurs stellen dat:

• Veiligheidsmaatregelen direct kunnen worden geïntegreerd in de trainingslus van analytisch gradiënt RL zonder prestaties te compromitteren, mits de veiligheidsmaatregelen differentieerbaar zijn en gradiënten behouden blijven.
• De voorgestelde aanpassingen (regularisatie en hyperbolische afbeelding) essentieel zijn om de rang-deficiëntie en gradiëntonderdrukking te overwinnen die inherent zijn aan naïeve toepassingen van bestaande veiligheidsmaatregelen.
• Deze benadering de "sim-naar-real"-overdracht faciliteert door ervoor te zorgen dat agenten veilige gedragingen leren tijdens simulatie, wat het risico op falen vermindert bij implementatie in veiligheidskritieke real-world scenario's.

Het werk concludeert dat hoewel rekenkosten een uitdaging blijven, de afweging gerechtvaardigd is door het vermogen om agenten te trainen met formele veiligheidsgaranties, waardoor het potentieel van analytisch gradiënt RL voor veiligheidskritieke robotica wordt ontsloten.