Approximating Safety Feedback Without a Safety Oracle via Model Predictive Control

Technische Samenvatting: Benaderen van Veiligheidsfeedback Zonder Veiligheidsorakel via Model Predictive Control

Probleemstelling
Veilige besluitvorming voor mobiele robots is vaak afhankelijk van het bestaan van een "veiligheidsorakel" — een mechanisme om te verifiëren of voorgestelde acties veiligheidsbeperkingen schenden. Huidige methoden, zoals Control Barrier Functions, Backward Reachable Tubes en Safe Reinforcement Learning (Safe RL) discriminators, vereisen doorgaans voorafgaande kennis van expliciete veiligheidsbeperkingen of toegang tot grond-waarheid veiligheidslabels tijdens het trainen. Echter, in complexe omgevingen (bijvoorbeeld snelle navigatie over ongelijk terrein of robotmanipulatie in open werkcellen) zijn veiligheidsbeperkingen vaak impliciet, moeilijk wiskundig te modelleren of onvolledig begrepen. Hoewel simulatoren complexe dynamica kunnen modelleren, bieden ze inherent geen veiligheidsfunctie. Bestaande benaderingen die proberen veiligheidsproxies te leren (bijvoorbeeld via Gaussische Processen of deep learning discriminators) vereisen vaak waarneembare grond-waarheid voor labeling of maken sterke aannames over de gladheid van de veiligheidsfunctie, wat hun toepasbaarheid in de echte wereld beperkt. Bovendien lopen veel reversibele exploratiemethoden nog steeds het risico om onveilige acties te ondernemen tijdens het leerproces.

Methodologie: SAVMPC
Het artikel stelt Safety Assessment Via Model-Predictive Control (SAVMPC) voor, een filteralgoritme dat is ontworpen om veiligheidsfeedback te benaderen zonder directe toegang tot een veiligheidsorakel of handmatig ontworpen beperkingen. De methode werkt onder twee primaire aannames:

1. Positieve Invariantie van Onveilige Toestanden: De onveilige toestandsruimte ($X_{unsafe}$) is positief invariant, wat betekent dat eenmaal een agent een onveilige toestand betreedt, het niet kan herstellen naar een veilige toestand.
2. Reversibiliteit als Proxy: Als een agent kan overgaan van een huidige toestand $x$ naar een toekomstige toestand $x'$ en vervolgens een reeks acties kan vinden om van $x'$ terug te keren naar $x$, dan behoren $x$ en $x'$ tot dezelfde set. Gegeven de positieve invariantie van $X_{unsafe}$, als er een terugkeerpad bestaat naar een bekende veilige toestand, zijn de tussenliggende toestanden ook veilig.

Algoritmische Werkwijze:
SAVMPC fungeert als een schild tijdens de actieselectie:

1. Actievoorstel: Het controlebeleid $\pi$ stelt een actie $u$ voor in toestand $x$.
2. Voorwaartse Projectie: De actie wordt voorwaarts geprojecteerd met behulp van een simulator (zwart-doos dynamica $f_{dyn}$) naar een kandidaat-volgende toestand $x'$.
3. Reversibiliteitscontrole: Het algoritme maakt gebruik van de Model-Predictive Path Integral (MPPI) controller om te proberen een reeks acties te vinden die de agent van $x'$ terug naar de oorspronkelijke toestand $x$ (of een vorige toestand in de traject) overbrengt.
   • Dit wordt geformuleerd als een haalbaarheidsprobleem: vind een besturingsreeks $u_0, \dots, u_{T-1}$ zodat het resulterende traject binnen een tolerantie $\delta$ over een tijdshorizon $T$ $x$ bereikt.
4. Besluit:
   • Als MPPI een geldig terugkeerpad vindt, wordt de actie $u$ als veilig beschouwd en uitgevoerd.
   • Als er binnen de bemonsteringslimiet geen terugkeerpad wordt gevonden, wordt de actie afgewezen en hersamplet het beleid. Als hersampling na $N$ pogingen mislukt, wordt het traject afgebroken en wordt de omgeving gereset.

Deze aanpak stelt het systeem in staat veiligheid te verifiëren door ervoor te zorgen dat geen enkele actie leidt tot een "dode hoek" waaruit de agent niet kan terugkeren naar een bekend veilig gebied.

Belangrijkste Bijdragen

1. SAVMPC Algoritme: Een nieuw filteralgoritme dat veilige actieselectie mogelijk maakt door terug te plannen naar bekende veilige toestanden met behulp van reversibiliteit, waardoor de behoefte aan handmatig geconstrueerde beperkingen of grond-waarheid veiligheidslabels wordt geëlimineerd.
2. Conservatieve Beperkingsschatting: Een uitbreiding van het reversibiliteitsplanningsalgoritme dat expliciet een conservatieve schatting berekent van onbekende omgevingsbeperkingen.
3. Empirische Validatie: Evaluatie van SAVMPC als schild in Reinforcement Learning (RL) training, waarbij prestaties worden aangetoond die vergelijkbaar zijn met orakelgebaseerde schermen, terwijl het andere op reversibiliteit gebaseerde benaderingen (RAC, LNT) overtreft wat betreft veiligheidsgaranties.

Experimentele Resultaten
De auteurs evalueerden SAVMPC in twee omgevingen: Continuous Cartpole en Twee-dimensionale Navigatie.

• Onderzoek naar Meningsverschillen: In een simulatie met 300.000 trajecten werd SAVMPC vergeleken met een grond-waarheid veiligheidsorakel. De resultaten toonden aan dat SAVMPC geen enkele vals-negatief produceert (het classificeert nooit een onveilige toestand als veilig). Meningsverschillen traden voornamelijk op bij de grenzen van beperkingen, waarbij het algoritme conservatiever was (de onveilige regio overbenaderde) bij het gebruik van strakkere veiligheidstoleranties ($\delta$).
• Prestaties bij RL-training:
  • Continuous Cartpole: SAVMPC behaalde een uiteindelijke beloning die vergelijkbaar was met het PPO-algoritme uitgerust met een echt Veiligheidsorakel-schild en aanzienlijk hoger dan de basislijn PPO, RAC en Leave No Trace (LNT). Cruciaal behield SAVMPC 0,0% schendingen van beperkingen, terwijl de basislijn en andere reversibele methoden aanzienlijke schendingen opliepen (tot 77,3%).
  • 2D Navigatie: SAVMPC presteerde beter dan het Veiligheidsorakel-schild in de uiteindelijke beloning (842,74 versus 782,23) terwijl het 0,0% schendingen van beperkingen behield. Het convergeerde sneller dan andere methoden, wat wordt toegeschreven aan zijn conservatieve benadering die de exploratieruimte effectief verkleint.
  • Vergelijking: In tegenstelling tot RAC en LNT, die veiligheidsbenaderingen in de loop van de tijd leerden en toch schendingen opliepen, dwong SAVMPC veiligheid af vanaf de eerste stap zonder bevoorrechte informatie.

Betekenis en Beweringen
Het artikel beweert dat SAVMPC een praktische oplossing biedt voor veilige besluitvorming in omgevingen waar veiligheidsbeperkingen complex of onbekend zijn. Door gebruik te maken van de aanname van positieve invariantie en de rekenkracht van MPPI binnen een simulator, benadert de methode de prestaties van een veiligheidsorakel zonder dat grond-waarheid labels nodig zijn. De auteurs benadrukken dat het algoritme garandeert dat een agent geen enkele onveilige actie uitvoert in de onderliggende omgeving, waardoor de kloof tussen theoretische veiligheidsgaranties en de praktische beperkingen van het modelleren van complexe fysieke beperkingen effectief wordt overbrugd. Het werk suggereert dat reversibiliteit kan dienen als een robuuste, datavrije proxy voor veiligheid in scenario's waar traditionele beperkingsmodellering niet haalbaar is.