Technische Samenvatting: Safe Stochastic Explorer (S.S. Explorer)

Probleemstelling

Autonome robots die opereren in ongestructureerde, veiligheidskritische omgevingen (bijv. planetaire verkenning, magazijnen, huizen) moeten navigeren en interageren met hun omgeving waar systeemdynamica en veiligheidskarakteristieken niet volledig bekend zijn. Bestaande veilige besturingsmethoden, zoals Hamilton-Jacobi Reachability (HJR) en Control Barrier Functions (CBFs), gaan doorgaans uit van bekende systeemdynamica. Daartegenover staan bestaande veilige exploratietechnieken die vaak geen rekening houden met de onvermijdelijke stochasticiteit die inherent is aan interacties in de echte wereld, zoals een rover die slipt op onbekend terrein of een robot die onbekende objecten duwt.

Het kernprobleem dat wordt aangepakt is veilige, doelgestuurde exploratie in onbekende omgevingen onder stochastische dynamica. De robot moet twee concurrerende doelstellingen balanceren:

1. Exploratie: Informatie verzamelen om de onzekerheid over de veiligheidseigenschappen van de omgeving te verminderen.
2. Veiligheid: Met een hoge mate van vertrouwen garanderen dat de robot gedurende de gehele operatie binnen een veilige set blijft, ondanks stochastische toestandsveranderingen.

Het artikel definieert de veiligheidsfunctie $q(x)$ als onbekend, waarbij een toestand onveilig is als $q(x) > q_T$. De agent opereert onder een stochastisch transitiemodel $x_{t+1} \sim p(x_{t+1}|x_t, a_t)$ en streeft ernaar een doel te bereiken dat een prestatiefunctie $f(x)$ maximaliseert zonder de veiligheidsbeperkingen te schenden.

Methodologie

De auteurs stellen de Safe Stochastic Explorer (S.S. Explorer) voor, een framework dat gebruikmaakt van Gaussian Processes (GPs) om de onbekende veiligheidsfunctie online te leren. De methode maakt gebruik van de voorspellende onzekerheid van GPs om informatie-verzamelende acties te sturen, terwijl het tegelijkertijd probabilistische grenzen biedt op veiligheidschendingen. Het framework wordt gepresenteerd in drie varianten:

1. Formulering met discrete toestandsruimte

Voor eindige, discrete toestandsruimten modelleert de methode de beweging van de agent als een Markov-keten. Het definieert "volledig veilige" toestanden via drie iteratieve criteria:

• Onmiddellijke Veiligheid: De veiligheidskosten van de toestand liggen met een hoge waarschijnlijkheid onder de drempelwaarde.
• Veilige Stochastische Terugkeer: Er bestaat een gegarandeerd traject terug naar de initiële veilige set zonder de set van onmiddellijk veilige toestanden te verlaten, wat recursieve haalbaarheid garandeert.
• Veilige Stochastische Aankomst: De agent kan naar de toestand vanuit de huidige veilige set overgaan, waarbij de gehele stochastische aankomstverdeling binnen de veilige grenzen blijft.

Het algoritme gebruikt set-expansie en verfijningsoperatoren:

• Onmiddellijke Veilige Expansie ($\bar{I}$): Gebruikt GP bovenste/onderste betrouwbaarheidsgrenzen ($u_t(x), l_t(x)$) en Lipschitz-continuïteitsveronderstellingen om de set van toestanden die als veilig worden beschouwd uit te breiden.
• Veilige Stochastische Terugkeer Verfijning ($\bar{R}$): Beperkt iteratief de veilige set tot toestanden waarvanuit de agent kan terugkeren naar de veilige kern, ondanks stochastische afwijkingen.
• Veilige Stochastische Aankomst Verfijning ($\bar{m}$): Zorgt ervoor dat de distributie van toestanden die in één stap bereikbaar zijn vanuit de veilige set, veilig blijft.

De agent selecteert acties door "kandidaat-expanders" te identificeren—onzekere maar pessimistisch veilige toestanden nabij de grens van de veilige set die informatie bieden over doelgebieden.

2. Formulering met continue toestandsruimte

Om schaalbaarheid in continue domeinen aan te pakken, introduceren de auteurs een relaxatie. In plaats van complexe sets bij te houden, gebruiken ze indicatorfuncties afgeleid van GP posterior-distributies.

• Relaxatie: De strikte "Veilige Stochastische Terugkeer"-garantie wordt versoepeld om alleen "Veilige Stochastische Aankomst" en onmiddellijke veiligheid te waarborgen. Dit verwijdert de garantie op taakvoltooiing (het voorkomen van vastlopen), maar waarborgt instantane veiligheid.
• Analytische Berekening: Om de stochastische aankomst van een Gaussische transitiedistributie $T(x, a) \sim \mathcal{N}(\mu, \Sigma)$ te behandelen, gebruikt de methode moment-matching om de distributie van de veiligheidswaarde van de aankomsttoestand analytisch te berekenen. Dit maakt de directe evaluatie van veiligheidsindicatoren mogelijk zonder sampling.
• Padveiligheid: Lipschitz-continuïteit wordt gebruikt om de veiligheidsdrempel aan te passen ($q_T' = q_T - L \cdot d_{max}/2$) om veiligheid langs het continue traject tussen discrete planningstappen te garanderen.

3. Object-centrische Formulering

Het framework wordt uitgebreid naar scenario's die fysieke interactie met meerdere onbekende objecten omvatten (bijv. het duwen van items op een plank).

• Object-centrische Representatie: Om bewegende objecten te behandelen, wordt veiligheid gemodelleerd in de relatieve toestandsruimte van de robot ten opzichte van elk object. Dit stelt de GP in staat om eerdere interactiedata te hergebruiken, zelfs als de objectposities veranderen.
• Multi-Object Veiligheid: De globale veiligheidsfunctie wordt gedefinieerd als de maximale veiligheidskosten over alle objecten. De totale veilige set wordt berekend als de doorsnede van de individuele veilige sets voor elk object.
• Implementatie: In het continue geval wordt dit geïmplementeerd door aparte GPs voor elk object te trainen en hun slechtste geval (worst-case) probabilistische grenzen te aggregeren tijdens de voorspelling, waardoor de computationele kosten van het expliciet doorsnijden van hoogdimensionale sets worden vermeden.

Belangrijkste Bijdragen

1. Discrete Veilige Exploratie: Een nieuwe methode voor veilige exploratie in discrete toestandsruimten met stochastische transities, gebruikmakend van GP-gebaseerde onzekerheid om veiligheidschendingen te begrenzen en een veilige stochastische terugkeer te garanderen.
2. Continue Relaxatie: Een schaalbare relaxatie voor continue toestandsruimten die veiligheidsgaranties (onmiddellijke veiligheid en veilige aankomst) behoudt terwijl de computationele efficiëntie in de echte wereld verbetert, zij het met een versoepelde garantie op taakvoltooiing.
3. Veilige Objectinteractie: Een toepassingsgestuurde uitbreiding die aantoont hoe het framework veilige fysieke interactie met meerdere onbekende objecten waarborgt door veiligheid in relatieve coördinaten te modelleren en veilige sets te snijden.

Experimentele Resultaten

De auteurs hebben de S.S. Explorer gevalideerd via uitgebreide simulaties en hardware-experimenten:

• Grondrobot (Discreet): In 80 proeven over 8 omgevingen met een hoge stochastiek ($p=0.35$ voor beoogde bewegingen), behaalde S.S. Explorer een succespercentage van 100% met 0% veiligheidsschendingen. Ter vergelijking behaalde een baseline-methode (die stochastiek negeerde) slechts 35% succes en 65% schendingen.
• Grondrobot (Continu): Over 425 trajecten behaalde S.S. Explorer een succespercentage van 70,35% met een violeringspercentage van 6,82%, wat aanzienlijk beter is dan de baseline (41,8% succes, 49,8% schending). Een variant met dynamische $\beta$-schaling (het aanpassen van conservatisme op basis van voortgang) behaalde een succespercentage van 88,47% met een violeringspercentage van 9,88%.
• Veilige Object (Simulatie): In 55 proeven waarbij een robotarm onbekende objecten duwde, bereikte de stochastische formulering tot 81,8% succes met 0% schendingen (bij specifieke variantie-instellingen), terwijl de baseline 50,9% van de tijd faalde.
• Hardware: Werkelijke experimenten met een Franka Emika Panda-arm navigeerden succesvol over een tafel met Pringles-blikjes van variërende massa's. De methode bereikte het doel zonder objecten om te werpen, terwijl een naïeve baseline de objecten omver wierp, wat een veiligheidsschending betekende.

Betekenis en Claims

Het artikel claimt dat S.S. Explorer een stap voorwaarts is naar het mogelijk maken van betrouwbare, wijdverspreide robotautonomie in complexe, onzekere omgevingen. De betekenis ligt in:

• Het overbruggen van de kloof: Expliciet rekening houden met stochastische dynamica bij veilige exploratie, een kritiek gat dat wordt achtergelaten door eerdere methoden die uitgaan van bekende dynamica of transitie-onzekerheid negeren.
• Omgaan met onbekende Interacties: Het bieden van een principieel framework voor veilige fysieke interactie met onbekende objecten, wat verder gaat dan eenvoudige botsingsvermijding naar het beheren van interactiedynamica (bijv. kantelen, wrijving).
• Balans tussen Veiligheid en Prestaties: Het aantonen dat door gebruik te maken van onzekerheid (via GPs) en stochastische modellering, robots effectiever kunnen verkennen en vaker doelen kunnen bereiken dan deterministische baselines, die bij real-world ruis de neiging hebben te falen of veiligheid te schenden.

De auteurs erkennen beperkingen, waaronder de computationele schaalbaarheid van GPs ($O(N^3)$), de afhankelijkheid van voorkennis van systeemgrenzen (bijv. Lipschitz-constanten), en de afweging tussen veiligheid en prestaties. Ze merken op dat de continue en object-centrische varianten de "veilige stochastische terugkeer"-garantie versoepelen, wat betekent dat de robot theoretisch vast kan komen te zitten, hoewel hij instantane veiligheid behoudt. Toekomstig werk richt zich op het herintroduceren van terugkeergaranties en het afhandelen van complexe interacties tussen objecten.