💻 Informatik

Safe Stochastic Explorer: Enabling Safe Goal Driven Exploration in Stochastic Environments and Safe Interaction with Unknown Objects

Dieses Paper stellt den Safe Stochastic Explorer (S.S.Explorer) vor, ein neuartiges Framework, das es autonomen Robotern ermöglicht, sicher in stochastischen Umgebungen zu navigieren und mit unbekannten Objekten zu interagieren, indem Gauß-Prozesse genutzt werden, um Sicherheitsfunktionen online zu lernen und die Informationsgewinnung mit probabilistischen Sicherheitsgarantien in Einklang zu bringen.

Ursprüngliche Autoren: Nikhil Uday Shinde, Dylan Hirsch, Michael C. Yip, Sylvia Herbert

Veröffentlicht 2026-02-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nikhil Uday Shinde, Dylan Hirsch, Michael C. Yip, Sylvia Herbert

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Roboter, der in einen völlig unbekannten Raum geschickt wurde, um einen bestimmten Schatz zu finden. Das Problem ist: Sie kennen den Grundriss nicht und der Boden ist rutschig. Manchmal, wenn Sie versuchen, vorwärts zu gehen, können Sie zur Seite gleiten oder unerwartet herumwirbeln. Wenn Sie auf eine „Falle“ treten (einen unsicheren Bereich), gehen Sie kaputt.

Die meisten bestehenden Sicherheitssysteme für Roboter sind wie ein Fahrer, der nur weiß, wie man auf einer perfekt kartierten, trockenen Autobahn fährt. Sie setzen voraus, dass sie genau wissen, wie das Auto auf das Lenkrad reagieren wird. Aber in der realen Welt ist es chaotisch. Ein Roboter könnte auf Eis ausrutschen, oder ein Haushaltsroboter könnte ein Glas schieben, das sich als schwerer herausstellt als gedacht, was dazu führt, dass er umkippt.

Dieses Paper stellt ein neues System namens S.S. Explorer (Safe Stochastic Explorer) vor. Denken Sie an einen Roboter, der nicht nur „hofft“, nicht auszurutschen; er plant aktiv die Möglichkeit des Ausrutschens ein.

So funktioniert es, unterteilt in einfache Konzepte:

1. Das Problem des „rutschigen Bodens“ (Stochastik)

In der realen Welt sind Handlungen nicht perfekt. Wenn man einem Roboter sagt, er solle vorwärts fahren, bewegt er sich vielleicht nach vorne-links oder nach vorne-rechts. Diese Zufälligkeit wird als Stochastik bezeichnet.

Der alte Weg: Frühere Methoden gingen davon aus, dass der Roboter genau dorthin geht, wohin er geschickt wird. Wenn der Boden rutschig war, rutschte der Roboter versehentlich in eine Falle und ging kaputt.
Der S.S. Explorer-Weg: Dieser Roboter geht davon aus, dass der Boden vielleicht rutschig ist. Er fragt sich: „Wenn ich versuche, mich hierhin zu bewegen, wie hoch ist die Wahrscheinlichkeit, dass ich in eine Falle gleite?“ Er bewegt sich nur, wenn er statistisch sehr sicher ist, dass er nicht in Gefahr gerät.

2. Die „Mystery Box“-Karte (Lernen von Sicherheit)

Der Roboter weiß nicht, welche Teile des Raumes sicher (wie ein glatter Boden) und welche gefährlich (wie eine Grube oder eine zerbrechliche Vase) sind.

Das Werkzeug: Der Roboter verwendet ein mathematisches Werkzeug namens Gauß-Prozess. Stellen Sie sich dies als einen „intelligenten Ratenden“ vor. Während der Roboter verschiedene Stellen berührt, erstellt er eine Karte der Sicherheit.
Die Magie: Dieser „intelligente Ratende“ rät nicht nur das Sicherheitsniveau; er rät auch, wie unsicher er sich ist.
- Wenn der Roboter unsicher ist, weiß er, dass er mehr Informationen sammeln muss (explorieren), um sicher zu sein.
- Wenn er sich sehr sicher ist, dass ein Fleck sicher ist, bewegt er sich dorthin.
- Wenn er sich sehr sicher ist, dass ein Fleck gefährlich ist, vermeidet er ihn.

3. Die drei Sicherheitsregeln

Um sicherzustellen, dass der Roboter niemals stecken bleibt oder kaputtgeht, befolgt S.S. Explorer drei strenge Regeln, bevor er einen Schritt macht:

Unmittelbare Sicherheit: „Ist der Fleck, auf dem ich gerade stehe, sicher?“
Sichere Rückkehr: „Wenn ich einen Schritt mache und versehentlich in die falsche Richtung gleite, gibt es dann garantiert einen Weg zurück zu einem sicheren Ort?“ (Dies verhindert, dass der Roboter in einer Sackgasse landet).
Sichere Ankunft: „Wenn ich versuche, mich zu einem neuen Ort zu bewegen, ist es möglich, dass der gesamte Bereich der Orte, an die ich gleiten könnte, ebenfalls sicher ist?“

4. Die Herausforderung des „Gläser-Schiebens“ (Objektinteraktion)

Das Paper testet dies auch an einem Roboterarm, der versucht, unbekannte Objekte (wie Gläser oder Flaschen) über einen Tisch zu schieben.

Das Problem: Der Roboter weiß nicht, wie schwer die Gläser sind oder wie rutschig sie sind. Das Schieben eines Objekts könnte dazu führen, dass es umkippt und den Inhalt verschüttet.
Die Lösung: Der Roboter behandelt die Interaktion als ein „rutschiges“ Ereignis. Er verwendet eine spezielle „relative Karte“. Anstatt zu denken: „Das Glas ist an Position X“, denkt er: „Das Glas ist 2 Zoll rechts von mir“. Dies ermöglicht es dem Roboter zu lernen, dass „das Schieben eines Objekts 2 Zoll nach rechts sicher ist“, unabhängig davon, wo sich das Objekt tatsächlich auf dem Tisch befindet.
Das Ergebnis: Der Roboter lernt, welche Objekte stabil genug zum Schieben sind und welche zu wackelig sind, und navigiert so sicher um sie herum, ohne etwas umzukippen.

5. Die Ergebnisse: Simulation und Realität

Die Autoren testeten dies auf zwei Arten:

Computersimulationen: Sie erstellten virtuelle Roboter in 2D-Gittern mit „Kratern“ (Gefahrenzonen) und „rutschigen“ Bewegungen.
- Das Ergebnis: Die alten Methoden scheiterten oft, da sie in die Gefahr rutschten. S.S. Explorer war in den diskreten Tests 100 % erfolgreich und in den kontinuierlichen Tests fast 90 % erfolgreich, selbst wenn die „Rutschigkeit“ sehr hoch war.
Echte Hardware: Sie bauten einen echten Roboterarm mit einem Spatel-Aufsatz und ließen ihn Pringles-Dosen (gefüllt mit Steinen, um das Gewicht zu variieren) über einen Tisch schieben.
- Das Ergebnis: Ein „naiver“ Roboter (einer, der nicht mit Zufälligkeit rechnet) stieß die Dosen um. S.S. Explorer schob die Dosen vorsichtig, fand heraus, welche stabil genug waren, und erreichte die andere Seite des Tisches, ohne auch nur einen einzigen Chip zu verschütten.

Zusammenfassung

S.S. Explorer ist ein neuer Weg für Roboter, das Unbekannte zu erkunden. Anstatt vorzugeben, dass die Welt perfekt und vorhersehbar ist, gibt er zu, dass Dinge schiefgehen können (gleiten, rutschen, umkippen). Er nutzt intelligente Mathematik, um ständig seine „Sicherheitskarte“ zu aktualisieren, und stellt so sicher, dass er selbst dann, wenn er einen Fehler macht, immer einen Weg zurück zur Sicherheit findet. Dies ermöglicht es Robotern, in unordentlichen, unvorhersehbaren Umgebungen wie Haushalten, Lagern oder Katastrophengebieten zu arbeiten, ohne Dinge zu beschädigen oder Menschen zu verletzen.

Technisches Resümee: Safe Stochastic Explorer (S.S. Explorer)

Problemstellung

Autonome Roboter, die in unstrukturierten, sicherheitskritischen Umgebungen operieren (z. B. planetare Exploration, Lagerhäuser, Haushalte), müssen in Umgebungen navigieren und mit diesen interagieren, in denen die Systemdynamik und die Sicherheitseigenschaften nicht vollständig bekannt sind. Bestehende sichere Steuerungsverfahren, wie etwa die Hamilton-Jacobi-Erreichbarkeit (HJB) und Control Barrier Functions (CBFs), setzen typischerweise bekannte Systemdynamiken voraus. Umgekehrt versagen bestehende Techniken zur sicheren Exploration oft dabei, die unvermeidliche Stochastik zu berücksichtigen, die in realen Interaktionen inhärent ist, wie etwa das Rutschen eines Rovers auf unbekanntem Terrain oder ein Roboter, der unkartierte Objekte verschiebt.

Das Kernproblem, das adressiert wird, ist die sichere, zielorientierte Exploration in unbekannten Umgebungen unter stochastischer Dynamik. Der Roboter muss zwei konkurrierende Ziele ausbalancieren:

Exploration: Informationsgewinnung, um die Unsicherheit über die Sicherheitseigenschaften der Umgebung zu verringern.
Sicherheit: Sicherstellen, dass der Roboter mit hoher Konfidenz während seines gesamten Betriebs innerhalb einer sicheren Menge bleibt, trotz stochastischer Zustandsübergänge.

Das Paper definiert die Sicherheitsfunktion $q(x)$ als unbekannt, wobei ein Zustand unsicher ist, wenn $q(x) > q_T$ . Der Agent operiert unter einem stochastischen Übergangsmodell $x_{t+1} \sim p(x_{t+1}|x_t, a_t)$ und zielt darauf ab, ein Ziel zu erreichen, das eine Leistungsfunktion $f(x)$ maximiert, ohne Sicherheitsbeschränkungen zu verletzen.

Methodik

Die Autoren schlagen den Safe Stochastic Explorer (S.S. Explorer) vor, ein Framework, das Gauß-Prozesse (GPs) nutzt, um die unbekannte Sicherheitsfunktion online zu lernen. Die Methode nutzt die prädiktive Unsicherheit von GPs, um informationsbeschaffende Aktionen zu steuern und gleichzeitig probabilistische Schranken für Sicherheitsverletzungen bereitzustellen. Das Framework wird in drei Variationen präsentiert:

1. Formulierung im diskreten Zustandsraum

Für endliche, diskrete Zustandsräume modelliert die Methode die Bewegung des Agenten als Markow-Kette. Sie definiert „vollständig sichere“ Zustände durch drei iterative Kriterien:

Unmittelbare Sicherheit: Die Sicherheitskosten des Zustands liegen mit hoher Wahrscheinlichkeit unter dem Schwellenwert.
Sichere stochastische Rückkehr (Safe Stochastic Return): Es existiert eine garantierte Trajektorie zurück zum ursprünglichen sicheren Set, ohne die Menge der unmittelbar sicheren Zustände zu verlassen, was die rekursive Zulässigkeit gewährleistet.
Sichere stochastische Ankunft (Safe Stochastic Arrival): Der Agent kann von dem aktuellen sicheren Set in den Zustand übergehen, wobei die gesamte stochastische Ankunftskonzentration innerhalb sicherer Grenzen bleibt.

Der Algorithmus verwendet Set-Expansions- und Verfeinerungsoperatoren:

Unmittelbare sichere Expansion ( $\bar{I}$ ): Nutzt GP-Obere- und Untergrenzen ( $u_t(x), l_t(x)$ ) sowie Annahmen über die Lipschitz-Stetigkeit, um die Menge der als sicher geglaubten Zustände zu erweitern.
Verfeinerung der sicheren stochastischen Rückkehr ( $\bar{R}$ ): Beschränkt das sichere Set iterativ auf Zustände, von denen aus der Agent trotz stochastischer Abweichungen in den sicheren Kern zurückkehren kann.
Verfeinerung der sicheren stochastischen Ankunft ( $\bar{m}$ ): Stellt sicher, dass die Verteilung der Zustände, die in einem Schritt aus dem sicheren Set erreichbar sind, sicher bleibt.

Der Agent wählt Aktionen aus, indem er „Kandidat-Expander“ identifiziert – unsichere, aber pessimistisch sichere Zustände nahe der Grenze des sicheren Sets, die Informationen über Zielregionen liefern.

2. Kontinuierliche Zustandsraum-Formulierung

Um die Skalierbarkeit in kontinuierlichen Domänen zu adressen, führen die Autoren eine Relaxation ein. Anstatt komplexe Mengen zu verfolgen, verwenden sie Indikatorfunktionen, die aus den GP-Posterior-Verteilungen abgeleitet sind.

Relaxation: Die strikte Garantie der „sicheren stochastischen Rückkehr“ wird relaxiert, um nur die „sichere stochastische Ankunft“ und unmittelbare Sicherheit zu gewährleisten. Dies entfernt die Garantie der Aufgabenerfüllung (Vermeidung des Feststeckens), gewährleistet aber instantane Sicherheit.
Analytische Berechnung: Um die stochastische Ankunft einer Gaußschen Übergangsverteilung $T(x, a) \sim \mathcal{N}(\mu, \Sigma)$ zu handhaben, nutzt die Methode Moment Matching, um die Sicherheitswertverteilung des Ankunftszustands analytisch zu berechnen. Dies ermöglicht die direkte Evaluierung von Sicherheitsindikatoren ohne Sampling.
Pfad-Sicherheit: Die Lipschitz-Stetigkeit wird verwendet, um den Sicherheitsschwellenwert ( $q_T' = q_T - L \cdot d_{max}/2$ ) anzupassen, um die Sicherheit entlang der kontinuierlichen Trajektorie zwischen diskreten Planungsschritten zu garantieren.

3. Objektzentrierte Formulierung

Das Framework wird auf Szenarien mit der physischen Interaktion mit mehreren unbekannten Objekten erweitert (z. B. das Verschieben von Gegenständen auf einem Regal).

Objektzentrierte Repräsentation: Um bewegliche Objekte zu handhaben, wird die Sicherheit im relativen Zustandsraum des Roboters in Bezug auf jedes Objekt modelliert. Dies ermöglicht es dem GP, vergangene Interaktionsdaten wiederzuverwenden, selbst wenn sich die Objektpositionen ändern.
Multi-Objekt-Sicherheit: Die globale Sicherheitsfunktion ist definiert als das Maximum der Sicherheitskosten über alle Objekte hinweg. Das gesamte sichere Set wird als Schnittmenge der individuellen sicheren Sets für jedes Objekt berechnet.
Implementierung: Im kontinuierlichen Fall wird dies durch das Training separater GPs für jedes Objekt implementiert, wobei deren Worst-Case-Wahrscheinlichkeitsgrenzen während der Prädiktion aggregiert werden, um die Rechenkosten einer expliziten Schnittmenge hochdimensionaler Mengen zu vermeiden.

Zentrale Beiträge

Diskrete sichere Exploration: Eine neuartige Methode zur sicheren Exploration in diskreten Zustandsräumen mit stochastischen Übergängen, die GP-basierte Unsicherheit nutzt, um Sicherheitsverletzungen zu begrenzen und eine sichere stochastische Rückkehr zu garantieren.
Kontinuierliche Relaxation: Eine skalierbare Relaxation für kontinuierliche Zustandsräume, die Sicherheitsgarantien (unmittelbare Sicherheit und sichere Ankunft) beibehält und gleichzeitig die Effizienz für reale Domänen verbessert, wenngleich die Garantie der Aufgabenerfüllung relaxiert wird.
Sichere Objektinteraktion: Eine anwendungsorientierte Erweiterung, die demonstriert, wie das Framework die sichere physische Interaktion mit mehreren unbekannten Objekten durch Modellierung der Sicherheit in relativen Koordinaten und die Schnittmenge sicherer Sets gewährleistet.

Experimentelle Ergebnisse

Die Autoren validierten den S.S. Explorer durch umfangreiche Simulationen und Hardware-Experimente:

Bodenroboter (Diskret): In 80 Testläufen über 8 Umgebungen mit hoher Stochastizität ( $p=0,35$ für beabsichtigte Bewegungen) erreichte S.S. Explorer eine Erfolgsquote von 100 % bei 0 % Sicherheitsverletzungen. Im Gegensatz dazu erreichte eine Baseline-Methode (die Stochastizität ignorierte) nur 35 % Erfolg und 65 % Verletzungen.
Bodenroboter (Kontinuierlich): Über 425 Trajektorien hinweg erreichte S.S. Explorer eine Erfolgsquote von 70,35 % mit einer Verletzungsrate von 6,82 %, was die Baseline (41,8 % Erfolg, 49,8 % Verletzung) deutlich übertraf. Eine Variante mit dynamischer $\beta$ -Skalierung (Anpassung der Konservativität basierend auf dem Fortschritt) erreichte eine Erfolgsquote von 88,47 % mit einer Verletzungsrate von 9,88 %.
Sicheres Objekt (Simulation): In 55 Versuchen mit einem Roboterarm, der unbekannte Objekte schiebt, erreichte die stochastische Formulierung bis zu 81,8 % Erfolg mit 0 % Verletzungen (bei spezifischen Varianz-Einstellungen), während die Baseline in 50,9 % der Fälle scheiterte.
Hardware: Reale Experimente mit einem Franka Emika Panda Arm navigierten erfolgreich über einen Tisch mit Pringles-Dosen unterschiedlicher Masse. Die Methode erreichte das Ziel, ohne Objekte umzukippen, während eine naive Baseline die Objekte umstieß und somit die Sicherheit verletzte.

Bedeutung und Ansprüche

Das Paper behauptet, dass der S.S. Explorer einen Schritt in Richtung zuverlässiger, weitverbreiteter Roboterautonomie in komplexen, unsicheren Umgebungen darstellt. Seine Bedeutung liegt in:

Überbrückung der Lücke: Explizite Berücksichtigung stochastischer Dynamiken in der sicheren Exploration, eine kritische Lücke, die durch bisherige Methoden hinterlassen wurde, welche bekannte Dynamiken voraussetzen oder Übergangsunsicherheiten vernachlässigen.
Umgang mit unbekannten Interaktionen: Bereitstellung eines fundierten Frameworks für die sichere physische Interaktion mit mehreren unbekannten Objekten, das über einfache Kollisionsvermeidung hinausgeht und Interaktionsdynamiken (z. B. Kippen, Reibung) verwaltet.
Balance zwischen Sicherheit und Leistung: Demonstration, dass durch die Nutzung von Unsicherheit (via GPs) und stochastischer Modellierung Roboter effektiver explorieren und Ziele häufiger erreichen können als deterministische Baselines, die bei realem Rauschen dazu neigen, entweder zu scheitern oder Sicherheitsregeln zu verletzen.

Die Autoren räumen Einschränkungen ein, darunter die Rechenskalierbarkeit von GPs ( $O(N^3)$ ), die Abhängigkeit von Vorwissen über Systemgrenzen (z. B. Lipschitz-Konstanten) und den Trade-off zwischen Sicherheit und Leistung. Sie merken an, dass die kontinuierlichen und objektzentrierten Varianten die „sichere stochastische Rückkehr“-Garantie relaxieren, was bedeutet, dass der Roboter theoretisch feststecken könnte, aber dennoch instantan sicher bleibt. Zukünftige Arbeiten zielen darauf ab, Rückkehrgarantien wieder einzuführen und komplexe Interaktionen zwischen mehreren Objekten zu handhaben.