💻 computer science

Shield-Loco: Shielding Locomotion Policies with Predictive Safety Filtering

Dieses Paper stellt Shield-Loco vor, einen prädiktiven Sicherheitsfilter, der die auf Reinforcement Learning basierende lokomotorische Fortbewegung durch die asynchrone Optimierung sichererer Kontaktsequenzen unter Verwendung von Full-Physics-Modellen und einer gelernten Value-Funktion verbessert, wodurch Kollisionen in dichten Umgebungen verhindert werden, während gleichzeitig eine hohe Aufgabenleistung aufrechterhalten wird.

Ursprüngliche Autoren: Aditya Shirwatkar, Sebastian Sanokowski, Shishir Kolathaya, Aaron Johnson, Majid Khadiv

Veröffentlicht 2026-06-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aditya Shirwatkar, Sebastian Sanokowski, Shishir Kolathaya, Aaron Johnson, Majid Khadiv

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen hochtrainierten Roboterhund vor, der gelernt hat, durch komplexe Umgebungen zu laufen, zu springen und zu traben, indem er eine „Gehirn“-Struktur durch Versuch und Irrtum (eine Technik namens Reinforcement Learning) entwickelt hat. Dieser Roboter ist unglaublich beweglich, hat aber eine Schwachstelle: Er weiß von Natur aus nicht, wie er Hindernissen ausweicht, die er noch nie zuvor gesehen hat. Wenn Sie einen Stuhl in seinen Weg stellen, der nicht in seinen Trainingsdaten enthalten war, versucht er vielleicht einfach, direkt hindurchzugehen und kracht zusammen.

Das Paper „Shield-Loco“ führt einen intelligenten Sicherheitswächter für diesen Roboterhund ein. Betrachten Sie diesen Wächter nicht als Bremspedal, das den Roboter stoppt, sondern als einen Co-Piloten, der dem Gehirn des Roboters Anweisungen zuflüstert, kurz bevor dieser einen Schritt macht.

So funktioniert das System, unterteilt in einfache Konzepte:

1. Das Problem: Der „blinde“ Athlet

Das Hauptgehirn des Roboters (die RL-Policy) ist großartig darin, seine Beine zu bewegen. Es nimmt einen Befehl entgegen wie „Setz deinen Fuß hierhin“ und findet genau heraus, wie es seine Muskeln bewegen muss, um dies zu tun. Dieses Gehirn verfügt jedoch über keinen eingebauten „Kollisionsdetektor“ für neue Hindernisse. Wenn Sie es bitten, auf einen Punkt zu treten, der zufällig einen Stein darauf hat, wird es trotzdem versuchen, dort hinzutreten, was zu einem Sturz oder einem Crash führt.

2. Die Lösung: Der „Sicherheits-Co-Pilot“

Anstatt das Gehirn des Roboters neu zu trainieren (was langsam ist und unmöglich ist, um jedes einzelne Hindernis in der Welt abzudecken), haben die Autoren einen prädiktiven Sicherheitsfilter hinzugefügt.

Der Input: Das Hauptgehirn des Roboters schlägt einen Pfad vor: „Ich möchte hierhin treten, dann hierhin, dann hierhin.“
Die Prüfung: Der Sicherheitsfilter betrachtet diese vorgeschlagenen Schritte. Er führt in seinem Kopf eine superschnelle, hochauflösende Simulation durch und fragt: „Wenn der Roboter tatsächlich versucht, dort hinzutreten, wird er gegen eine Wand stoßen? Wird er stolpern?“
Die Intervention:
- Wenn es sicher ist: Der Filter sagt: „Nur zu!“ und lässt den Roboter genau dort auftreten, wo er es wollte.
- Wenn es unsicher ist: Der Filter sagt: „Nein, das ist ein Stein. Wie wäre es, wenn du stattdessen nur ein Stück links davon auftrittst?“ Er passt die Fußplatzierung leicht an, um die Gefahr zu vermeiden, während der Roboter gleichzeitig vorwärts bewegt wird.

3. Wie der Filter „denkt“ (Die magischen Zutaten)

Das Paper beschreibt drei clevere Tricks, die der Filter verwendet, um schnell einen perfekten sicheren Schritt zu finden, selbst in einem unordentlichen Raum voller Möbel:

Die „Schatten“-Projektion: Stellen Sie sich vor, der Roboter schlägt vor, auf einen Tisch zu treten. Der Filter projiziert diesen Fuß sofort auf die nächstgelegene sichere Bodenfliese, wie ein Schatten, der auf den Boden fällt. Er erzwingt die Vorstellung, dass der Schritt physisch möglich ist, bevor er ihn testet.
Der „Impuls“-Schub: Wenn der Filter versucht, einen besseren Pfad zu finden, fängt er nicht jedes Mal bei Null an. Er nutzt „Impuls“ (wie ein Läufer, der Geschwindigkeit mitnimmt). Wenn eine Richtung vor einem Moment gut aussah, behält er diesen Impuls bei, um die Lösung schneller zu finden.
Die „Parallelen Entdecker“ (Replica Exchange): Stellen Sie sich vor, Sie senden 20 verschiedene Versionen des Robotergehirns aus, um gleichzeitig verschiedene Pfade auszuprobieren. Einige sind sehr vorsichtig, andere sind wilde Entdecker. Hin und wieder tauschen sie Ideen aus. Wenn ein vorsichtiger Entdecker einen sicheren Pfad findet, kopieren die wilden Entdecker diesen. Dies hilft dem System, nicht in einer „lokalen Falle“ stecken zu bleiben (einem sicheren Ort, der aber nicht der beste Ort ist).

4. Die Ergebnisse: Frei laufen, ohne zu krachen

Die Autoren testeten dies an einem echten vierbeinigen Roboter (einem Unitree Go2) in einem Raum voller Hindernisse wie Kabeln, Boxen und Stangen.

Ohne den Filter: Der Roboter versuchte oft, auf Hindernisse zu treten und stürzte ab.
Mit dem Filter: Der Roboter navigierte erfolgreich durch das Chaos. Er änderte seinen ursprünglichen Plan kaum (er machte keine riesige Umleitung), aber er nahm winzige, präzise Anpassungen an seiner Fußplatzierung vor, um nichts zu treffen.

Das Wesentliche

Das Paper behauptet, dass diese Methode es einem Roboter ermöglicht, seine komplexen, dynamischen Aufgaben (wie Laufen und Trabben) fortzuführen, ohne für jedes neue Zimmer neu trainiert werden zu müssen. Es fungiert als Echtzeit-Sicherheitsnetz, das die Füße des Roboters gerade genug von der Gefahr wegstößt, um einen Crash zu verhindern, während es dem eigenen „Gehirn“ des Roboters überlässt, die schwere Arbeit des Balancierens und Bewegens zu bewältigen.

Was das Paper nicht behauptet:

Es behauptet nicht, dass der Roboter nun „perfekt“ ist oder dass er einen mathematischen Beweis dafür hat, dass er niemals abstürzen wird (die Autoren geben zu, dass es immer noch einige Grenzfälle gibt).
Es behauptet nicht, dass dies bereits für Humanoiden oder Roboter funktioniert, die ihre Torsos auf komplexe Weise drehen müssen; sie haben es spezifisch für vierbeinige Roboter auf flachem Boden getestet.
Es behauptet nicht, dass der Roboter Hindernisse von selbst sehen kann; das System setzt voraus, dass die Hindernisse bereits kartiert und dem Computer bekannt sind.

Technisches Resümee: Shield-Loco

Problemstellung

Reinforcement Learning (RL)-Policies haben erfolgreich gezeigt, dass sie dynamische lokomotion durch die Abbildung gewünschter Kontaktpositionen auf Low-Level-Gelenkbefehle ermöglichen können. Diese Policies verfügen jedoch über keine aktiven Mechanismen, um Sicherheitsverletzungen zu verhindern, wenn sie auf Umweltbeschränkungen (z. B. Hindernisse) stoßen, die während des Trainings nicht vorhanden waren. Während groß angelegtes Offline-Safe-Learning unpraktikabel ist, um alle Grenzfälle abzudecken, stehen bestehende Sicherheitsframeworks vor erheblichen Einschränkungen:

Modelle reduzierter Ordnung: Methoden wie Control Barrier Functions (CBF) basieren oft auf vereinfachten Modellen, die nicht in der Lage sind, das Ganzkörperverhalten zu berücksichtigen, was unter unmodellierten Kontaktdynamiken zu Fehlern führt.
Konservative Erholung: Model Predictive Shielding (MPS) und Hamilton-Jacobi (HJ) Reachability-Ansätze greifen oft auf konservative Recovery-Controller zurück, die die Aufgabenleistung opfern oder handgefertigte Zertifikate erfordern, die in komplexen Szenarien versagen.
Skalierbarkeit: HJ-Reachability skaliert exponentiell mit der Zustandsdimension, was Ganzkörpermodelle für Laufroboter unpraktikabel macht.

Die Kernherausforderung besteht darin, in die Policy einzugreifen, um die Sicherheit zu gewährleisten, ohne die Aufgabenleistung zu verschlechtern oder ein vollständiges Retraining der RL-Policy zu erfordern.

Methodik

Die Autoren schlagen Shield-Loco vor, einen prädiktiven Sicherheitsfilter, der post-hoc auf den Kontaktpositionen operiert, die in eine kontaktkonditionierte RL-Policy eingespeckt werden. Die zentrale Erkenntenz ist, dass Fußkontaktpositionen eine kinematische Abstraktion darstellen, die ausreicht, um eine Ganzkörper-Kollisionsvermeidung durchzuführen, während sie gleichzeitig für die Online-Optimierung handhabbar bleibt.

Framework-Übersicht

In jedem Kontrollschritt erhält der Filter eine nominale Sequenz von Kontaktpositionen von einem High-Level-Planer. Er führt einen Forward-Rollout mittels eines Full-Physics-Simulators (MuJoCo) und der eingefrorenen RL-Policy durch, um zukünftige Zustände vorherzusagen.

Prädiktion: Wenn innerhalb des Receding-Horizon keine Sicherheitsverletzung vorhergesagt wird, wird der nominale Kontakt an die Policy weitergegeben.
Intervention: Wird eine Verletzung vorhergesagt, sucht ein sampling-basierter Optimierer nach einer alternativen Kontaktsequenz, die den Finite-Horizon-Ertrag maximiert und gleichzeitig die Sicherheitsbeschränkungen erfüllt.
Ausführung: Die erste optimierte Kontaktposition wird an die RL-Policy übergeben, welche die Gelenkmomente generiert. Der Prozess wiederholt sich asynchron, sodass die Low-Level-Policy mit hoher Frequenz (50 Hz) laufen kann, selbst wenn der Optimierer mit einer niedrigeren Frequenz (3 Hz) arbeitet.

Optimierungsformulierung

Der Filter löst das folgende Optimierungsproblem, wenn eine Intervention erforderlich ist:
$\max_{p_{0}, \dots, p_{H-1}} \mathbb{E} \left[ \sum_{t=0}^{H-1} \gamma^t r(s_t, a_t) + \gamma^H V(s_H) \right]$
Unter den Sicherheitsbeschränkungen $g(s_t, p_t) \leq 0$ , wobei $a_t = \pi(s_t, p_t)$ und $s_{t+1} = f(s_t, a_t)$ .

Belohnung ( $r$ ): Kodiert die Aufgabenleistung (z. B. Verfolgung gewünschter Kontakte, Energieeffizienz).
Value Function ( $V$ ): Eine gelernte Value Function nutzt Temporal-Difference-Learning auf durch den Optimierer gesammelten Trajektorien, um langfristige Erträge (Long-Horizon Returns) zu schätzen.
Sicherheitsbeschränkungen ( $g$ ):
- Fußkontakt-Strafe: Weiche Strafen basierend auf der Signed Distance Function (SDF) zwischen Füßen und Hindernissen.
- Ganzkörper-Kollision: Eine große Strafe wird angewendet, wenn ein Roboterglied ein Hindernis berührt, detektiert über die MuJoCo-Kontaktdaten.

Algorithmische Komponenten für die Handhabbarkeit

Um die Optimierung in einer diskontinuierlichen Kontaktlandschaft machbar zu machen, führen die Autoren drei Komponenten ein:

Geometrische Projektion: Gesampelte Kontaktpositionen werden vor der Rollout-Evaluierung mittels eines Quadratischen Programms (QP) auf die kollisionsfreie Menge projiziert. Dies stellt sicher, dass Kandidaten lokale harte Constraints erfüllen, obwohl der vollständige Rollout weiterhin auf Sicherheit evaluiert wird.
Momentum-augmentierte Updates: Abgeleitet von Accelerated Proximal Natural Gradient Descent, beschleunigt diese Update-Regel die Konvergenz durch Extrapolation in die Richtung der Verbesserung, wodurch die Anzahl der benötigten Iterationen reduziert wird.
Replica Exchange (Parallel Tempering): Um aus flachen lokalen Minima zu entkommen, werden mehrere Optimierer-Replikate mit unterschiedlichen inversen Temperaturen ( $\lambda$ ) beibehalten. Benachbarte Replikate tauschen Kontaktsequenzen basierend auf dem Metropolis–Hastings-Kriterium aus, wodurch hochtemperierte Replikate eine breite Exploration ermöglichen, während niedrigtemperierte Lösungen gezielt optimieren.

Wichtige Beiträge

Prädiktiver Sicherheitsfilter auf Kontaktpositionen: Eine Methode, die direkt auf den Kontaktpositionen operiert, die in RL-Policies eingespeist werden, was eine Ganzkörper-Kollisionsvermeidung ermöglicht, ohne die zugrunde liegende Policy zu modifizieren.
Handhabbare Sampling-basierte Optimierung: Ein neuartiges Optimierungsschema, das geometrische Projektion, Momentum-augmentierte Updates und Replica Exchange kombiniert, um die nicht-glatte, diskontinuierliche Kostenlandschaft der Laufbewegung zu bewältigen.
Validierung in Simulation und Realität: Umfassende Evaluierung auf einem Unitree Go2 Quadruped in dichten, überfüllten Umgebungen, die eine signifikante Reduktion von Sicherheitsverletzungen bei minimaler Abweichung vom nominalen Gang zeigt.

Ergebnisse

Die Methode wurde auf einem Unitree Go2 Quadruped sowohl in der MuJoCo-Simulation als auch in realen Hardware-Experimenten evaluiert.

Trade-off zwischen Sicherheit und Leistung: Im Vergleich zu Baselines (CBF und HJ-Reachability unter Verwendung von Unicycle-Approximationen) erreichte Shield-Loco signifikant niedrigere Tracking-Kosten und weniger tatsächliche Sicherheitsverletzungen. Die reduzierten Modelle hatten in dichten, überfüllten Umgebungen Schwierigkeiten, während Shield-Loco einen starken Sicherheits-Tracking-Trade-off beibehielt.
Optimierer-Varianten: Unter den getesteten Optimierern (MPPI, CEM und Replica Exchange MPPI) erreichte die Replica-Exchange-Variante die niedrigsten Tracking-Kosten (0,0086) bei gleichzeitig niedrigen Verletzungsraten, allerdings mit höherer Optimierungszeit.
Ablationsstudien:
- Momentum: Nicht-Null-Momentum-Koeffizienten ( $\beta$ ) verbesserten die Tracking-Kosten konsistent, wobei $\beta=0,経過 1$ die optimale Leistung lieferte.
- Horizont und Iterationen: Ein moderates Rechenbudget ( $N=3$ Iterationen, $H \in [4, 6]$ ) bot das beste Gleichgewicht zwischen Sicherheit und Reaktionsfähigkeit.
- Projektion: Die Anwendung der geometrischen Projektion sowohl während des Rollout-Samplings als auch auf den final optimierten Plan war entscheidend, um Verletzungen zu minimieren.
Einsatz in der Realität: Das System navigierte erfolgreich durch überfüllte Umgebungen mit Hindernissen (Telefone, Pakete, Kabeln) und großen statischen Objekten. Das asynchrone Design ermöglichte es dem Roboter, stabil zu bleiben, selbst wenn der Optimierer länger als der Planungszyklus dauerte (z. B. 400 ms für $H=8$ ), da die Low-Level-Policy die letzten bekannten sicheren Kontaktziele weiter verfolgte.

Bedeutung und Limitationen

Das Paper positioniert Shield-Loco als eine minimal invasive Sicherheitsintervention, die die Lücke zwischen der Ausdrucksstärke von Full-Physics-Modellen und der für Online-Sicherheitsfilter erforderlichen Handhabbarkeit schließt. Durch die Arbeit auf Kontaktpositionen statt auf Gelenkmomenten vermeidet es den „Fluch der Dimensionalität“, behält aber die Fähigkeit, über Ganzkörperkollisionen zu urteilen.

Limitationen und zukünftige Arbeit:

Theoretische Garantien: Die Methode verfügt über keine formale theoretische Garantie für Optimalität oder Sicherheit. Der gefilterte Plan kann vom wahren Sicherheitsbereich abweichen, wenn der Optimierer in einem lokalen Optimum konvergiert.
Heuristische Projektion: Die geometrische Projektion ist eine Heuristik und garantiert nicht strikt die Konvergenseigenschaften des Optimierers.
Policy-Einschränkungen: Tatsächliche Verletzungen in Experimenten wurden teilweise dadurch verursacht, dass die RL-Policy unsichere Zwischenkonfigurationen der Schwungphase generierte, selbst wenn die Kontaktziele sicher waren.
Umfang: Die Validierung beschränkt sich derzeit auf Quadrupedal-Fortbewegung auf flachem Gelände. Die Erweiterung auf Fortbewegung auf verschiedenen Terrains, Humanoiden oder Szenarien, die aktives Torso-Drehen erfordern, bleibt zukünftige Arbeit.
Perzeption: Das aktuelle Framework setzt eine bekannte Hindernisgeometrie voraus; die Integration von Online-Perzeptions-Pipelines für eine vollautonome Bereitstellung in unbekannten Umgebungen wird als notwendige zukünftige Richtung identifiziert.