🤖 machine learning

RAPT: Model-Predictive Out-of-Distribution Detection and Failure Diagnosis for Sim-to-Real Humanoid Deployment

Dieses Paper stellt RAPT vor, einen leichtgewichtigen, selbstüberwachten Monitor, der eine hochfrequente Out-of-Distribution-Erkennung sowie eine interpretierbare Zero-Shot-Fehlerdiagnose für humanoide Roboter während des Sim-to-Real-Einsatzes ermöglicht und dadurch das Risiko von Silent Failures und Hardwareschäden signifikant reduziert.

Ursprüngliche Autoren: Humphrey Munn, Brendan Tidd, Peter Bohm, Marcus Gallagher, David Howard

Veröffentlicht 2026-07-22

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Humphrey Munn, Brendan Tidd, Peter Bohm, Marcus Gallagher, David Howard

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter das Gehen bei, indem Sie ihn Millionen Male in einer perfekten Videospiel-Welt üben lassen. In diesem digitalen Spielplatz lernt der Roboter das Balancieren, Rennen und Tanzen, ohne jemals zu stolpern. Aber wenn Sie ihn schließlich ausstecken und ihn in die reale Welt entlassen, wird alles chaotisch. Die reale Welt hat rutschige Böden, unerwartete Unebenheiten und Sensoren, die manchmal lügen. Dies ist das knifflige „Sim-to-Real“-Problem: Ein Roboter kann im Spiel ein Champion sein, aber in der Realität sofort straucheln, weil er diese realen Fehler noch nie erlebt hat. Wenn der Roboter nicht merkt, dass er verwirrt ist, versucht er vielleicht weiterhin auf einem gebrochenen Bein zu gehen oder gegen eine Wand zu drücken, die gar nicht da ist, was dazu führen kann, dass er gegen sich selbst prallt oder seine teuren Teile beschädigt. Wissenschaftler versuchen, ein „Sicherheitsnetz“ zu bauen, das den Roboter beobachtet, erkennt, wenn er in eine seltsame, gefährliche Situation gerät, für die er nicht trainiert wurde, und die Bremsen zieht, bevor das Desaster eintritt.

Genau dieses Problem bekämpft das Paper „RAPT“. Die Autoren entwickelten ein leichtgewichtiges, superschnelles Wachsystem namens RAPT (Recurrent Anomaly Probabilistic Trajectory Model), das neben dem Gehirn eines Roboters läuft. Stellen Sie sich RAPT wie einen sehr erfahrenen Trainer vor, der den Roboter so oft im Videospiel üben gesehen hat, dass er genau weiß, wie er sich bewegen sollte. Wenn der Roboter beginnt, sich in der realen Welt zu bewegen, beobachtet RAPT jedes Gelenk und jeden Sensor in Echtzeit. Wenn der Roboter plötzlich auf eine Weise wackelt, die nicht mit seiner „perfekten Übungs-Erinnerung“ übereinstimmt – wie etwa, wenn er hart gestoßen wird oder auf ein rutschiges Stück tritt – ruft RAPT sofort: „Hey, das ist nicht normal!“ und löst einen Sicherheitsstopp aus.

Was RAPT besonders macht, ist, dass es nicht einfach nur „stopp“ sagt; es agiert wie ein Detektiv. Es kann genau bestimmen, welcher Teil des Roboters sich seltsam verhält und wann er angefangen hat, sich seltsam zu verhalten. Noch cooler ist, dass es mit einem intelligenten Sprachassistenten (einer KI) kommunizieren kann, um zu erraten, warum der Roboter gescheitert ist, wie zum Beispiel: „Oh, der Roboter ist wahrscheinlich auf einem nassen Boden ausgerutscht“ oder „Jemand hat ihn geschubst“, ohne zuvor diesen spezifischen Unfall gesehen zu haben. In ihren Tests trainierte das Team RAPT in einer massiven Simulation und testete es dann an einem echten Roboter. Die Ergebnisse zeigten, dass RAPT viel besser darin war, diese gefährlichen Momente abzufangen als andere Methoden; es erkannte 37 % mehr Probleme in der Simulation und 89 % der Probleme am echten Roboter, während es nur selten Fehlalarm schlug, wenn eigentlich alles in Ordnung war. Es ist ein Schritt in Richtung Roboter, die sicher die chaotische reale Welt erkunden können, ohne sich selbst zu beschädigen.

Technisches Resümee: RAPT – Modellprädiktive Out-of-Distribution-Erkennung und Fehlerdiagnose für den Sim-to-Real-Einsatz von Humanoiden

Problemstellung

Der Einsatz gelernter Steuerungs-Policies für humanoide Roboter beim Transfer von der Simulation in die Realität (Sim-to-Real) birgt erhebliche Risiken. Policies, die in der Simulation robust erscheinen, können bei der Implementierung durch unmodellierte Dynamiken, Sensorrauschen, Latenz, Laständerungen, Geländevariationen oder Implementierungsfehler in Out-of-Distribution (OOD)-Zustände geraten. Diese OOD-Ereignisse können zu „stillen Ausfällen“, Stürzen, Selbstkollisionen oder Hardwarebeschädigungen führen.

Bestehende Methoden zur Anomalieerkennung erfüllen oft nicht die spezifischen Anforderungen hochfrequenter humanoider Steuerung (50 Hz):

Rechenaufwand: Unsicherheits- und Ensemble-Methoden sind oft zu teuer für Echtzeit-Regelkreise.
Kalibrierungsprobleme: Generative Modelle (z. B. LSTM-VAEs) können unter Likelihood-Fehlkalibrierung und Input-Komplexitäts-Bias leiden.
Mangelnde Interpretierbarkeit: Viele Ansätze liefern lediglich ein binäres Stopp-Signal, bieten aber keine Einsicht darüber, wann, wo oder warum die Ausführung vom nominalen Verhalten abwich.
Zustandskopplung: Generische Zeitreihenmethoden behandeln propriozeptive Kanäle oft als unabhängige Signale statt als gekoppelte Roboterzustände.

Methodik

Das Paper stellt RAPT (Recurrent Anomaly Probabilistic Trajectory Model) vor, ein leichtgewichtiges, selbstüberwachtes Monitoring-System, das parallel zu einer vortrainierten Steuerungs-Policy läuft. RAPT operiert in vier Stufen:

1. Nominale Datenerhebung

RAPT sammelt nominale propriozeptive Trajektorien von Experten-Policies, die in einer groß angelegten Simulation (NVIDIA Isaac Lab) ausgeführt wurden. Diese Trajektorien definieren die „nominale Verhaltensmanifold“, die das System während des Einsatzes bewahren muss. Die Beobachtungen werden vor dem Training normalisiert.

2. Probabilistisches rekurrentes Trajektorienmodell

RAPT wird als selbstüberwachtes rekurrentes Rekonstruktionsmodell trainiert. Die Architektur umfasst:

Residual State Encoder: Verarbeitet die Beobachtungshistorie.
GRU-basierte Temporal Bridge: Erfasst zeitliche Abhängigkeiten.
Latent Bottleneck: Komprimiert die Zustandsrepräsentation.
Probabilistischer Decoder: Gibt eine diagonale Gaußsche Rekonstruktionsverteilung $[\mu_t, \log \sigma^2_t]$ aus.

Das Modell minimiert die Negative Log-Likelihood (NLL) der nominalen Beobachtungen. Diese Formulierung erfasst heteroskedastische aleatorische Unsicherheit, wodurch Dimensionen mit natürlicherweise höherer Variabilität größere prädiktive Varianzen erhalten, während Abweichungen in konsistenten Dimensionen stärker bestraft werden. Für Aufgaben der Geschwindigkeitsverfolgung wird eine Forward-Dynamics-Variante (Bedingung auf $o_{t-1}, a_{t-1}$ zur Vorhersage von $o_t$ ) verwendet; andernfalls wird die reine Rekonstruktion bevorzugt.

3. Simulations-trainierte, Deployment-kalibrierte OOD-Erkennung

Bei der Implementierung evaluiert RAPT die prädiktiven Abweichungen pro Dimension. Um die Sim-to-Real-Lücke zu handhaben, unterstützt RAPT zwei Kalibrierungsmodi:

Simulations-Kalibrierung: Misst Abweichungen von der simulations-trainierten Verteilung, wodurch verbleibende Sim-to-Real-Mismatches sichtbar werden.
Realwelt-Kalibrierung: Nutzt einen kurzen, verifizierten nominalen Durchlauf, um sich an statische Offsets (Sensorrauschen, Latenz, Hardware-Dynamik) anzupassen, was die Erkennung neuer OOD-Ereignisse relativ zur spezifischen Hardware ermöglicht.

Die Erkennung nutzt einen hierarchischen Gating-Mechanismus:

Lokales Gate: Erkennt ungewöhnlich große Abweichungen pro Dimension ( $\ell_{t,i} > \tau_{max} + 5\sigma_i$ ).
Globales Gate: Erkennt breite Verschiebungen in der mittleren prädiktiven Abweichung ( $\bar{\ell}_t > \tau_{global} + 3\sigma_{global}$ ).
Hybrider Sicherheitsbereich: Optional kombiniert mit einem deterministischen Bereichsdetektor. Die endgültige Anomalieentscheidung ist das logische ODER aus lokalen, globalen und Bereichs-Gates.

4. Fehlerlokalisierung und -diagnose

Temporale Salienz: Bei einer Anomalieerkennung berechnet RAPT die Gradienten der finalen NLL bezüglich eines Historien-Fensters mittels Integrated Gradients durch das rekurrenten Modell. Dies erzeugt eine spatio-temporale Attributionskarte, die hervorhebt, wann und welche propriozeptiven Kanäle zuerst vom nominalen Verhalten abgewichen sind.
Semantische Diagnose: Ein multimodales Large Language Model (LLM) erhält strukturierte Evidenz (temporale Salienz-Zusammenfassungen, kinematische Trajektorien, Aufgabenkontext, visuelle Keyframes), um eine Zero-Shot-Klassifizierung der Fehlerursachen (z. B. Kollisionen, Sensorfehler, Geländeänderungen) durchzuführen, ohne dass während des Detektortrainings gelabelte Fehlerdaten erforderlich sind.

Zentrale Beiträge

Simulations-trainierte, Deployment-kalibrierte Überwachung: RAPT lernt aus groß angelegter Simulation und kalibriert Schwellenwerte entweder über die Simulation oder kurze Realwelt-Daten, was sowohl das Debugging als auch die Hardware-Zeit-OOD-Erkennung unterstützt.
Low-FPR OOD-Erkennung für High-DOF Humanoide: Durch die Verwendung von probabilistischer prädiktiver Abweichungsmodellierung mit kalibrierten pro-Dimension- und globalen Gates übertrifft RAPT hochfrequenz-kompatible Baselines unter strengen False-Positive-Beschränkungen.
Lokalisierte Evidenz für die Fehlerdiagnose: Das System generiert pro-Dimension NLL-Signale und temporale Salienz, was eine post-hoc semantische Diagnose von Fehlermodi ermöglicht, ohne gelabelte Fehlerdaten zu benötigen.

Experimentelle Ergebnisse

Die Autoren validierten RAPT an einem Unitree G1 sowohl in NVIDIA Isaac Lab als auch auf physischer Hardware.

Simulations-Leistung: Über vier Aufgaben (Geschwindigkeitsverfolgung, Bewegungsnachahmung, ballistisches Werfen) und 15 OOD-Kategorien hinweg verbesserte RAPT die True Positive Rate (TPR) im Vergleich zur stärksten Baseline um 37 % bei einer Episode-Level False Positive Rate (FPR) von 0,5 %.
Hardware-Leistung: Auf einem physischen Unitree G1 über 78 Versuche hinweg erreichte RAPT eine TPR von 89 % mit weniger False Positives als hochfrequenz-kompatible Baselines.
Diagnosegenauigkeit: Auf einem anspruchsvollen OOD-Subset erreichte RAPT eine semantische Fehlerdiagnose-Genauigkeit von 75 % über 21 Fehlerkategorien hinweg unter Verwendung des Zero-Shot-LLM-Ansatzes.
Latenz: Die Monitoring-Pipeline arbeitet mit etwa 1,6 ms, was mit 50 Hz Regelkreisen kompatibel ist.

Bedeutung und Ansprüche

Das Paper positioniert RAPT nicht als Ersatz für Domain Randomization oder Systemidentifikation, sondern als ergänzende Ebene, die den Rest-Mismatch und unvorhergesehene OOD-Ereignisse überwacht, die nach dem Transfer bestehen bleiben.

Sicherheit & Debugging: RAPT bietet ein beobachtbares Deployment-Zeit-Signal für die Sicherheitsüberwachung und das Debugging, ohne die zugrunde liegende Steuerung zu modifizieren. Es löst bei OOD-Erkennung vordefinierte Sicherheitsreaktionen aus (z. B. sicherer Stopp, kontrollierter Fall, Wiederherstellung).
Interpretierbarkeit: Indem es über binäre Stopp-Signale hinaus zu lokalisierten, pro-Dimension-Evidenzen und semantischem Reasoning geht, adressiert RAPT die „Black Box“-Natur von Fehlern in gelernten Policies. Es ermöglicht Operatoren, zwischen externen Störungen, Aktuatordegradation und Sensorfehlern zu unterscheiden.
Reproduzierbarkeit: Die Autoren verpflichten sich zur Veröffentlichung der Trainings-Pipeline, der gelabelten Realwelt-Datensätze und des C++ Deployment-Codes, um zukünftiges Benchmarking zu unterstützen.

Die Arbeit zeigt, dass ein leichtgewichtiges, selbstüberwachtes probabilistisches Modell effektiv die Lücke zwischen Simulation und Realität schließen kann, indem es sowohl unmittelbare Sicherheitsinterventionen als auch post-hoc diagnostische Einblicke für komplexe humanoide Systeme bietet.