🤖 machine learning

RAPT: Model-Predictive Out-of-Distribution Detection and Failure Diagnosis for Sim-to-Real Humanoid Deployment

Dit artikel introduceert RAPT, een lichtgewicht, zelfgesuperviseerde monitor die hoogfrequente detectie van out-of-distribution fenomenen en interpreteerbare, zero-shot foutdiagnose mogelijk maakt voor humanoïde robots tijdens Sim-to-Real deployment, wat de risico's op stille fouten en hardwarebeschadiging aanzienlijk vermindert.

Oorspronkelijke auteurs: Humphrey Munn, Brendan Tidd, Peter Bohm, Marcus Gallagher, David Howard

Gepubliceerd 2026-07-22

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Humphrey Munn, Brendan Tidd, Peter Bohm, Marcus Gallagher, David Howard

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert lopen door hem miljoenen keren te laten oefenen in een perfecte, videogame-wereld. In die digitale speeltuin leert de robot balanceren, rennen en dansen zonder ooit te struikelen. Maar wanneer je hem eindelijk uitplugt en hem de echte wereld in laat stappen, wordt het een rommeltje. De echte wereld heeft gladde vloeren, onverwachte bulten en sensoren die soms liegen. Dit is het lastige "Sim-to-Real"-probleem: een robot kan een kampioen zijn in het spel, maar direct struikelen in de werkelijkheid omdat hij deze echte-wereld-glitches nog nooit heeft gezien. Als de robot niet beseft dat hij in de war is, kan hij blijven proberen te lopen op een gebroken been of tegen een muur duwen die er niet is, wat er potentieel toe leidt dat hij tegen zichzelf aan botst of zijn dure onderdelen breekt. Wetenschappers proberen een "veiligheidsnet" te bouwen dat de robot in de gaten houdt, merkt wanneer hij een vreemde, gevaarlijke situatie betreedt waar hij niet op getraind is, en op de rem trapt voordat de ramp toeslaat.

Dit is precies waar het artikel "RAPT" zich mee bezighoudt. De auteurs hebben een lichtgewicht, supersnel waakhond-systeem gebouwd genaamd RAPT (Recurrent Anomaly Probabilistic Trajectory Model) dat naast het brein van een robot draait. Zie RAPT als een zeer ervaren coach die de robot zo vaak heeft zien oefenen in de videogame dat hij precies weet hoe de robot zou moeten bewegen. Wanneer de robot in de echte wereld begint te bewegen, houdt RAPT elk gewricht en elke sensor in realtime in de gaten. Als de robot plotseling begint te wankelen op een manier die niet overeenkomt met zijn "perfecte oefen"-geheugen — zoals wanneer hij hard wordt geduwd of op een glad stuk stapt — roept RAPT direct: "Hé, dat is niet normaal!" en activeert een veilige stop.

Wat RAPT bijzonder maakt, is dat het niet alleen zegt "stop"; het gedraagt zich als een detective. Het kan precies aanwijzen welk deel van de robot vreemd doet en wanneer het vreemd begon te doen. Nog cooler is dat het met een slimme taalassistent (een AI) kan praten om te raden waarom de robot faalde, zoals: "Oh, de robot is waarschijnlijk gegleden op een natte vloer" of "Iemand heeft hem geduwd", zonder dat het dat specifieke ongeluk eerder heeft gezien. In hun tests trainde het team RAPT in een enorme simulatie en probeerde het vervolgens op een echte robot. De resultaten lieten zien dat RAPT veel beter was in het vangen van deze gevaarlijke momenten dan andere methoden; het ving 37% meer problemen in de simulatie en 89% van de problemen op de echte robot, terwijl het zelden vals alarm sloeg wanneer alles eigenlijk prima was. Het is een stap richting robots die veilig de rommelige echte wereld kunnen verkennen zonder zichzelf kapot te maken.

Technische Samenvatting: RAPT – Model-Predictieve Out-of-Distribution Detectie en Falendiagnose voor Sim-naar-Real Humanoid Deployment

Probleemstelling

Het implementeren van geleerde besturingsbeleid (control policies) voor humanoïde robots van simulatie naar de werkelijkheid (Sim-to-Real) brengt aanzienlijke risico's met zich mee. Beleid dat robuust lijkt in simulatie, kan bij implementatie met vertrouwen in out-of-distribution (OOD) staten terechtkomen door ongemodelleerde dynamica, sensorruis, latentie, payload-veranderingen, terreinvariaties of implementatiefouten. Deze OOD-gebeurtenissen kunnen leiden tot "stille fouten", vallen, zelfbotsingen of hardwarebeschadiging.

Bestaande anomaliedetectiemethoden voldoen vaak niet aan de specifieke beperkingen van hoogfrequente humanoïde besturing (50 Hz):

Computationele kosten: Onzekerheids- en ensemblemethoden zijn vaak te duur voor real-time control loops.
Kalibratieproblemen: Generatieve modellen (bijv. LSTM-VAE's) kunnen lijden onder misgekalibreerde waarschijnlijkheid en input-complexiteitsbias.
Gebrek aan interpreteerbaarheid: Veel benaderingen bieden slechts een binair stopsignaal, zonder inzicht te bieden in wanneer, waar of waarom de uitvoering afweek van het nominale gedrag.
Toestandskoppeling: Generieke tijdreeksmethoden behandelen proprioceptieve kanalen vaak als onafhankelijke signalen in plaats van gekoppelde robottoestanden.

Methodologie

Het artikel introduceert RAPT (Recurrent Anomaly Probabilistic Trajectory Model), een lichtgewicht, zelfgesuperviseerd monitoringsysteem dat ontworpen is om naast een vooraf getraind besturingsbeleid te draaien. RAPT werkt in vier fasen:

1. Nominale Datacollectie

RAPT verzamelt nominale proprioceptieve trajecten van expert-beleid uitgevoerd in grootschalige simulatie (NVIDIA Isaac Lab). Deze trajecten definiëren het "nominale gedragsmanifold" dat het systeem tijdens deployment moet behouden. Observaties worden genormaliseerd voorafgaand aan de training.

2. Probabilistisch Recurrent Trajectory Model

RAPT wordt getraind als een zelfgesuperviseerd recurrent reconstructiemodel. De architectuur bevat:

Residual State Encoder: Verwerkt de observatiegeschiedenis.
GRU-gebaseerde Temporal Bridge: Legt temporele afhankelijkheden vast.
Latent Bottleneck: Comprimeert de toestandsrepresentatie.
Probabilistic Decoder: Produceert een diagonale Gaussische reconstructieverdeling $[\mu_t, \log \sigma^2_t]$ .

Het model minimaliseert de Negative Log-Likelihood (NLL) van nominale observaties. Deze formulering legt heteroscedastische aleatorische onzekerheid vast, waardoor dimensies met van nature hogere variabiliteit een grotere voorspellende variantie kunnen hebben, terwijl afwijkingen in consistente dimensies zwaarder worden bestraft. Voor taken met snelheidstracking wordt een forward-dynamics variant gebruikt (conditionering op $o_{t-1}, a_{t-1}$ om $o_t$ te voorspellen); anders wordt pure reconstructie verkozen.

3. In Simulatie Getrainde, Tijdens Deployment gekalibreerde OOD Detectie

Tijdens deployment evalueert RAPT de per-dimensie voorspellende afwijkingen. Om de Sim-naar-Real kloof aan te pakken, ondersteunt RAPT twee kalibratiemodi:

Simulatie Kalibratie: Meet afwijkingen van de in simulatie getrainde distributie, waardoor residuele Sim-naar-Real mismatches zichtbaar worden.
Real-World Kalibratie: Gebruikt een korte geverifieerde nominale run om te adapteren aan statische offsets (sensorruis, latentie, hardware-dynamica), wat detectie van nieuwe OOD-gebeurtenissen relatief aan de specifieke hardware mogelijk maakt.

Detectie maakt gebruik van een hiërarchisch gatingmechanisme:

Local Gate: Detecteert ongewoon grote per-dimensie afwijkingen ( $\ell_{t,i} > \tau_{max} + 5\sigma_i$ ).
Global Gate: Detecteert brede verschuivingen in de gemiddelde voorspellende afwijking ( $\bar{\ell}_t > \tau_{global} + 3\sigma_{global}$ ).
Hybrid Safety Envelope: Optioneel gekoppeld aan een deterministische range detector. De uiteindelijke anomalie-beslissing is de logische OR van de local, global en range gates.

4. Foutlokalisatie en Diagnose

Temporele Saliëntie: Bij detectie van een anomalie berekent RAPT de gradiënten van de uiteindelijke NLL met betrekking tot een historisch venster via geïntegreerde gradiënten door het recurrente model. Dit produceert een spatio-temporele attributiekaart, die benadrukt wanneer en welke proprioceptieve kanalen als eerste afweken van het nominale gedrag.
Semantische Diagnose: Een multi-modaal Large Language Model (LLM) ontvangt gestructureerde bewijslast (temporele saliëntie-samenvattingen, gewrichts-kinematische trajecten, taakcontext en visuele keyframes) om een zero-shot classificatie uit te voeren van de oorzaken van falen (bijv. botsingen, sensorfouten, terreinverschuivingen) zonder dat hiervoor gelabelde foutgegevens nodig zijn tijdens de training van de detector.

Belangrijkste Bijdragen

In Simulatie Getraind, Tijdens Deployment gekalibreerd Monitoring: RAPT leert van grootschalige simulatie en kalibreert drempelwaarden met behulp van ofwel simulatie ofwel korte real-world data, wat zowel debugging als real-world OOD-detectie ondersteunt.
Lage FPR OOD Detectie voor High-DOF Humanoids: Door het gebruik van probabilistische voorspellende afwijkingsmodellering met gekalibreerde per-dimensie en globale gates, presteert RAPT beter dan hoogfrequentie-compatibele baselines onder strikte false-positive beperkingen.
Gelokaliseerd Bewijs voor Falendiagnose: Het systeem genereert per-dimensie NLL-signalen en temporele saliëntie, wat post-hoc semantische diagnose van faalmodi mogelijk maakt zonder gelabelde foutgegevens.

Experimentele Resultaten

De auteurs valideerden RAPT op een Unitree G1 humanoïde in zowel NVIDIA Isaac Lab als op fysieke hardware.

Simulatie Prestaties: Over vier taken (snelheidstracking, bewegingsimitatie, ballistische worp) en 15 OOD-categorieën, verbeterde RAPT de True Positive Rate (TPR) met 37% ten opzichte van de sterkste baseline bij een 0,5% episode-niveau False Positive Rate (FPR).
Hardware Prestaties: Op een fysieke Unitree G1 over 78 trials bereikte RAPT een 89% TPR met minder false positives dan hoogfrequentie-compatibele baselines.
Diagnose Nauwkeurigheid: Op een uitdagende OOD-subset behaalde RAPT een 75% semantische faaldiagnose nauwkeurigheid over 21 faalcategorieën met behulp van de zero-shot LLM-aanpak.
Latentie: De monitoring pipeline opereert op ongeveer 1,6 ms, compatibel met 50 Hz control loops.

Betekenis en Claims

Het artikel positioneert RAPT niet als een vervanging voor domain randomization of system identification, maar als een complementaire laag die de residuele mismatch en onvoorziene OOD-gebeurtenissen monitort die persistent blijven na de transfer.

Veiligheid & Debugging: RAPT biedt een observeerbaar deployment-tijd signaal voor veiligheidsmonitoring en debugging zonder de onderliggende controller te wijzigen. Het activeert vooraf gedefinieerde veiligheidsreacties (bijv. veilige stop, gecontroleerde val, herstel) bij OOD-detectie.
Interpreteerbaarheid: Door verder te gaan dan binaire stopsignalen naar gelokaliseerd, per-dimensie bewijs en semantisch redeneren, adresseert RAPT de "black box" natuur van falen in geleerde beleid, waardoor operators het verschil kunnen onderscheiden tussen externe verstoringen, actuator-degradatie en sensorfouten.
Reproduceerbaarheid: De auteurs verbinden zich aan het vrijgeven van de trainingspipeline, gelabelde real-world datasets en C++ deployment code om toekomstige benchmarking te ondersteunen.

Het werk demonstreert dat een lichtgewicht, zelfgesuperviseerd probabilistisch model effectief de kloof tussen simulatie en realiteit kan overbruggen, waarbij zowel directe veiligheidsinterventies als post-hoc diagnostische inzichten worden geboden voor complexe humanoïde systemen.