🤖 machine learning

RAPT: Model-Predictive Out-of-Distribution Detection and Failure Diagnosis for Sim-to-Real Humanoid Deployment

Questo articolo introduce RAPT, un monitor auto-supervisionato e leggero che consente il rilevamento fuori distribuzione ad alta frequenza e la diagnosi dei guasti zero-shot interpretabile per i robot umanoidi durante il deployment Sim-to-Real, riducendo significativamente i rischi di guasti silenziosi e danni all'hardware.

Autori originali: Humphrey Munn, Brendan Tidd, Peter Bohm, Marcus Gallagher, David Howard

Pubblicato 2026-07-22

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Humphrey Munn, Brendan Tidd, Peter Bohm, Marcus Gallagher, David Howard

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot come camminare lasciandolo esercitare milioni di volte all'interno di un mondo perfetto, simile a un videogioco. In quel parco giochi digitale, il robot impara a bilanciarsi, correre e danzare senza mai inciampare. Ma quando finalmente lo scolleghi e lo lasci entrare nel mondo reale, le cose si fanno complicate. Il mondo reale ha pavimenti scivolosi, urti inaspettati e sensori che a volte mentono. Questo è l'inghippo del problema "Sim-to-Real": un robot potrebbe comportarsi come un campione nel gioco, ma inciampare immediatamente nella realtà perché non ha mai visto questi intoppi del mondo reale prima d'ora. Se il robot non si rende conto di essere confuso, potrebbe continuare a cercare di camminare con una gamba rotta o spingere contro un muro che non c'è, rischiando potenzialmente di scontrarsi con se stesso o di rompere le sue costose parti. Gli scienziati stanno cercando di costruire una "rete di sicurezza" che osservi il robot, individui quando sta entrando in una situazione strana e pericolosa per la quale non è stato addestrato, e prema i freni prima che avvenga il disastro.

Questo è esattamente ciò che affronta il documento "RAPT". Gli autori hanno costruito un sistema di sorveglianza leggero e velocissimo chiamato RAPT (Recurrent Anomaly Probabilistic Trajectory Model) che gira accanto al cervello di un robot. Pensa a RAPT come a un coach molto esperto che ha guardato il robot esercitarsi nel videogioco così tanto da sapere esattamente come dovrebbe muoversi. Quando il robot inizia a muoversi nel mondo reale, RAPT osserva ogni giunto e sensore in tempo reale. Se il robot inizia improvvisamente a barcollare in un modo che non corrisponde alla sua memoria di "pratica perfetta" — come se venisse spinto con forza o calpestasse una chiazza scivolosa — RAPT grida istantaneamente: "Ehi, questo non è normale!" e attiva un arresto di sicurezza.

Ciò che rende speciale RAPT è che non si limita a dire "fermati"; agisce come un detective. Può individuare quale parte del robot si sta comportando in modo strano e quando ha iniziato a comportarsi in modo strano. Ancora più incredibile, può parlare con un assistente linguistico intelligente (un'IA) per indovinare il perché il robot sia fallito, come ad esempio: "Oh, il robot probabilmente è scivolato su un pavimento bagnato" o "Qualcuno lo ha spinto", senza aver mai visto quell'incidente specifico prima d'ora. Nei loro test, il team ha addestrato RAPT in una simulazione massiccia e poi lo ha testato su un vero robot. I risultati hanno mostrato che RAPT era molto più bravo a cogliere questi momenti pericolosi rispetto ad altri metodi, intercettando il 37% in più di problemi nella simulazione e l'89% dei problemi sul robot reale, il tutto senza quasi dare falsi allarmi quando tutto andava bene. È un passo verso la creazione di robot che possano esplorare in sicurezza il mondo reale disordinato senza rompersi.

Sintesi Tecnica: RAPT – Rilevamento di Out-of-Distribution e Diagnosi dei Guasti Predittivo-Modellistico per l'Implementazione Sim-to-Real di Umaniroidi

Definizione del Problema

L'implementazione di politiche di controllo apprese per robot umanoidi dal simulatore alla realtà (Sim-to-Real) comporta rischi significativi. Le politiche che appaiono robuste in simulazione possono entrare con sicurezza in stati out-of-distribution (OOD) durante l'implementazione a causa di dinamiche non modellate, rumore dei sensori, latenza, variazioni di carico, variazioni del terreno o errori di implementazione. Questi eventi OOD possono portare a "guasti silenziosi", cadute, auto-collisioni o danni all'hardware.

I metodi esistenti di rilevamento delle anomalie spesso non riescono a soddisfare i vincoli specifici del controllo di umanoidi ad alta frequenza (50 Hz):

Costo Computazionale: L'incertezza e i metodi ensemble sono spesso troppo costosi per i cicli di controllo in tempo reale.
Problemi di Calibrazione: I modelli generativi (es. LSTM-VAE) possono soffrire di scarsa calibrazione della verosimiglianza e bias di complessità dell'input.
Mancanza di Interpretabilità: Molti approcci forniscono solo un segnale di arresto binario, offrendo alcuna informazione su quando, dove o perché l'esecuzione sia deviata dal comportamento nominale.
Accoppiamento degli Stati: I metodi generici per serie temporali trattano spesso i canali propriocettivi come segnali indipendenti anziché come stati accoppiati del robot.

Metodologia

Il documento presenta RAPT (Recurrent Anomaly Probabilistic Trajectory Model), un sistema di monitoraggio leggero e auto-supervisionato progettato per essere eseguito parallelamente a una politica di controllo pre-addestrata. RAPT opera in quattro fasi:

1. Raccolta Dati Nominali

RAPT raccoglie traiettorie propriocettive nominali da politiche esperte eseguite in una simulazione su larga scala (NVIDIA Isaac Lab). Queste traiettorie definiscono il "manifold del comportamento nominale" che il sistema deve preservare durante l'implementazione. Le osservazioni vengono normalizzate prima dell'addestramento.

2. Modello di Traiettoria Ricorrente Probabilistico

RAPT è addestrato come un modello di ricostruzione ricorrente auto-supervisionato. L'architettura include:

Encoder dello Stato Residuo: Elabora la cronologia delle osservazioni.
Ponte Temporale basato su GRU: Cattura le dipendenze temporali.
Bottleneck Latente: Comprime la rappresentazione dello stato.
Decoder Probabilistico: Output di una distribuzione di ricostruzione gaussiana diagonale $[\mu_t, \log \sigma^2_t]$ .

Il modello minimizza la Log-Likelihood Negativa (NLL) delle osservazioni nominali. Questa formulazione cattura l'incertezza aleatoria eteroscedastica, consentendo alle dimensioni con variabilità naturalmente più alta di avere una varianza predittiva maggiore, penalizzando più severamente le deviazioni nelle dimensioni coerenti. Per i compiti di tracciamento della velocità, viene utilizzata una variante di dinamica forward (condizionata su $o_{t-1}, a_{t-1}$ per predire $o_t$ ); altrimenti, si preferisce la pura ricostruzione.

3. Rilevamento OOD Addestrato in Simulazione e Calibrato in Fase di Implementazione

In fase di implementazione, RAPT valuta le deviazioni predittive per dimensione. Per gestire il gap Sim-to-Real, RAPT supporta due modalità di calibrazione:

Calibrazione in Simulazione: Misura le deviazioni dalla distribuzione addestrata in simulazione, rendendo visibili i disallineamenti residui Sim-to-Real.
Calibrazione nel Mondo Reale: Utilizza un breve ciclo nominale verificato per adattarsi agli offset statici (rumore dei sensori, latenza, dinamiche dell'hardware), consentendo il rilevamento di nuovi eventi OOD rispetto all'hardware specifico.

Il rilevamento utilizza un meccanismo di gating gerarchico:

Gate Locale: Rileva deviazioni per dimensione insolitamente grandi ( $\ell_{t,i} > \tau_{max} + 5\sigma_i$ ).
Gate Globale: Rileva spostamenti ampi nella deviazione media predittiva ( $\bar{\ell}_t > \tau_{global} + 3\sigma_{global}$ ).
Inviluppo di Sicurezza Ibrido: Opzionalmente accoppiato con un rilevatore di intervallo deterministico. La decisione finale sull'anomalia è l'OR logico di gate locali, globali e di intervallo.

4. Localizzazione del Guasto e Diagnosi

Salienza Temporale: Al rilevamento di un'anomalia, RAPT calcola i gradienti della NLL finale rispetto a una finestra temporale utilizzando i gradienti integrati attraverso il modello ricorrente. Ciò produce una mappa di attribuzione spazio-temporale, evidenziando quando e quali canali propriocettivi sono partiti per primi dal comportamento nominale.
Diagnosi Semantica: Un modello linguistico di grandi dimensioni (LLM) multi-modale riceve prove strutturate (riassunti di salienza temporale, traiettorie cinematiche articolari, contesto del compito, fotogrammi chiave visivi) per eseguire la classificazione zero-shot delle cause di guasto (es. collisioni, guasti ai sensori, variazioni del terreno) senza richiedere dati di guasto etichettati durante l'addestramento del rilevatore.

Contributi Chiave

Monitoraggio Addestrato in Simulazione e Calibrato in Fase di Implementazione: RAPT apprende da simulazioni su larga scala e calibra le soglie utilizzando o dati di simulazione o brevi dati del mondo reale, supportando sia il debugging che il rilevamento OOD dell'hardware in tempo reale.
Rilevamento OOD a Basso FPR per Umaniroidi ad Alti DOF: Utilizzando la modellazione della deviazione predittiva probabilistica con gate calibrati per dimensione e globali, RAPT supera i baseline compatibili con alte frequenze sotto vincoli rigorosi di falsi positivi (FPR).
Evidenza Localizzata per la Diagnosi dei Guasti: Il sistema genera segnali di NLL per dimensione e salienza temporale, consentendo una diagnosi semantica post-hoc dei modi di guasto senza richiedere dati di guasto etichettati.

Risultati Sperimentali

Gli autori hanno validato RAPT su un umanoide Unitree G1 sia in NVIDIA Isaac Lab che su hardware fisico.

Prestazioni in Simulazione: Attraverso quattro compiti (tracciamento velocità, imitazione del movimento, lancio balistico) e 15 categorie OOD, RAPT ha migliorato il True Positive Rate (TPR) del 37% rispetto al baseline più forte a un tasso di falsi positivi (FPR) per episodio dello 0,5%.
Prestazioni sull'Hardware: Su un Unitree G1 fisico attraverso 78 prove, RAPT ha raggiunto un TPR dell'89% con meno falsi positivi rispetto ai baseline compatibili con alte frequenze.
Accuratezza della Diagnosi: Su un subset OOD impegnativo, RAPT ha raggiunto una accuratezza di diagnosi del guasto semantico del 75% su 21 categorie di guasto utilizzando l'approccio LLM zero-shot.
Latenza: La pipeline di monitoraggio opera a circa 1,6 ms, compatibile con cicli di controllo a 50 Hz.

Significato e Rivendicazioni

Il documento posiziona RAPT non come un sostituto della randomizzazione del dominio o dell'identificazione del sistema, ma come uno strato complementare che monitora il disallineamento residuo e gli eventi OOD imprevisti che persistono dopo il trasferimento.

Sicurezza e Debugging: RAPT fornisce un segnale osservabile durante l'implementazione per il monitoraggio della sicurezza e il debugging senza modificare il controllore sottostante. Attiva risposte di sicurezza predefinite (es. arresto sicuro, caduta controllata, recupero) al rilevamento di OOD.
Interpretabilità: Passando oltre i segnali di arresto binari verso evidenze localizzate per dimensione e ragionamento semantico, RAPT affronta la natura di "scatola nera" dei guasti nelle politiche apprese, permettendo agli operatori di distinguere tra disturbi esterni, degradazione degli attuatori e guasti ai sensori.
Riproducibilità: Gli autori si impegnano a rilasciare la pipeline di addestramento, i dataset del mondo reale etichettati e il codice di implementazione in C++ per supportare futuri benchmark.

Il lavoro dimosta che un modello probabilistico leggero e auto-supervisionato può colmare efficacementamente il divario tra simulazione e realtà, offrendo sia interventi di sicurezza immediati che approfondimenti diagnostici post-hoc per sistemi umanoidi complessi.