🤖 machine learning

RAPT: Model-Predictive Out-of-Distribution Detection and Failure Diagnosis for Sim-to-Real Humanoid Deployment

Este artigo apresenta o RAPT, um monitor autossupervisionado e leve que possibilita a detecção de fora da distribuição de alta frequência e o diagnóstico de falhas zero-shot interpretável para robôs humanoides durante a implantação Sim-to-Real, reduzindo significativamente as falhas silenciosas e os riscos de danos ao hardware.

Autores originais: Humphrey Munn, Brendan Tidd, Peter Bohm, Marcus Gallagher, David Howard

Publicado 2026-07-22

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Humphrey Munn, Brendan Tidd, Peter Bohm, Marcus Gallagher, David Howard

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a andar permitindo que ele pratique milhões de vezes dentro de um mundo de videogame perfeito. Nesse parquinho digital, o robô aprende a se equilibrar, correr e dançar sem nunca tropeçar. Mas quando você finalmente o tira da tomada e o deixa dar um passo no mundo real, as coisas ficam bagunçadas. O mundo real tem pisos escorregadios, calos inesperados e sensores que às vezes mentem. Este é o problemático problema "Sim-to-Real": um robô pode agir como um campeão no jogo, mas tropeçar imediatamente na realidade porque nunca viu esses problemas do mundo real antes. Se o robô não perceber que está confuso, ele pode continuar tentando andar com uma perna quebrada ou empurrar uma parede que não está lá, potencialmente colidindo consigo mesmo ou quebrando suas partes caras. Cientistas estão tentando construir uma "rede de segurança" que vigia o robô, detecta quando ele está entrando em uma situação estranha e perigosa para a qual não foi treinado e pisa no freio antes que o desastre aconteça.

Isso é exatamente o que o artigo "RAPT" aborda. Os autores construíram um sistema de vigilância leve e super rápido chamado RAPT (Recurrent Anomaly Probabilistic Trajectory Model) que roda ao lado do cérebro de um robô. Pense no RAPT como um treinador altamente experiente que assistiu ao robô praticar no videogame tantas vezes que sabe exatamente como ele deveria se mover. Quando o robô começa a se mover no mundo real, o RAPT observa cada articulação e sensor em tempo real. Se o robô começar a balançar de uma forma que não condiz com sua memória de "prática perfeita" — como se fosse empurrado com força ou pisasse em um trecho escorregadio — o RAPT instantaneamente grita: "Ei, isso não é normal!" e aciona uma parada segura.

O que torna o RAPT especial é que ele não apenas diz "pare"; ele age como um detetive. Ele pode identificar qual parte do robô está agindo de forma estranha e quando ela começou a agir de forma estranha. Ainda mais legal, ele pode conversar com um assistente de linguagem inteligente (uma IA) para adivinhar por que o robô falhou, como "Oh, o robô provavelmente escorregou em um chão molhado" ou "Alguém o empurrou", sem precisar ter visto esse acidente específico antes. Em seus testes, a equipe treinou o RAPT em uma simulação massiva e depois tentou aplicá-lo em um robô real. Os resultados mostraram que o RAPT foi muito melhor em detectar esses momentos perigosos do que outros métodos, detectando 37% mais problemas na simulação e 89% dos problemas no robô real, tudo isso sem raramente dar alarmes falsos quando tudo estava realmente bem. É um passo em direção a tornar os robôs capazes de explorar o mundo real bagunçado com segurança, sem quebrar a si mesmos.

Resumo Técnico: RAPT – Detecção de Fora da Distribuição e Diagnóstico de Falhas Baseado em Modelo Preditivo para Implantação de Humanoides Sim-to-Real

Declaração do Problema

A implantação de políticas de controle aprendidas para robôs humanoides da simulação para a realidade (Sim-to-Real) carrega riscos significativos. Políticas que parecem robustas em simulação podem entrar confiantemente em estados fora da distribuição (OOD - Out-of-Distribution) durante a implantação devido a dinâmicas não modeladas, ruído sensorial, latência, mudanças de carga, variações de terreno ou erros de implementação. Esses eventos OOD podem levar a "falhas silenciosas", quedas, auto-colisões ou danos ao hardware.

Métodos existentes de detecção de anomalias frequentemente falham em atender às restrições específicas do controle de humanoides de alta taxa (50 Hz):

Custo Computacional: Métodos de incerteza e de ensemble são frequentemente caros demais para loops de controle em tempo real.
Problemas de Calibração: Modelos generativos (ex: LSTM-VAEs) podem sofrer de má calibração de verossimilhança e viés de complexidade de entrada.
Falta de Interpretabilidade: Muitas abordagens fornecem apenas um sinal binário de parada, não oferecendo insights sobre quando, onde ou por que a execução desviou do comportamento nominal.
Acoplamento de Estado: Métodos genéricos de séries temporais frequentemente tratam canais proprioceptivos como sinais independentes em vez de estados acoplados do robô.

Metodologia

O artigo apresenta o RAPT (Recurrent Anomaly Probabilistic Trajectory Model), um sistema de monitoramento leve e autossupervisionado projetado para rodar paralelamente a uma política de controle pré-treinada. O RAPT opera em quatro estágios:

1. Coleta de Dados Nominais

O RAPT coleta trajetórias proprioceptivas nominais de políticas especialistas executadas em simulação de larga escala (NVIDIA Isaac Lab). Essas trajetórias definem o "manifold de comportamento nominal" que o sistema deve preservar durante a implantação. As observações são normalizadas antes do treinamento.

2. Modelo de Trajetória Recorrente Probabilístico

O RAPT é treinado como um modelo de reconstrução recorrente autossupervisionado. A arquitetura inclui:

Codificador de Estado Residual: Processa o histórico de observações.
Ponte Temporal baseada em GRU: Captura dependências temporais.
Gargalo Latente: Comprime a representação de estado.
Decodificador Probabilístico: Saída de uma distribuição Gaussiana diagonal $[\mu_t, \log \sigma^2_t]$ .

O modelo minimiza a Log-Verossimilhança Negativa (NLL) das observações nominais. Esta formulação captura a incerteza aleatória heterocedástica, permitindo que dimensões com variabilidade naturalmente maior tenham variância preditiva maior, enquanto penaliza desvios em dimensões consistentes de forma mais severa. Para tarefas de rastreamento de velocidade, uma variante de dinâmica direta (condicionada em $o_{t-1}, a_{t-1}$ para prever $o_t$ ) é utilizada; caso contrário, a reconstrução pura é preferida.

3. Detecção de OOD Treinada em Simulação e Calibrada na Implantação

Durante a implantação, o RAPT avalia desvios preditivos por dimensão. Para lidar com o gap Sim-to-Real, o RAPT suporta dois modos de calibração:

Calibração de Simulação: Mede desvios da distribuição treinada na simulação, tornando visíveis os descompassos residuais Sim-to-Real.
Calibração de Mundo Real: Utiliza uma breve execução nominal verificada para se adaptar a offsets estáticos (ruído de sensor, latência, dinâmicas de hardware), permitindo a detecção de novos eventos OOD relativos ao hardware específico.

A detecção utiliza um mecanismo de portão hierárquico:

Portão Local: Detecta desvios por dimensão anormalmente grandes ( $\ell_{t,i} > \tau_{max} + 5\sigma_i$ ).
Portão Global: Detecta mudanças amplas no desvio médio preditivo ( $\bar{\ell}_t > \tau_{global} + 3\sigma_{global}$ ).
Envelope de Segurança Híbrido: Opcionalmente pareado com um detector de intervalo determinístico. A decisão final de anomalia é o OR lógico dos portões local, global e de intervalo.

4. Localização de Falha e Diagnóstico

Saliência Temporal: Após a detecção de anomalia, o RAPT computa os gradientes da NLL final em relação a uma janela de histórico usando gradientes integrados através do modelo recorrente. Isso produz um mapa de atribuição espaço-temporal, destacando quando e quais canais proprioceptivos partiram do comportamento nominal pela primeira vez.
Diagnóstico Semântico: Um Modelo de Linguagem de Grande Escala (LLM) multimodal recebe evidências estruturadas (resumos de saliência temporal, trajetórias cinemáticas articulares, contexto da tarefa e keyframes visuais) para realizar a classificação zero-shot das causas de falha (ex: colisões, falhas de sensor, mudanças de terreno) sem exigir dados de falha rotulados durante o treinamento do detector.

Principais Contribuições

Monitoramento Treinado em Simulação e Calibrado na Implantação: O RAPT aprende de simulações de larga escala e calibra limiares usando dados de simulação ou breves execuções no mundo real, suportando tanto depuração quanto detecção de OOD de hardware em tempo real.
Detecção de OOD de Baixa FPR para Humanoides de Alto DOF: Ao utilizar modelagem de desvio preditivo probabilístico com portões calibrados por dimensão e globais, o RAPT supera baselines compatíveis com alta frequência sob restrições rigorosas de falsos positivos.
Evidência Localizada para Diagnóstico de Falhas: O sistema gera sinais de NLL por dimensão e saliência temporal, permitindo o diagnóstico semântico pós-hoc de modos de falha sem necessidade de dados de falha rotulados.

Resultados Experimentais

Os autores validaram o RAPT em um humanoide Unitree G1 tanto no NVIDIA Isaac Lab quanto em hardware físico.

Desempenho em Simulação: Através de quatro tarefas (rastreamento de velocidade, mimetismo de movimento, arremesso balístico) e 15 categorias de OOD, o RAPT melhorou a Taxa de Verdadeiros Positivos (TPR) em 37% sobre o baseline mais forte em uma Taxa de Falsos Positivos (FPR) de nível de episódio de 0,5%.
Desempenho em Hardware: Em um Unitree G1 físico ao longo de 78 testes, o RAPT alcançou uma TPR de 89% com menos falsos positivos do que os baselines compatíveis com alta frequência.
Precisão de Diagnóstico: Em um subconjunto desafiador de OOD, o RAPT alcançou 75% de precisão de diagnóstico semântico de falha através de 21 categorias de falha usando a abordagem LLM zero-shot.
Latência: O pipeline de monitoramento opera a aproximadamente 1,6ms, compatível com loops de controle de 50 Hz.

Significância e Alegações

O artigo posiciona o RAPT não como um substituto para a randomização de domínio ou identificação de sistemas, mas como uma camada complementar que monitora o descompasso residual e eventos OOD imprevistos que persistem após a transferência.

Segurança e Depuração: O RAPT fornece um sinal observável de implantação para monitoramento de segurança e depuração sem modificar o controlador subjacente. Ele aciona respostas de segurança predefinidas (ex: parada segura, queda controlada, recuperação) ao detectar OOD.
Interpretabilidade: Ao ir além de sinais de parada binários para evidências localizadas por dimensão e raciocínio semântico, o RAPT aborda a natureza de "caixa preta" das falhas em políticas aprendidas, permitindo que operadores distingam entre perturbações externas, degradação de atuadores e falhas de sensores.
Reprodutibilidade: Os autores comprometem-se a liberar o pipeline de treinamento, conjuntos de dados do mundo real rotulados e código de implantação em C++ para apoiar futuros benchmarks.

O trabalho demonstra que um modelo probabilístico leve e autossupervisionado pode efetivamente reduzir o gap entre simulação e realidade, oferecendo tanto intervenções de segurança imediatas quanto insights diagnósticos pós-hoc para sistemas humanoides complexos.