RC-NF: Robot-Conditioned Normalizing Flow for Real-Time Anomaly Detection in Robotic Manipulation

1. O Problema

Os modelos Visão-Linguagem-Ação (VLA) permitiram que robôs executassem tarefas complexas baseadas em prompts de linguagem natural. No entanto, esses modelos, treinados principalmente por Imitation Learning (Aprendizado por Imitação), enfrentam desafios significativos em ambientes dinâmicos do mundo real, especialmente sob condições Fora de Distribuição (OOD - Out-of-Distribution).

• Limitações das Abordagens Atuais:
  • Métodos baseados em classificação de estados exigem enumeração exaustiva de falhas, o que não escala para a variabilidade do mundo real.
  • Abordagens que utilizam Grandes Modelos de Linguagem (VLMs) para monitoramento (ex: Sentinel) sofrem com alta latência (vários segundos) devido ao raciocínio passo a passo, impedindo intervenções em tempo real.
  • Falhas em OOD podem ser de dois tipos: Nível de Tarefa (o prompt não corresponde mais ao ambiente) e Nível de Estado (a trajetória do robô ou objeto desvia da distribuição de treinamento, mesmo que a instrução seja válida).

2. Metodologia: RC-NF

Os autores propõem o RC-NF (Robot-Conditioned Normalizing Flow), um modelo de monitoramento em tempo real que detecta anomalias sem necessidade de dados de falha para treinamento (aprendizado não supervisionado apenas com amostras positivas).

Arquitetura Principal

O RC-NF baseia-se em Fluxos Normalizadores (Normalizing Flows - NF), que mapeiam distribuições complexas para distribuições simples (Gaussianas) através de transformações invertíveis.

• Fluxo Condicionado: Diferente de um NF padrão, o RC-NF condiciona o fluxo ao estado do robô ($s$) e à tarefa ($\tau$). Isso permite modelar a probabilidade conjunta $p(x_{target}, s | T)$, onde $x_{target}$ é a trajetória do objeto.
• Cálculo de Anomalia: Durante a inferência, o modelo calcula a densidade de probabilidade da configuração atual (robô + objeto). Um escore de anomalia é derivado do negative log-likelihood. Se o escore ultrapassar um limiar, uma anomalia é detectada.

Componentes Inovadores

1. RCPQNet (Robot-Conditioned Point Query Network): Uma nova camada de acoplamento afim que substitui as camadas padrão do NF.

   • Query Condição do Robô Consciente da Tarefa: O estado do robô é projetado e modulado pela embedding da tarefa (usando FiLM) para criar tokens de consulta dinâmicos que recuperam pistas temporais e espaciais relevantes.
   • Codificação de Características de Pontos Dupla-Ramo: Para representar o objeto, o modelo usa máscaras de segmentação (extraídas via SAM2) amostradas em pontos.
     • Ramo de Forma Dinâmica: Normaliza a forma para capturar movimentos relativos.
     • Ramo de Resíduo Posicional: Preserva informações de posição absoluta que seriam perdidas na normalização.
   • Esses componentes são processados via Cross-Attention em um Transformer, permitindo que o modelo aprenda parâmetros de transformação afim dependentes do contexto.

2. Mecanismo de Tratamento de Anomalias:

   • Nível de Estado: Se a trajetória desviar (ex: objeto escorregando), o RC-NF dispara um procedimento de homing (retorno ao estado inicial) ou ajuste de trajetória local.
   • Nível de Tarefa: Se o ambiente mudar fundamentalmente (ex: gaveta fechada quando deveria estar aberta), o RC-NF sinaliza o controlador de alto nível para realizar replanning (replanejamento da tarefa).

3. Contribuições Principais

1. Modelo RC-NF: Um fluxo normalizador não supervisionado que desacopla o processamento do estado do robô e do objeto, utilizando o RCPQNet para injetar condições conscientes da tarefa.
2. Benchmarck LIBERO-Anomaly-10: Introdução de um novo conjunto de dados de avaliação baseado no LIBERO-10, contendo três tipos específicos de anomalias robóticas:
   • Gripper Open: A garra permanece aberta quando deveria agarrar.
   • Gripper Slippage: O objeto escorrega da garra.
   • Spatial Misalignment: O robô move-se para a direção espacial errada.
3. Validação em Tempo Real: Demonstração de que o sistema opera com latência inferior a 100 ms, permitindo integração plug-and-play com políticas VLA existentes (como $\pi_0$).

4. Resultados

Os experimentos foram conduzidos em simulação (LIBERO-Anomaly-10) e no mundo real (braço robótico Franka Research 3).

• Desempenho em Simulação:
  • O RC-NF superou consistentemente os baselines, incluindo VLMs de ponta (GPT-5, Gemini 2.5 Pro, Claude 4.5) e modelos baseados em fluxo (FailDetect).
  • Métricas: Superou o melhor baseline anterior em aproximadamente 8% em AUC e 10% em AP (Average Precision) em média.
  • Os VLMs falharam drasticamente em "Spatial Misalignment" (AUC $\approx$ 0.5), demonstrando dificuldade em alinhar semântica visual com raciocínio espacial, enquanto o RC-NF manteve alta precisão.
• Experimentos no Mundo Real:
  • O sistema detectou anomalias em menos de 100 ms em uma GPU de nível consumidor (RTX 3090).
  • Em cenários de teste (ex: gaveta fechando inesperadamente ou objeto caindo), o RC-NF permitiu que o sistema VLA pausasse, corrigisse a trajetória ou solicitasse replanejamento, evitando falhas catastróficas.
  • Sem o RC-NF, o modelo VLA ($\pi_0$) continuava executando ações inválidas (ex: tentar pegar um objeto que não estava mais na posição esperada).

5. Significado e Impacto

O trabalho demonstra que é possível criar sistemas de monitoramento de segurança para robôs que são rápidos, precisos e adaptáveis, sem depender de grandes quantidades de dados de falha ou de raciocínio linguístico lento.

• Robustez: O RC-NF aumenta significativamente a robustez de modelos VLA em ambientes não estruturados, lidando tanto com desvios físicos (estado) quanto com mudanças contextuais (tarefa).
• Arquitetura Modular: Ao atuar como um módulo de monitoramento externo que não altera a política VLA subjacente, o RC-NF oferece uma solução prática para a implantação segura de IA robótica no mundo real, fechando a lacuna entre a capacidade de planejamento de alto nível e a execução segura de baixo nível.