World Model Failure Classification and Anomaly Detection for Autonomous Inspection

1. Problema

Robôs de inspeção autônoma são essenciais para monitorar sites industriais, reduzindo custos e riscos associados à inspeção humana. No entanto, a obtenção de leituras precisas de instrumentos (como manômetros) é desafiadora devido a:

• Oclusões e pontos de vista limitados: Instrumentos parcialmente cobertos ou fora do campo de visão.
• Condições ambientais imprevistas: Reflexos (glare), sombras e iluminação inadequada que não foram vistas durante o treinamento.
• Riscos de segurança: Se um robô falhar ao detectar uma leitura perigosa ou uma condição anômala, isso pode levar a riscos de segurança críticos.

O desafio central é desenvolver um sistema capaz de distinguir, em tempo real, entre três cenários:

1. Sucesso: Leitura precisa obtida.
2. Falha Conhecida: Erros sistemáticos conhecidos (ex: oclusão total, ângulo ruim) que impedem a leitura.
3. Anomalia (Out-of-Distribution - OOD): Condições ambientais novas ou inesperadas que o modelo não viu no treinamento, mas que não são necessariamente falhas de segurança imediata (ex: sombras, borrão).

2. Metodologia

Os autores propõem um framework híbrido que combina classificação supervisionada de falhas com detecção de anomalias (OOD), utilizando um Modelo de Mundo (World Model) como backbone.

• Arquitetura do Modelo:

  • Utiliza o NVIDIA Cosmos Tokenizer (com pesos congelados) para comprimir e tokenizar feeds de vídeo.
  • Emprega dois modelos preditivos distintos treinados em pares de observações: um modelo treinado apenas em dados de sucesso e outro em dados de falha.
  • O modelo prevê o próximo quadro de vídeo a partir do estado latente atual. A discrepância entre a previsão e a observação real gera uma pontuação de erro.

• Mecanismo de Decisão (Conformal Prediction - CP):

  • O sistema utiliza Conformal Prediction (CP) para calibrar limiares (thresholds) estáticos baseados em métricas de pontuação (ex: erro de predição latente, distância de Mahalanobis).
  • Existem duas funções de decisão independentes: $D_{success}$ (baseada no modelo de sucesso) e $D_{fail}$ (baseada no modelo de falha).
  • Lógica de Classificação:
    • Sucesso: $D_{success} = 0$ e $D_{fail} = 1$ (O dado se encaixa no modelo de sucesso, mas não no de falha).
    • Falha Conhecida: $D_{success} = 1$ e $D_{fail} = 0$ (O dado se encaixa no modelo de falha, mas não no de sucesso).
    • Anomalia (OOD): $D_{success} = 1$ e $D_{fail} = 1$ (O dado não se encaixa em nenhum dos modelos, indicando uma distribuição fora do treinamento).

• Vantagens: O framework é agnóstico à política de controle (não depende de saber como o robô age) e livre de distribuição, permitindo classificação antes mesmo que um observador humano perceba a falha.

3. Principais Contribuições

1. Detector Híbrido: Combina classificação supervisionada de falhas (para ações corretivas informadas) com detecção de OOD (para falhas não vistas no treinamento) em uma única estrutura.
2. Limiares Calibrados por CP: Uso de métricas de Conformal Prediction para definir limites de decisão robustos, permitindo a distinção entre sucesso, falha conhecida e anomalia.
3. Validação em Ambientes Reais: Avaliação em dados de inspeção de manômetros coletados em escritórios e sites industriais.
4. Implantação em Tempo Real: Demonstração do sistema funcionando em um robô Boston Dynamics Spot, processando feeds de vídeo de uma câmera PTZ (Pan-Tilt-Zoom).

4. Resultados Experimentais

O framework foi testado em um conjunto de dados de 290 vídeos (sucesso, falha e OOD).

• Precisão de Detecção:
  • O método alcançou mais de 90% de precisão na distinção entre as três classes.
  • A métrica de "Erro de Predição Latente" (Latent Prediction Error) mostrou-se a mais robusta, superando outras métricas como erro de reconstrução e distância L2.
  • A métrica de Distância de Mahalanobis teve 100% de precisão na detecção de OOD, mas mostrou tendência a overfitting e instabilidade em ambientes de alta dimensão.
• Tempo de Detecção:
  • O sistema classificou as falhas 1 a 3 segundos antes de um observador humano perceber o problema.
  • Isso é crucial para permitir ações corretivas antecipadas (ex: reposicionar o robô ou ajustar o zoom).
• Desempenho em Hardware:
  • O sistema foi executado em um Spot da Boston Dynamics. Embora a inferência tenha sido hospedada externamente devido a restrições de uso, o pipeline completo requer apenas ~1,5 GB de armazenamento, sugerindo viabilidade para execução on-board.
  • O robô demonstrou comportamentos adaptativos: permanecer parado em caso de sucesso, registrar a falha para revisão posterior, ou iniciar um zoom automático em caso de leitura OOD (ex: borrão).

5. Significado e Impacto

Este trabalho representa um avanço significativo na segurança e confiabilidade de robôs autônomos em ambientes industriais críticos:

• Segurança Proativa: Ao detectar anomalias e falhas antes que se tornem críticas, o sistema mitiga riscos de segurança que poderiam passar despercebidos por inspeções humanas ou algoritmos puramente supervisionados.
• Feedback para Treinamento: A capacidade de identificar dados OOD (fora da distribuição) serve como um sinal de feedback valioso para coletar dados direcionados, melhorando a qualidade dos conjuntos de dados para treinamento futuro de modelos.
• Escalabilidade: A abordagem baseada em modelos de mundo e CP é aplicável a diversas tarefas de inspeção além de manômetros, oferecendo um caminho para sistemas autônomos mais robustos e adaptáveis a ambientes dinâmicos e não estruturados.

Em resumo, o artigo apresenta uma solução prática e eficaz para o problema de "cegueira" de robôs autônomos diante de condições imprevistas, garantindo que eles não apenas realizem tarefas, mas também reconheçam quando não podem fazê-lo com segurança.