World Model Failure Classification and Anomaly Detection for Autonomous Inspection

Título: Clasificación de Fallos de Modelos Mundiales y Detección de Anomalías para la Inspección Autónoma

1. Planteamiento del Problema

Los robots de inspección autónoma son fundamentales para reducir costos y riesgos en la monitorización de sitios industriales. Sin embargo, su eficacia se ve comprometida por desafíos de percepción como oclusiones, puntos de vista limitados y condiciones ambientales imprevistas (brillos, sombras, desenfoque).
El problema central abordado es la detección en línea, precisa y eficiente de fallos durante la tarea de inspección. Específicamente, el sistema debe distinguir entre tres estados críticos:

• Éxito: Lectura precisa del instrumento.
• Fallo conocido: Errores sistemáticos predecibles (ej. oclusión parcial, ángulo inadecuado) que requieren acciones correctivas específicas.
• Anomalía (Fuera de Distribución - OOD): Condiciones ambientales no vistas durante el entrenamiento que impiden la lectura pero no son necesariamente fallos de seguridad inmediatos (ej. sombras fuertes, brillo).

La dificultad radica en que los métodos tradicionales de detección de anomalías (OOD) no proporcionan acciones informadas para fallos conocidos, mientras que la clasificación supervisada pura no puede generalizar a condiciones nunca antes vistas.

2. Metodología

Los autores proponen un marco híbrido que combina la clasificación supervisada de fallos con la detección secuencial de anomalías (OOD) utilizando un modelo del mundo (world model) y predicción conforme (Conformal Prediction - CP).

• Arquitectura del Modelo:

  • Se utiliza un modelo del mundo basado en NVIDIA Cosmos Tokenizer (frozen) y un modelo latente.
  • El sistema toma entradas de video comprimidas y predice el siguiente cuadro (frame).
  • Se entrenan dos modelos predictivos independientes: uno utilizando datos de éxito ($M_{success}$) y otro utilizando datos de fallo conocido ($M_{fail}$).
  • La arquitectura es agnóstica a la política de control (no depende de cómo el robot se mueve, solo de las observaciones visuales).

• Mecanismo de Decisión:

  • Se definen dos funciones de decisión basadas en puntuaciones de error de predicción (scores): $D_{success}$ y $D_{fail}$.
  • La clasificación final se determina mediante la lógica booleana de estas funciones:
    • Éxito: $D_{success}=0$ y $D_{fail}=1$ (El modelo de éxito no detecta anomalía, el de fallo sí).
    • Fallo Conocido: $D_{success}=1$ y $D_{fail}=0$ (El modelo de éxito detecta anomalía, el de fallo no).
    • Anomalía (OOD): $D_{success}=1$ y $D_{fail}=1$ (Ambos modelos detectan que la entrada se desvía de sus distribuciones de entrenamiento).

• Umbralización con Predicción Conforme (CP):

  • Para evitar falsos positivos/negativos y calibrar los umbrales de decisión ($\eta_s, \eta_f$), se utiliza CP.
  • Se calculan puntuaciones (ej. error de predicción latente, distancia de Mahalanobis) en un conjunto de calibración separado.
  • Los umbrales se establecen en un nivel de cuantil específico (ej. 90%, 95%) para garantizar una cobertura estadística, permitiendo que el sistema clasifique antes de que un observador humano note el fallo.

3. Contribuciones Clave

1. Detector Híbrido: Integración de clasificación de fallos conocidos (para acciones correctivas informadas) y detección OOD (para condiciones no vistas) en un solo marco unificado.
2. Umbralización Calibrada: Uso de métricas de Predicción Conforme para establecer umbrales robustos y distribucionales, permitiendo distinguir entre éxito, fallo conocido y anomalía sin depender de datos de entrenamiento etiquetados exhaustivamente para cada escenario futuro.
3. Evaluación Exhaustiva: Validación en datos de inspección de medidores (gauges) recolectados tanto en entornos de oficina como industriales.
4. Despliegue en Tiempo Real: Implementación exitosa en un robot Boston Dynamics Spot, demostrando la viabilidad del sistema en hardware real.

4. Resultados Experimentales

El sistema fue evaluado en un conjunto de datos de 290 videos (aprox. 10 segundos cada uno) utilizando diversas métricas de puntuación.

• Precisión de Clasificación:

  • La métrica de Error de Predicción Latente (Latent Prediction Error) logró la mejor precisión general, superando el 90% en la distinción entre las tres clases (éxito, fallo, OOD) al 90% de cuantil.
  • La distancia de Mahalanobis mostró una precisión del 100% en la detección OOD, pero fue propensa al sobreajuste (overfitting) y a falsos positivos en datos válidos pero visualmente diferentes.
  • El error de reconstrucción y la distancia coseno latente tuvieron un rendimiento inferior debido a la naturaleza del modelo Cosmos, que ya estaba preentrenado para reconstrucción.

• Tiempo de Detección:

  • El sistema clasificó los fallos antes que un observador humano.
  • Con la métrica de error de predicción latente, la detección ocurrió en promedio entre 1 y 3 segundos antes de que el fallo fuera evidente para un humano.
  • El modelo de Mahalanobis fue el más rápido (hasta 9 segundos antes), pero su falta de interpretabilidad y alta tasa de falsos positivos lo hizo menos práctico.

• Despliegue en Hardware:

  • Se ejecutó en un Boston Dynamics Spot con una cámara PTZ.
  • Aunque la latencia de red (debido a la inferencia externa) tomó ~3 minutos por clasificación, el procesamiento en sí es instantáneo. El sistema requiere menos de 1.5 GB de almacenamiento, lo que sugiere que es totalmente viable para despliegue a bordo (on-board).

5. Significado e Impacto

Este trabajo representa un avance significativo hacia la robustez y seguridad en la inspección industrial autónoma:

• Seguridad Proactiva: Al detectar anomalías y fallos antes de que ocurran consecuencias graves, el sistema permite intervenciones tempranas (ej. reintentar la lectura, cambiar de ángulo o alertar a un operador).
• Mejora de Datos: El sistema puede identificar brechas en los datos de entrenamiento (casos OOD), guiando la recolección de datos dirigida para mejorar futuros modelos.
• Generalización: Al no depender de una política de control específica y utilizar un enfoque libre de distribución, el marco es adaptable a diversos robots y entornos industriales, reduciendo la complejidad de la arquitectura necesaria para el despliegue.

En resumen, el marco propuesto ofrece una solución práctica y teóricamente fundamentada para que los robots autónomos no solo "vean" el entorno, sino que comprendan cuándo su percepción falla y actúen en consecuencia, cerrando la brecha entre la detección de anomalías y la respuesta operativa inteligente.