Unsupervised Discovery of Failure Taxonomies from Deployment Logs

Este trabajo presenta un enfoque no supervisado que utiliza el razonamiento visión-lingüístico para inferir explicaciones estructuradas a partir de registros de fallos multimodales y agruparlas en taxonomías coherentes y accionables, demostrando su utilidad para mejorar la robustez, la recolección de datos y la monitorización en sistemas robóticos diversos.

Lo esencial

Imagina que tienes un robot muy inteligente, como un coche autónomo o un asistente doméstico. Cuando este robot se mueve por el mundo real, a veces se equivoca: choca contra una pared, deja caer una taza o se pierde en un pasillo.

Antes, si queríamos arreglar estos errores, teníamos que contratar a un equipo de expertos humanos para que miraran miles de horas de video de estos fallos, uno por uno, y escribieran en una libreta: "Ah, este fallo fue porque el robot no vio el cristal" o "Ese otro fue porque calculó mal la distancia". Era como intentar ordenar una montaña de hojas sueltas a mano: lento, aburrido y casi imposible de escalar.

¿Qué propone este paper?
Los autores crearon un "detective automático" que hace todo el trabajo sucio por nosotros. Su objetivo es descubrir, sin ayuda humana, un catálogo organizado de errores (llamado "taxonomía") directamente de los videos y datos crudos que el robot genera cuando falla.

Aquí tienes la explicación paso a paso, usando analogías sencillas:

1. El Problema: La "Torre de Babel" de los Fallos

Imagina que el robot falla 100 veces. Cada vez que falla, deja un rastro de datos (imágenes, movimientos). Si miras los 100 fallos, parecen 100 historias diferentes y caóticas.

• El enfoque antiguo: Un humano intenta leer las 100 historias y decir: "Bueno, el fallo 1 y el 3 son similares".
• El problema: Hay demasiados fallos para que un humano los lea todos.

2. La Solución: El "Traductor" y el "Organizador"

El sistema de los autores funciona en dos fases mágicas:

Fase A: El Traductor (De Video a Historia)
Primero, el sistema toma un video de un fallo (por ejemplo, un coche que choca). En lugar de solo ver píxeles, usa una Inteligencia Artificial muy avanzada (un modelo de visión y lenguaje) para "contar la historia" del accidente.

• Analogía: Imagina que el robot es un niño que dibuja un caos. El sistema es un traductor que mira ese dibujo y escribe: "El niño tropezó porque no vio el escalón". Convierte el video confuso en una frase clara y lógica.

Fase B: El Organizador (Agrupando Historias)
Una vez que tiene miles de "historias" escritas, el sistema las lee y las agrupa. No las agrupa por qué se parecen visualmente (por ejemplo, "ambos tienen un coche rojo"), sino por por qué ocurrieron.

• Analogía: Imagina que tienes una pila de cartas de quejas de clientes. En lugar de ordenarlas por el color del sobre, las agrupas por el problema: "Quejas de envío lento", "Quejas de producto roto", "Quejas de mal servicio".
• El resultado es un índice de errores: "Aquí están los fallos por 'no ver cristales'", "Aquí los fallos por 'confundir sombras con agujeros'", etc.

3. ¿Por qué es genial? (Los Superpoderes)

Una vez que tienes este catálogo organizado, puedes hacer cosas increíbles para mejorar la seguridad:

• Caza de Tesoros (Recopilación de Datos):
  Si el catálogo te dice que el robot falla mucho en "puertas de cristal", sabes exactamente qué necesitas entrenar.

  • Analogía: Es como un médico que, al ver que muchos pacientes tienen gripe, decide no comprar más paracetamol para todo el mundo, sino que va a la farmacia y compra específicamente antivirales para la gripe. Ahorra tiempo y dinero. El sistema dice: "Vamos a grabar más videos de robots chocando contra cristales para aprender de eso".

• La Alarma Temprana (Monitoreo en Tiempo Real):
  Cuando el robot está trabajando en la vida real, el sistema puede mirar lo que está pasando y decir: "¡Oye! Esto se parece mucho al fallo 'puerta de cristal' que vimos antes. ¡Detente antes de chocar!".

  • Analogía: Es como un entrenador de fútbol que, viendo un partido, grita: "¡Cuidado! El delantero del rival siempre hace esa jugada en el minuto 80, prepárate". El sistema anticipa el error antes de que ocurra.

4. ¿Dónde lo probaron?

Los autores probaron su "detective" en tres mundos muy diferentes:

1. Cocinas robóticas: Robots que intentan cocinar y dejan caer cosas.
2. Coches autónomos: Usando videos reales de accidentes de tráfico.
3. Robots de oficina: Robots que se mueven por pasillos y chocan contra paredes o puertas.

En los tres casos, el sistema logró crear listas de errores claras y útiles, sin que nadie le dijera qué buscar.

En Resumen

Este paper es como crear un diccionario de errores automático para los robots. En lugar de que los humanos pasen años clasificando manualmente por qué fallan los robots, la Inteligencia Artificial lee los accidentes, entiende la historia detrás de cada uno, los organiza en categorías lógicas y nos da un mapa para arreglarlos de forma más inteligente, rápida y segura.

Es pasar de "apagar fuegos uno por uno" a "entender por qué se prenden los fuegos y prevenirlos".

Resumen técnico

Resumen Técnico: Descubrimiento No Supervisado de Taxonomías de Fallos

1. Planteamiento del Problema

A medida que los sistemas robóticos (vehículos autónomos, asistentes domésticos, manipuladores) se integran en entornos del mundo real, enfrentan escenarios no estructurados y de "cola larga" que provocan fallos. Aunque estos fallos generan datos perceptuales ricos para mejorar la robustez del sistema, su análisis manual es impráctico y no escala ante grandes volúmenes de registros de despliegue.

El problema central que aborda este trabajo es el descubrimiento no supervisado de taxonomías de fallos a partir de grandes volúmenes de registros brutos de despliegue (trayectorias multimodales centradas en fallos). El objetivo no es solo agrupar secuencias visualmente similares, sino inferir modos de fallo recurrentes semánticamente coherentes y accionables sin etiquetas predefinidas ni intervención humana.

2. Metodología Propuesta

Los autores proponen un marco de trabajo de tres etapas que transforma datos brutos en una taxonomía estructurada, operando completamente de forma no supervisada:

1. Submuestreo de Observaciones Semánticas:

   • Para cada secuencia de fallo, se extrae una ventana temporal centrada en el evento de fallo (antes y después).
   • Se utiliza una estrategia de selección basada en similitud de embeddings (usando CLIP) para reducir la redundancia temporal. Se retienen solo los fotogramas que representan cambios semánticos significativos, preservando el contexto causal crítico mientras se optimiza el uso del contexto de entrada del Modelo de Lenguaje (VLM).

2. Razonamiento de Fallos (Failure Reasoning):

   • Las secuencias submuestreadas se alimentan a un Modelo de Visión y Lenguaje (VLM) mediante un prompt estructurado.
   • Se emplea una estrategia de Cadena de Pensamiento (Chain-of-Thought) para que el modelo no solo describa la escena, sino que infiera la causa raíz del fallo ($r_n$) basándose en la evidencia observada y las acciones del agente. Esto genera un conjunto de explicaciones estructuradas.

3. Descubrimiento de Taxonomía mediante Agregación Semántica:

   • Las explicaciones de fallo se agrupan en un espacio de razonamiento semántico.
   • Se utiliza un Ensemble de LLMs (Modelos de Lenguaje) como optimizadores. En lugar de una sola pasada, el sistema genera múltiples agrupaciones candidatas y luego utiliza al LLM para reconciliarlas en una taxonomía consolidada.
   • Este proceso de "refinamiento en tiempo de prueba" (test-time self-refinement) asegura coherencia intra-cluster, minimiza la superposición inter-cluster y garantiza una cobertura completa de los modos de fallo.
   • El resultado es un conjunto de clusters definidos por: nombre natural, descripción breve, palabras clave y frecuencia.

4. Asignación de Trayectorias:

   • Cada nueva trayectoria de fallo se asigna a los modos descubiertos. Las instancias que no coinciden con ningún cluster se marcan como valores atípicos (outliers) para futuras iteraciones.

3. Contribuciones Clave

1. Definición del Problema: Introducen formalmente la tarea de descubrir taxonomías de fallos a partir de trayectorias multimodales sin supervisión.
2. Marco de Trabajo Híbrido: Proponen un pipeline que combina razonamiento visual-lingüístico (VLM) para la explicación y agregación semántica (LLM) para la clustering, evitando la dependencia de anotaciones humanas costosas.
3. Validación en Múltiples Dominios: Demuestran la eficacia del método en tres áreas distintas: manipulación robótica, conducción autónoma y navegación interior.
4. Beneficios de Seguridad en Bucle Cerrado: Validan que las taxonomías descubiertas mejoran tareas downstream críticas, específicamente la recopilación de datos dirigida y el monitoreo de fallos en tiempo de ejecución.

4. Resultados y Evaluación

El marco se evaluó en tres estudios de caso:

• A. Manipulación Robótica (RoboFail):

  • Comparado contra una taxonomía definida por expertos, el método alcanzó una puntuación de alineación semántica (SAS) de 0.958 (tras agregación), superando significativamente a métodos basados en topic modeling como BERTopic.
  • Logró una cobertura del 100% de los modos de fallo definidos por expertos.
  • La asignación de trayectorias a clusters obtuvo un F1 ponderado del 85.53%, superando ampliamente a las baselines de similitud de embeddings.

• B. Videos de Accidentes de Coche (Nexar):

  • Descubrió taxonomías coherentes (ej. "Colisiones por detrás", "Violaciones de prioridad en intersecciones") que se alinean con la tipología del Centro Volpe del Departamento de Transporte de EE. UU., sin usar etiquetas previas.

• C. Navegación Interior:

  • Identificó causas de colisión específicas (ej. "Objetos delgados salientes", "Superficies sin características", "Malos juicios en espacios estrechos") que coinciden con hallazgos manuales previos.

Mejoras en Tareas Downstream:

• Monitoreo en Tiempo Real: Un monitor de fallos aumentado con la taxonomía descubierta mejoró la puntuación F1 en datos fuera de distribución (OOD) y detectó fallos con mayor antelación (lead time) en comparación con clasificadores supervisados o detección de anomalías genérica.
• Recopilación de Datos Dirigida: Al usar la taxonomía para recolectar datos adicionales en regiones de alto riesgo (ej. paredes sin textura), la tasa de fallos de la política refinada disminuyó del 46% al 18%, frente a un descenso solo al 34% con recolección uniforme.

5. Significado e Impacto

Este trabajo representa un avance significativo hacia la seguridad autónoma escalable. Al automatizar la identificación de patrones de fallo recurrentes a partir de datos brutos, el método permite:

• Reducir la dependencia de la anotación manual, que es un cuello de botella en el desarrollo de sistemas seguros.
• Crear sistemas de seguridad proactivos que pueden anticipar fallos basándose en modos conocidos, no solo en anomalías estadísticas.
• Optimizar el ciclo de vida de los robots, permitiendo una mejora iterativa de las políticas de control mediante la recopilación de datos dirigida a las vulnerabilidades específicas descubiertas.

En resumen, el artículo demuestra que es posible transformar registros de fallos caóticos en estructuras de conocimiento organizadas y accionables, facilitando la creación de sistemas robóticos más robustos y seguros para entornos del mundo real.