Resumen Técnico: RAFAIL – Detección de Fallos Sensible a las Relaciones para la Manipulación Robótica

Planteamiento del Problema

La manipulación robótica fiable requiere la capacidad de detectar fallos de ejecución en tiempo real. Aunque los Modelos de Lenguaje-Visión (VLM) pueden evaluar semánticamente los resultados de las tareas, su inferencia continua durante el tiempo de ejecución introduce una carga computacional prohibitiva. Por el contrario, los detectores tradicionales basados en la incertidumbre o en la Distribución Fuera de Dominio (OOD) son computacionalmente eficientes, pero a menudo carecen de especificidad semántica; pueden activar alertas ante variaciones inocuas de la escena mientras pasan por alto errores de interacción sutiles pero críticos para la tarea. Además, muchos detectores existentes dependen de características internas de la política que no son universalmente accesibles en diferentes arquitecturas de política. El desafío central es detectar desviaciones que afecten específicamente al éxito de la tarea sin incurrir en el coste de ejecución de los VLM ni depender de estados internos de la política que sean inaccesibles.

Metodología: Marco de Trabajo RAFAIL

RAFAIL (Detección de Fallos Sensible a las Relaciones) aborda estos desafíos descomponiendo las observaciones globales en relaciones relevantes para la tarea entre entidades (por ejemplo, pinza-objeto, objeto-objetivo) en lugar de analizar la escena de forma global. El marco opera a través de una fase de entrenamiento fuera de línea (offline) y una fase de despliegue ligero en línea (online).

1. Entrenamiento Fuera de Línea y Destilación Semántica

El sistema aprovecha un VLM exclusivamente durante la fase fuera de línea para generar supervisión semántica a partir de demostraciones exitosas:

• Descripción de la Tarea y Extracción de Objetos: Un VLM analiza los fotogramas de la demostración para generar una descripción de la tarea, identificar los estados inicial y final, y extraer los objetos relevantes para la tarea.
• Importancia de la Relación y Etiquetado de Progreso: Se solicita a un VLM más pequeño que clasifique la importancia de las relaciones entre objetos y el progreso de la tarea a través de pares de secuencias de fotogramas. Estas clasificaciones crean un conjunto de datos de preferencia.
• Destilación: Se entrenan dos redes neuronales para destilar esta comprensión semántica:
  • Un Etiquetador de Importancia (ResNet18 + MLP) predice la puntuación de importancia ($r_t$) para cada relación en un paso de tiempo dado.
  • Un Etiquetador de Progreso de la Tarea (ResNet18 + BiLSTM) predice un valor de progreso de la tarea continuo ($p_t$) que oscila entre 0 y 1.
• Aprendizaje de Representación de Relaciones: Se entrena un codificador DGCNN utilizando una pérdida contrastiva para mapear las nubes de puntos de pares de objetos específicos en un espacio latente de baja dimensión ($z$). Esta pérdida está ponderada por la importancia de la relación predicha, lo que incentiva al codificador a distinguir entre diferentes estados de relación (muestras positivas/negativas) mientras prioriza las interacciones semánticamente importantes.

2. Despliegue en Línea

Durante el tiempo de ejecución, el sistema opera sin la inferencia del VLM:

• Ejecución de la Política: Una política de manipulación (ManiFlow) predice acciones basadas en la nube de puntos y entradas propioceptivas. Simultáneamente, emite las estimaciones auxiliares de la importancia de la relación ($\hat{r}_t$) y del progreso de la tarea ($\hat{p}_t$).
• Detección de OOD Específica de la Relación: Para cada relación $k$, un detector de OOD independiente (específicamente, Destilación de Red Aleatoria, RND) evalúa la representación latente $z^k_t$. Este detector está condicionado al progreso actual de la tarea $p_t$ mediante capas FiLM.
• Puerta de Fallo (Failure Gating): Se genera una puntuación de OOD ($s^k_t$) para cada relación. Se activa un fallo solo si una relación es tanto importante (por encima de un umbral $\theta_{imp}$) como anómala (puntuación OOD por encima de un umbral calibrado $\theta^k_{ood}$).
  $$f^k_t = \mathbb{I}[\hat{r}^k_t > \theta_{imp}] \cdot \mathbb{I}[s^k_t > \theta^k_{ood}]$$
  La señal de fallo final es el máximo de estas puntuaciones de puerta a través de todas las relaciones.

Principales Contribuciones

1. Marco Sensible a las Relaciones: Un enfoque novedoso que descompone las observaciones globales en representaciones dedicadas para las relaciones individuales relevantes para la tarea, permitiendo una detección de fallos dirigida.
2. Destilación Semántica sin VLM en Tiempo de Ejecución: Un método para destilar la importancia de la relación y el progreso de la tarea desde un VLM hacia etiquetadores neuronales ligeros, permitiendo la conciencia semántica durante el despliegue sin la inferencia de un VLM en línea.
3. Detección de OOD Condicionada al Progreso de la Tarea: Un detector de OOD que integra el progreso de la tarea y la importancia de la relación para localizar interacciones anómalas, manteniéndose independiente de las representaciones latentes internas de la política.

Resultados Experimentales

RAFAIL fue evaluado en tres tareas de manipulación robótica en el mundo real: PickPlace (Recoger y Colocar), Uprighting (Enderezar) y Pouring (Verter). El sistema se probó frente a bases sólidas incluyendo ACE (Action Chunk Entropy), FIPER y varios detectores de OOD (logpZO, RND, PCA-kmeans).

• Rendimiento: RAFAIL alcanzó una precisión equilibrada del 73.4% en todas las tareas, superando a la base más fuerte (ACE), que alcanzó el 65.2%.
• Compromiso (Trade-off): RAFAIL mantuvo un equilibrio favorable entre la Tasa de Verdaderos Positivos (TPR: 58.5%) y la Tasa de Falsos Positivos (FPR: 11.6%), mientras que otros métodos a menudo tuvieron dificultades para mantener este compromiso de manera consistente en diferentes tareas.
• Alineación Temporal: El análisis del tiempo de detección mostró que las señales de RAFAIL estaban más estrechamente alineadas con la manifestación física del fallo en comparación con las bases, que a menudo se activaban significativamente antes o después.
• Localización: En las detecciones de verdaderos positivos, la relación que activó la alerta coincidió con la relación de fallo anotada manualmente en el 93.3% de los casos de PickPlace, el 69.3% de los casos de Pouring y el 68.0% de los casos de Uprighting.
• Estudios de Ablación: Eliminar la codificación por relación (codificando toda la escena en su lugar) o eliminar el mecanismo de puerta de importancia degradó significativamente el rendimiento, confirmando que centrarse en relaciones específicas y suprimir las irrelevantes es crítico para la robustez.

Significado y Limitaciones

El artículo postula que RAFAIL ofrece una solución práctica para la operación autónoma fiable al detectar fallos de ejecución con alta precisión y bajo coste computacional, sin requerir datos de fallos para el entrenamiento. Al centrarse en las relaciones relevantes para la tarea, el sistema evita el ruido de las variaciones globales de la escena.

Sin embargo, los autores reconocen modestamente ciertas limitaciones:

• Fallos Sutiles: Los fallos causados por pequeñas desviaciones de pose que permanecen dentro de la distribución de los estados de relación exitosos pueden pasar desapercibidos.
• Entidades No Modeladas: El marco asume que los fallos críticos para la tarea pueden representarse mediante relaciones de pares entre entidades segmentables. Los fallos que involucren entidades no modeladas, propiedades globales de la escena, fuerzas de contacto no geométricas o rupturas de segmentación/seguimiento podrían permanecer sin detectar.

Se sugiere como trabajo futuro investigar representaciones relacionales más finas para capturar estos errores sutiles.