I-FailSense: Towards General Robotic Failure Detection with Vision-Language Models

Resumen Técnico: I-FailSense

1. El Problema

La manipulación robótica condicionada por lenguaje en entornos del mundo real requiere no solo ejecutar tareas con precisión, sino también la capacidad de detectar fallos automáticamente para un despliegue robusto. Aunque los modelos de visión-lenguaje (VLM) han mejorado la planificación de tareas y el razonamiento espacial, siguen teniendo limitaciones críticas para reconocer sus propios fallos.

El artículo identifica una brecha específica y poco explorada: la detección de errores de desalineación semántica.

• Errores de control: Son fallos físicos evidentes (ej. el robot no agarra el objeto, lo deja caer). Estos son relativamente fáciles de detectar visualmente.
• Errores de desalineación semántica: Ocurren cuando el robot ejecuta un comportamiento semánticamente válido pero inconsistente con la instrucción dada (ej. el robot levanta el bloque rojo cuando se le pidió levantar el bloque azul, o gira un objeto en la dirección incorrecta).
• Desafío: Detectar estos errores requiere alinear la instrucción de lenguaje no solo con la identidad del objeto, sino también con la dimensión espacial y temporal de los movimientos del robot, algo que los VLMs "de caja negra" (zero-shot) suelen fallar.

2. Metodología: I-FailSense

Los autores proponen I-FailSense, un marco de código abierto basado en VLMs diseñado específicamente para la detección de fallos mediante un proceso de entrenamiento en dos etapas y una arquitectura de arbitraje.

A. Construcción de Datos (DSMF)
Para abordar la falta de datos específicos, los autores crean datasets de Fallos de Desalineación Semántica (DSMF) a partir de demostraciones expertas existentes (como CALVIN y DROID):

• Ejemplos positivos: Trayectorias de éxito con sus instrucciones originales.
• Ejemplos negativos: Se toman trayectorias exitosas y se les asigna una instrucción diferente pero del mismo tipo de tarea (ej. cambiar "levanta el bloque azul" por "levanta el bloque rojo"). Esto fuerza al modelo a aprender a distinguir matices semánticos sutiles en lugar de solo fallos físicos.

B. Arquitectura del Modelo
I-FailSense se basa en un VLM base (PaliGemma2-mix-3B) y sigue un pipeline de dos etapas:

1. Ajuste Fino Supervisado (Stage 1): Se utiliza LoRA (Low-Rank Adaptation) para afinar eficientemente los parámetros del modelo base (capas de proyección MLP y adaptadores en las capas de lenguaje) para la tarea de detección de fallos, manteniendo el codificador de visión congelado.
2. Arbitraje Anclado (Stage 2 - FS Blocks): Se congelan los pesos del VLM y se entrenan bloques de clasificación ligeros (FS blocks) conectados a múltiples capas internas del modelo (no solo la salida final).
   • Cada bloque FS procesa las representaciones de una capa específica del VLM.
   • Utilizan un mecanismo de atención híbrida (MLP + Multi-Head Attention) para agrupar características.
   • Mecanismo de Votación: Las predicciones de los múltiples bloques FS y la salida del VLM se agregan mediante un mecanismo de votación ponderada para producir la predicción final (Éxito/Fallo). Esto permite capturar niveles de abstracción de razonamiento variados.

3. Contribuciones Clave

1. Nueva Definición de Fallo: Enfocarse sistemáticamente en los errores de desalineación semántica, un tipo de fallo crítico que revela la falta de "anclaje" (grounding) entre el lenguaje, la visión y la acción.
2. Generación de Datos: Un pipeline para transformar datasets de demostración experta en datasets de entrenamiento para detección de fallos semánticos.
3. Arquitectura I-FailSense: Un marco que desacopla el poder explicativo del VLM base de cabezas de clasificación entrenables, utilizando representaciones internas múltiples y votación para mejorar la precisión.
4. Generalización Sorprendente: Demostrar que entrenar solo en desalineación semántica permite al modelo generalizar a otros tipos de fallos (errores de control) y a nuevos entornos.

4. Resultados Experimentales

Los experimentos se realizaron en simulación (CALVIN, RLBench/AHA) y en el mundo real (DROID).

• Detección de Desalineación Semántica (In-Distribution):

  • I-FailSense alcanza una precisión del 90.6% en el dataset DSMF-CALVIN.
  • Supera significativamente a los VLMs de estado del arte (SOTA) en modo zero-shot (GPT-4o, Qwen2.5-VL, PaliGemma2), que oscilan entre el 47% y el 69% de precisión. Los modelos base tienden a clasificar falsos positivos (creer que un fallo es un éxito).

• Generalización a Tipos de Fallos No Vistos (Control Errors):

  • Entrenado solo en desalineación semántica, I-FailSense logra un 89% de precisión en el dataset AHA (que contiene principalmente errores de control como agarres incompletos).
  • Supera a modelos basados en VLMs entrenados específicamente en AHA (como AHA-7B/13B) en +19 puntos porcentuales. Esto sugiere que aprender a alinear lenguaje y movimiento es una habilidad fundamental que cubre tanto errores semánticos como de control.

• Generalización a Entornos Nuevos (Sim-to-Real):

  • Al transferirse a datos reales (DSMF-DROID) con un ajuste fino mínimo (solo en los bloques FS), el modelo alcanza un 74% de precisión.
  • Se observa que combinar vistas egocéntricas y exocéntricas mejora el rendimiento en el mundo real debido a la mayor complejidad y distracciones, a diferencia de los entornos simulados controlados.

5. Significado e Impacto

El trabajo de I-FailSense es un paso crucial hacia agentes robóticos autónomos capaces de autoevaluarse.

• Robustez: Permite a los robots detectar fallos sutiles que los humanos podrían pasar por alto o que los sistemas de control tradicionales no capturan.
• Eficiencia de Datos: Demuestra que no es necesario entrenar masivamente con datos de fallos específicos de control; aprender a detectar desalineación semántica proporciona señales suficientes para detectar una amplia gama de errores.
• Escalabilidad: El enfoque de usar representaciones internas de VLMs grandes y congelados, añadiendo solo cabezas de clasificación ligeras, ofrece una ruta eficiente para integrar capacidades de detección de fallos en sistemas robóticos existentes sin requerir reentrenamiento completo de modelos masivos.

En conclusión, I-FailSense establece un nuevo estándar para la detección de fallos en robótica, demostrando que la comprensión profunda de la alineación entre lenguaje y acción es la clave para la robustez en entornos abiertos.