Resumen Técnico: FailSafe – Razonamiento y Recuperación de Fallos en Modelos de Visión-Lenguaje-Acción

Declaración del Problema

Los avances recientes en los modelos de Visión-Lenguaje-Acción (VLA) han permitido que los robots ejecuten tareas de manipulación complejas integrando el control de bajo nivel en los Modelos de Visión-Lenguaje (VLM). Sin embargo, estos modelos dependen fuertemente de conjuntos de datos a gran escala compuestos por trayectorias limpias y de verdad de terreno (ground-truth), que rara vez incluyen escenarios de fallo. En consecuencia, aunque los VLA funcionan bien dentro de su distribución, tienen dificultades para detectar o recuperarse de fallos impredecibles y abruptos encontrados durante la ejecución en el mundo real.

Los enfoques existentes para el razonamiento de fallos enfrentan limitaciones significativas:

• Falta de Acciones Ejecutables: Muchos conjuntos de datos solo proporcionan explicaciones textuales de los fallos (por ejemplo, "el gripper debería moverse a la izquierda"), las cuales son ambiguas respecto a la magnitud y los puntos finales, lo que dificulta su ejecución directa por parte de los modelos VLA.
• Dependencia de la Supervisión Humana: Métodos como OLAF y YAY requieren observadores humanos externos para monitorear las operaciones e intervenir, lo cual es impráctico para sistemas totalmente autónomos.
• Incapacidad de Escalar: Aunque algunos procesos generan trayectorias de fallo, a menudo no logran producir acciones correctivas que sean tanto válidas como ejecutables por robots.

El desafío central abordado por este trabajo es la ausencia de un proceso escalable que pueda generar automáticamente el razonamiento de fallos de alto nivel junto con acciones de recuperación de bajo nivel que sean ejecutables para mejorar la robustez de los VLA.

Metodología: El Proceso (Pipeline) FailSafe

Los autores proponen FailSafe, un marco novedoso diseñado para generar automáticamente casos de fallo diversos junto con acciones de recuperación ejecutables dentro de simuladores que admiten planificación de movimiento (demostrado en ManiSkill). El proceso consta de cinco etapas clave:

1. Generación de Fallos

FailSafe define tres modos de fallo fundamentales para modelar errores robóticos comunes:

• Fallo de Traslación: Perturbaciones a lo largo de los ejes cartesianos ($x, y, z$).
• Fallo de Rotación: Desviaciones angulares en roll, pitch o yaw.
• Fallo de No-ops: Que el brazo robótico se quede bloqueado durante un periodo sin movimiento.

Estos fallos se inyectan en pasos arbitrarios de las ejecuciones de verdad de terreno. El sistema utiliza una configuración YAML para especificar rangos de ruido (por ejemplo, $\pm0.1$ para traslación, $\pm1$ radián para rotación) y las etapas donde ocurren los fallos. Esto imita el despliegue en el mundo real, donde los errores pueden ocurrir inesperadamente.

2. Recolección de Acciones

A diferencia de otros métodos que producen texto, FailSafe recolecta acciones de recuperación del efector final de 7-DoF ($\Delta A$).

• Mapeo: Para una pose desviada ($P_d$) en una trayectoria de fallo, el sistema la mapea a una pose correctiva correspondiente ($P_c$) en la trayectoria correcta.
• Restricciones: Para prevenir colisiones, $P_c$ se selecciona de una ventana que comienza 10 pasos después de que el fallo inicia y termina 3 pasos antes de que la tarea concluya.
• Diversidad: El sistema genera múltiples pares $(P_d, P_c)$ candidatos. La acción correctiva resultante $\Delta A$ es la diferencia de 7-DoF entre estas poses. Crucialmente, incluso si se inyecta un tipo de fallo específico (por ejemplo, Traslación X), la $\Delta A$ resultante no está restringida a una sola dimensión; proporciona ajustes en las siete dimensiones para manejar modos de fallo simultáneos o complejos.

3. Verificación Sistemática

Antes de su inclusión en el conjunto de datos, cada acción de recuperación candidata se somete a una rigurosa verificación:

• El sistema reproduce la trayectoria: $A \to P_d \to P_c \to \text{Resto de la Tarea}$.
• Si la tarea, que originalmente falló, tiene éxito tras aplicar la pose correctiva $P_c$, el par es validado.
• Esto asegura que las acciones recolectadas sean robustas y efectivas cuando se aplican en diversos pasos temporales.

4. Construcción del Conjunto de Datos

El proceso se aplicó a tres tareas en ManiSkill: Pick Cube (Recoger Cubo), Push Cube (Empujar Cubo) y Stack Cube (Apilar Cubo).

• Escala: El conjunto de datos resultante contiene aproximadamente 131,000 pares fallo-acción y 56,000 trayectorias de verdad de terreno (exitosas).
• Formato: Cada entrada incluye 10 imágenes consecutivas de múltiples vistas (frontal, lateral, de la muñeca), instrucciones de la tarea, identificación de la sub-tarea, clasificación de fallo (sí/no), tipo de fallo y el vector de acción correctiva de 7-DoF.

5. Entrenamiento del Modelo (FailSafe-VLM)

Los autores ajustaron (fine-tuned) LLaVa-OneVision-7B (LLaVa-OV-7B) utilizando el conjunto de datos FailSafe.

• Arquitectura: El modelo utiliza Qwen2-7B-Instruct como columna vertebral de lenguaje y SigLIP como torre de visión, con un proyector MLP de dos capas GELU.
• Entrenamiento: Se realizó un ajuste de instrucciones completo con co-entrenamiento en una mezcla de RoboPoint VQA para mejorar la generalización.
• Estrategia de Inferencia: FailSafe-VLM opera como un asistente externo de un modelo VLA base. Cada 10 pasos, analiza el estado actual para determinar si es probable que haya un fallo. Si es "Sí", emite una acción correctiva; si es "No", el control regresa al VLA base.

Principales Contribuciones

1. Proceso Escalable de Fallo-Acción: El primer marco capaz de generar automáticamente tanto explicaciones de razonamiento de fallos como acciones de recuperación de 7-DoF precisas y ejecutables para robots, adaptables a simuladores con soporte de planificación de movimiento.
2. Mejora del Rendimiento: Demostró que el conjunto de datos FailSafe permite a los VLA existentes razonar sobre fallos, aumentando significativamente las tasas de éxito de tres modelos VLA de última generación ($\pi$o-FAST, OpenVLA, OpenVLA-OFT).
3. Generalización: Mostró que FailSafe-VLM puede generalizar a través de diversas configuraciones espaciales, puntos de vista de cámara, categorías de objetos (incluyendo objetos no vistos como esferas y cargadores) y embodiments robóticos (por ejemplo, transfiriendo de Franka Emika Panda a xArm 6).

Resultados Experimentales

Los autores evaluaron FailSafe-VLM en el brazo Franka Emika Panda en el entorno ManiSkill:

• Ganancias de Rendimiento VLA:

  • OpenVLA: Logró la mayor mejora, con un incremento promedio de la tasa de éxito del 22.6% (del 14.7% al 37.3%).
  • OpenVLA-OFT: Mejoró un 8.0% (del 90.7% al 98.7%).
  • $\pi$o-FAST: Mejoró un 4.0% (del 78.7% al 82.7%).
  • Estas ganancias se lograron incluso cuando la vista de cámara utilizada para FailSafe-VLM era novedosa (distinta a su vista de entrenamiento), mientras coincidía con la vista de entrenamiento del VLA.

• Generalización:

  • Objetos no vistos: Al probarse en Pick Sphere, Place Sphere y Pick Charger, FailSafe-VLM mejoró el rendimiento de OpenVLA-OFT en un promedio de 17.4%.
  • Embodiments no vistos: Al aplicarse a un robot xArm 6 (entrenado solo con datos de Franka), mejoró la tasa de éxito de Stack Cube del 56% al 76%.

• Comparación con VLMs de Última Generación:

  • FailSafe-VLM superó significativamente a GPT-4o, Gemini-2.5-flash y Qwen2.5-VL en detección de fallos (Éxito Binario: 0.9094 vs. ~0.70 para GPT-4o), identificación del tipo de fallo (Precisión: 0.8368 vs. ~0.20) y predicción de acción correctiva (Similitud de Coseno: 0.6522 vs. cercano a 0 para los demás).
  • Notablemente, Qwen2.5-VL frecuentemente emitía "no hay fallo" y cero acciones, fallando en asistir la recuperación.

• Eficiencia:

  • La integración incurrió en una sobrecarga de inferencia marginal de +3.8s a +9.1s por tarea, debido principalmente a la replanificación del simulador.

Significado y Reivindicaciones

El artículo posiciona a FailSafe como un paso crítico hacia una IA incorporada (embodied AI) robusta y explicable. Los autores afirman que:

• Autonomía: Al eliminar la necesidad de supervisión humana en la detección y recuperación de fallos, FailSafe acerca los sistemas VLA a la autonomía total.
• Razonamiento Accionable: El cambio de descripciones textuales de fallos a acciones delta ejecutables cierra la brecha entre el razonamiento de alto nivel y el control de bajo nivel, una limitación en trabajos previos.
• Escalabilidad: El diseño del proceso permite la creación escalable de datos de fallo-recuperación, lo cual es prohibitivamente difícil de recolectar en el mundo real.
• Base para Trabajos Futuros: Aunque el método actual se centra en la recuperación a nivel de movimiento y aún no aborda errores a nivel de objeto (por ejemplo, soltar un objeto), establece una base para futuros sistemas capaces de autocorrección en entornos complejos y dinámicos.

Los autores concluyen que FailSafe sirve como un primer intento para permitir un razonamiento de fallos y una autonomía más fuertes, allanando el camino para una manipulación robótica más confiable en entornos no estructurados.