Resumen Técnico: Hide-and-Seek en Trayectorias

Declaración del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) han demostrado un potencial significativo para permitir que los robots sigan instrucciones en lenguaje natural y se generalicen a través de diversas tareas. Sin embargo, su despliegue en entornos del mundo real se ve obstaculizado por la susceptibilidad a fallos de ejecución, lo que puede conducir a resultados catastróficos (por ejemplo, dejar caer objetos). La detección de estos fallos durante la ejecución es crítica para la robustez.

Los métodos actuales de detección de fallos enfrentan dos limitaciones primarias:

1. Costo de Supervisión: Obtener anotaciones a nivel de paso (identificar el timestamp exacto de un error) es costoso y difícil de escalar, particularmente para trayectorias de largo horizonte y estocásticas. Los enfoques existentes que dependen de etiquetas a nivel de trayectoria suelen propagar estas etiquetas de manera uniforme a cada paso de tiempo. Esta "propagación uniforme" etiqueta erróneamente acciones normales que preceden al fallo como fallos, introduciendo un ruido de etiqueta sustancial y oscureciendo las señales de fallo localizadas.
2. Practicidad Computacional: Los métodos que dependen del remuestreo de acciones o de jueces externos de Modelos de Lenguaje-Visión (VLM) incurren en un overhead de inferencia prohibitivo, lo que impide el despliegue en tiempo real. Además, muchos detectores existentes están diseñados para políticas especialistas en tareas fijas, lo que limita su aplicabilidad a VLAs generalistas en entornos de mundo abierto.

El desafío central abordado es la Detección de Fallos con Supervisión Gruesa (Coarsely Supervised): aprender un detector de fallos de grano fino, por paso, utilizando únicamente etiquetas de resultado a nivel de trayectoria (éxito/fallo) sin ninguna anotación a nivel de paso.

Metodología: Hide-and-Seek (Escondite)

Los autores proponen Hide-and-Seek, un marco ligero de detección de fallos en tiempo de ejecución que trata el problema como una tarea de aprendizaje con supervisión gruesa. El método recibe su nombre de la metáfora de que las señales de fallo están "escondidas" entre un comportamiento mayoritariamente normal dentro de una trayectoria, y el detector debe "buscarlas" utilizando solo el resultado de la trayectoria como pista.

Marco Central

El marco aprende un detector secuencial $f_\phi$ que mapea un prefijo de trayectoria $\tau_{\le t}$ (que comprende embeddings de acción internos) a una puntuación de fallo escalar $s_t \in [0, 1]$. En lugar de asignar uniformemente la etiqueta de la trayectoria, el método emplea un objetivo contrastivo en dos granularidades complementarias para localizar las acciones indicativas de fallo:

1. Pérdida Contrastiva Inter-trayectoria ($\mathcal{L}_{inter}$):

   • Objetivo: Distinguir la acción más indicativa de fallo en una trayectoria de fallo de la acción que más se asemeja al fallo (falso positivo más difícil) en una trayectoria exitosa.
   • Mecanismo: Para un par de trayectorias de fallo ($\tau_f$) y éxito ($\tau_s$), la pérdida impone que la puntuación máxima en $\tau_f$ exceda la puntuación máxima en $\tau_s$ por un margen $m_r$.
   • Efecto: Esto guía al modelo para enfocarse en las señales de fallo más salientes sin asumir dónde ocurren, descubriendo de forma adaptativa el paso crítico.

2. Pérdida Contrastiva Intra-trayectoria ($\mathcal{L}_{intra}$):

   • Objetivo: Dar forma a la dinámica temporal dentro de una trayectoria de fallo para separar las fases de pre-fallo (normal) y post-fallo.
   • Mecanismo: El método define un inicio de fallo proxy $t_{onset}$ como el punto de mayor incremento de la puntuación ($\arg\max_t (s_t - s_{t-1})$). La pérdida fomenta que la puntuación promedio después de $t_{onset}$ exceda la puntuación promedio antes de $t_{onset}$ por un margen $m_o$.
   • Efecto: Esto convierte la supervisión gruesa a nivel de trayectoria en una señal temporalmente estructurada, asegurando que las puntuaciones permanezcan bajas durante la ejecución normal y aumenten bruscamente en el inicio del fallo.

El objetivo total es $\mathcal{L} = \mathcal{L}_{inter} + \lambda \mathcal{L}_{intra}$.

Monitoreo en Tiempo de Ejecución

Durante la inferencia, el detector produce una puntuación $s_t$ en cada paso de tiempo. Para determinar una alarma de fallo, el sistema emplea Predicción Conforme Funcional (CP). Se construye un umbral variable en el tiempo $\zeta_t$ a partir de un conjunto de calibración de trayectorias exitosas reservado. Esto garantiza que, para cualquier nueva ejecución exitosa, la tasa de falsas alarmas a nivel de trayectoria esté acotada por un nivel de significancia $\alpha$ especificado por el usuario. Se declara un fallo en el primer paso de tiempo donde $s_t \ge \zeta_t$.

Arquitectura

El detector $f_\phi$ es un modelo de secuencia ligero (por defecto: LSTM de una sola capa) que procesa embeddings de acción extraídos del token o cabeza de acción del VLA. Para mitigar la redundancia temporal, los autores utilizan la agregación de ventanas deslizantes no superpuestas con pooling promedio.

Contribuciones Clave

1. Marco Novel: Introducción de Hide-and-Seek, que une el aprendizaje con supervisión débil y la detección de fallos incorporada (embodied), permitiendo el descubrimiento de acciones indicativas de fallo a partir de la supervisión a nivel de trayectoria únicamente.
2. Diseño de Objetivo Contrastivo: Un mecanismo de doble pérdida (inter y intra-trayectoria) que distingue las señales de fallo a través de y dentro de las trayectorias, convirtiendo efectivamente la supervisión gruesa en señales temporalmente estructuradas sin anotaciones a nivel de paso.
3. Evaluación Exhaustiva: Evaluación extensa en benchmarks de simulación (LIBERO-10, VLABench) y una plataforma robótica en el mundo real (UFactory xArm 6) utilizando tres políticas VLA representativas: OpenVLA (autorregresiva), $\pi_0$, y $\pi_0.5$ (flow-matching).

Resultados Experimentales

El método fue evaluado contra 12 líneas base, incluyendo métodos de detección de OOD, enfoques de muestreo múltiple y métodos basados en clasificadores (por ejemplo, SAFE.

• Rendimiento: Hide-and-Seek logra un rendimiento de vanguardia (SOTA) en todas las métricas (Precisión Balanceada, Precisión Ponderada, Precisión Ponderada en el Tiempo) tanto en tareas vistas como no vistas.
  • En LIBERO-10 con OpenVLA, supera a la línea base de clasificador más fuerte (SAFE-MLP) por un +6.8% en bACC en tareas vistas y un +7.2% en tareas no vistas.
  • En VLABench con $\pi_0.5$, supera a SAFE-MLP por un +8.1% en TWA en tareas vistas y un +10.8% en tareas no vistas.
  • En experimentos en el mundo real, mantiene un rendimiento estable a través de tareas vistas y no vistas, logrando una ganancia de +11.7% en bACC sobre SAFE-MLP en tareas no vistas.
• Eficiencia: Comparado con un monitor de tiempo de ejecución basado en VLM (Qwen3-VL-8B), Hide-and-Seek es >2,000× más rápido (0.001s vs. 2.343s por paso) mientras logra una precisión +13.1% mayor.
• Estudios de Ablación:
  • Etiquetado Uniforme: El método propuesto supera significativamente a una línea base que asigna uniformemente las etiquetas de la trayectoria a todos los pasos de tiempo (+19.4% bACC en OpenVLA), confirmando que la propagación uniforme introduce ruido de etiqueta.
  • Arquitectura: Los backbones recurrentes (LSTM, GRU) superan a los MLP y Transformers, sugiriendo el beneficio de modelar el contexto temporal.
  • Componentes de Pérdida: Tanto $\mathcal{L}_{inter}$ como $\mathcal{L}_{intra}$ son necesarios; $\mathcal{L}_{inter}$ por sí solo funciona bien, pero la combinación de ambos produce mejoras consistentes.

Significancia y Reivindicaciones

El artículo afirma que Hide-and-Seek proporciona una solución práctica y ligera para el monitoreo de fallos en tiempo real en la IA incorporada (embodied AI). Su significancia radica en:

• Eliminación de Costos de Anotación: Elimina la necesidad de costosas anotaciones de fallo a nivel de paso, dependiendo únicamente del resultado a nivel de trayectoria que es naturalmente disponible.
• Generalización: Demuestra una fuerte generalización a tareas no vistas y a diferentes arquitecturas VLA (autorregresivas y de flow-matching), abordando una limitación clave de los métodos previos centrados en especialistas.
• Viabilidad en el Mundo Real: Al evitar un pesado overhead de inferencia (a diferencia del remuestreo o los jueces VLM) y lograr un compromiso favorable entre precisión y tiempo mediante la predicción conforme, permite el despliegue robusto en sistemas robóticos del mundo real.

Los autores posicionan este trabajo como una nueva conexión entre los paradigmas de aprendizaje con supervisión débil y los desafíos específicos de la seguridad de los agentes incorporados, ofreciendo un camino escalable hacia el despliegue confiable de VLA.