Resumen Técnico: Cómo Fallan Diferentemente los VLA

Declaración del Problema

Aunque los modelos Visión-Lenguaje-Acción (VLA) han avanzado en la manipulación robótica, el comportamiento de sus salidas a nivel de comandos motores permanece en gran medida sin estudiar. Las prácticas actuales de despliegue a menudo se basan en supuestos implícitos de que los modelos "buenos" producen acciones seguras, con mecanismos de seguridad frecuentemente limitados a verificaciones simples de límites o límites de velocidad (por ejemplo, en OpenVLA, pi0 y LeRobot). Sin embargo, no existe una caracterización sistemática respecto a:

1. Cómo se ven realmente las acciones de los VLA a nivel de motor.
2. Si diferentes arquitecturas de VLA producen firmas de fallo distintas.
3. Qué señales de monitoreo predicen de manera fiable el fallo de la tarea en diferentes familias arquitectónicas.

Las soluciones de seguridad existentes a menudo requieren acceso al modelo, reentrenamiento o modelos de dinámica, lo que limita su aplicabilidad como herramientas de despliegue general.

Metodología

Los autores introducen SafeContract, un kit de herramientas de monitoreo de acciones de caja negra y sin reentrenamiento diseñado para hacer cumplir restricciones y detectar fallos sin acceso al modelo ni reentrenamiento. El sistema opera con una sobrecarga mínima (<13 µs por paso de inferencia) y utiliza predicción conformada para establecer límites de seguridad basados en datos.

Componentes Clave:

• Contratos de Seguridad: Definen límites por articulación ($l, u$) y límites de velocidad ($v_{max}$). La aplicación implica recortar las acciones a los límites y limitar la velocidad, con un paso de recorte adicional para garantizar la consistencia.
• Calibración Conformada: En lugar de umbrales ajustados manualmente, el sistema divide los episodios de demostración (80/20) para calcular puntuaciones de no conformidad. Establece los límites en el cuantil $(1-\alpha)(1 + 1/n)$, garantizando una cobertura de muestra finita (por ejemplo, 97.9% con $\alpha=0.05$) mientras permanece más ajustado que los límites heurísticos de $4\sigma$.
• Métricas de Monitoreo: Se calculan cinco métricas de salud por episodio y se correlacionan con el éxito de la tarea mediante el Área Bajo la Curva Característica Operativa del Receptor (AUROC):
  1. Tasa de Reversión de Dirección: Fracción de pares de paso de tiempo/articulación donde cambia el signo de la acción.
  2. RMS de Aceleración Jerk: Raíz cuadrada de la media de la tercera derivada de la trayectoria de la acción.
  3. Coherencia del Momento: Similitud del coseno entre los deltas de acción consecutivos.
  4. Relación de Energía Espectral: Fracción de la energía de la señal en frecuencias bajas.
  5. Detección de Parada: Pasos consecutivos con desplazamiento por debajo de un umbral.
• Detección de Desplazamiento: Los valores p conformados alimentan un detector CUSUM para identificar desplazamientos de distribución con límites formales de falsas alarmas.

Configuración Experimental

El estudio evalúa tres arquitecturas de VLA distintas en dos tareas utilizando protocolos de evaluación idénticos:

• Arquitecturas:
  • VQ-BeT: Token discreto (VQ-VAE + Transformador de Comportamiento).
  • Política de Difusión: Eliminación de ruido continua (DDPM).
  • ACT: Fragmentación de acción continua.
• Tareas y Escala:
  • PushT: Manipulación 2D (n=400 episodios en total; 200 por arquitectura).
  • ALOHA: Manipulación bimanual de 14 grados de libertad (n=50 episodios para ACT).
• Episodios Totales: 450.

Resultados Clave

1. La Tasa de Reversión de Dirección es un Predictor Universal

La tasa de reversión de dirección es el único monitor que predice consistentemente el fallo en las tres arquitecturas y ambas tareas.

• Puntuaciones AUROC: 0.93 (VQ-BeT), 0.79 (Difusión) y 0.91 (ACT).
• Significancia: Una alta tasa de reversión indica oscilación de la política en lugar de progreso, sirviendo como una firma agnóstica a la arquitectura de indecisión.

2. El Monitoreo de Jerk Sigue un Gradiente de Discreto a Continuo

El jerk (tasa de cambio de la aceleración) es predictivo solo para arquitecturas de token discreto, mostrando un gradiente claro basado en el mecanismo de generación de acciones:

• VQ-BeT (Discreto): AUROC = 0.88. El alto jerk resulta de saltos de cuantización entre entradas del libro de códigos.
• ACT (Fragmentado): AUROC = 0.69. El jerk moderado surge de los límites de los fragmentos.
• Difusión (Continuo): AUROC = 0.41. La eliminación de ruido iterativa suaviza las trayectorias, haciendo que el jerk no sea predictivo (cerca del azar).

3. El Monitoreo de Velocidad No es Predictivo y a menudo es Engañoso

A pesar de ser el mecanismo de seguridad más común en el código de despliegue, el conteo de violaciones de velocidad falla al predecir el fallo de la tarea:

• Puntuaciones AUROC: Oscilan entre 0.41 y 0.69 en todas las arquitecturas.
• Hallazgo Crítico: Para Difusión y ACT, el monitoreo de velocidad proporciona efectivamente cero señal predictiva (AUROC 0.41 y 0.52, respectivamente). En Difusión, los episodios con más violaciones de velocidad tenían ligeramente más probabilidades de tener éxito, ya que los episodios exitosos involucran movimientos más grandes y seguros.
• Implicación: Las verificaciones de velocidad no pueden distinguir entre acciones "seguras pero incorrectas" y acciones "seguras y correctas" en VLA de familia continua.

4. Firmas de Fallo Específicas de la Arquitectura

El estudio establece un "patrón de dos familias":

• Familia Discreta (ej. VQ-BeT): Falla mediante movimiento brusco y oscilatorio. Los predictores fuertes incluyen jerk, tasa de reversión y variación total.
• Familia Continua (ej. Difusión, ACT): Falla mediante errores de comportamiento (acciones incorrectas que parecen físicamente válidas). Los predictores fuertes son la tasa de reversión y la coherencia del momento; los monitores de jerk y espectro son ineficaces.

5. Aplicación sin Degradación

SafeContract aplicó con éxito las restricciones de seguridad sin degradación estadísticamente significativa de la tarea (p de Fisher > 0.68 para todas las arquitecturas). El sistema detectó miles de violaciones (por ejemplo, 1,847 para VQ-BeT, 4,758 para ACT) mientras mantenía tasas de éxito comparables a las líneas base sin monitoreo, validando la eficacia de la calibración conformada.

Significancia y Afirmaciones

El artículo afirma proporcionar la primera evidencia empírica sistemática de que las arquitecturas de VLA fallan de maneras fundamentalmente diferentes y predecibles a nivel de motor.

• Incompatibilidad Arquitectónica: El estudio demuestra que un enfoque de monitoreo "talla única" es ineficaz. Específicamente, se muestra que la dependencia de la verificación de velocidad, una práctica industrial estándar, es ciega a los modos de fallo de los VLA de familia continua.
• Selección Ajustada a la Arquitectura: Los autores argumentan que la selección del monitor debe coincidir con la familia arquitectónica del VLA. Los modelos discretos requieren monitoreo de jerk y reversión, mientras que los modelos continuos requieren monitoreo de reversión y coherencia del momento.
• Utilidad Práctica: Al utilizar SafeContract, los profesionales pueden desplegar monitores sin reentrenamiento y calibrados conformalmente que detectan firmas de fallo específicas del mecanismo de generación de su modelo, abordando una brecha crítica en la seguridad de despliegue de robots de modelos fundacionales.

El artículo concluye que, si bien la corrección semántica requiere monitoreo a nivel de percepción, el monitoreo del espacio de acción es una capa de defensa necesaria y distinta que debe adaptarse a la arquitectura específica del VLA para ser efectiva.