Resumen Técnico: Decodificación del Progreso de la Tarea desde Representaciones VLA

Planteamiento del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) están emergiendo como políticas de propósito general para la manipulación robótica, aprovechando los modelos base de Visión-Lenguaje (VLM) preentrenados para soportar tareas de vocabulario abierto. Sin embargo, el despliegue de estos modelos a menudo requiere un ajuste fino (fine-tuning) específico para cada tarea, lo que puede degradar la generalización, reducir la sensibilidad al lenguaje y aumentar la fragilidad ante perturbaciones perceptivas. Existe una brecha crítica en la capacidad de monitorear el estado interno de estos modelos durante el tiempo de ejecución. Específicamente, falta la capacidad de monitorear el progreso de la tarea —el tiempo restante normalizado en una trayectoria— internamente, lo cual es esencial para detectar ejecuciones estancadas o fallos fuera de distribución (OOD) sin requerir señales de recompensa externas o etiquetas OOD.

Metodología

Los autores investigan si el progreso de la tarea es linealmente legible desde las activaciones internas del modelo VLA $\pi_{0.5}$ (basado en el backbone PaliGemma). La metodología se estructura en torno a tres conceptos centrales: decodificabilidad y direccionabilidad (steerability), y la aplicación de estas señales al detección de OOD.

1. Definición y Extracción de Características

• Progreso de la Tarea ($\tau$): Definido como la fracción normalizada de una trayectoria restante hasta su finalización ($1 - t/T$), donde $t$ es el paso de tiempo actual y $T$ es la longitud total de la trayectoria. Esta etiqueta se deriva directamente de demostraciones expertas offline sin anotación adicional.
• Extracción de Embeddings: Los autores extraen las activaciones del flujo residual ($z_i$) de las capas del transformador de $\pi_{0.5}$ para cada observación en el conjunto de datos.
• Sondeo Lineal (Linear Probing): Se entrena un sondeo lineal $\phi(z) = w^\top z + b$ para predecir $\tau$ a partir de las activaciones.

2. Formalización de las Representaciones

El artículo formaliza tres niveles distintos de representación de características:

• Decodificabilidad Débil: La capacidad de extraer una señal lineal correlacionada con $\tau$ de las activaciones dentro de la distribución (in-distribution).
• Decodificabilidad Fuerte: La capacidad de un único sondeo (sin reentrenamiento) para generalizar a entradas contrafácticas transformadas (por ejemplo, intercambiar el sustantivo objetivo en el prompt de lenguaje). Esto evalúa si la señal depende de los inputs semánticos correctos en lugar de correlaciones espurias.
• Direccionabilidad (Steerability): La capacidad de intervenir en las activaciones (desplazándolas a lo largo del vector de peso del sondeo) para alterar causalmente el comportamiento del modelo (por ejemplo, forzar al modelo a actuar como si hubiera progresado más).

3. Mecanismo de Detección de OOD

Se construye un detector de tiempo de ejecución utilizando el sondeo de progreso. Este compara el progreso predicho ($\tau_{pred}$) contra el progreso esperado basado en el tiempo transcurrido ($1 - t/E[T|\ell]$). Un residuo significativo ($V_\tau(t) > \delta$) indica que la política está estancada, marcando el estado como OOD. Este método no requiere etiquetas OOD durante el entrenamiento.

Contribuciones Clave

1. Definiciones: Los autores introducen definiciones formales para la decodificabilidad débil, la decodificabilidad fuerte y la direccionabilidad en el contexto de modelos generativos, distinguiendo entre la existencia de una señal, su dependencia de inputs correctos y su efecto causal en los outputs.
2. Hallazgos de Decodificabilidad: Demuestran que el progreso de la tarea es tanto débil como fuertemente decodificable desde el flujo residual de $\pi_{0.5}$.
   • La señal está presente en el backbone PaliGemma preentrenado antes de cualquier ajuste fino específico para robótica, lo que sugiere que emerge del preentrenamiento robótico a gran escala.
   • Un sondeo entrenado con contrafácticos de lenguaje (intercambio de sustantivos de la tarea) ajusta correctamente su salida, probando que la señal está fundamentada en el lenguaje y no es solo una función del tiempo o de características visuales.
3. Limitación de la Direccionabilidad: A pesar de ser decodificable, la señal de progreso de la tarea no es direccionable. Inyectar un "impulso" de progreso en las activaciones no se propaga a través de la red para alterar el comportamiento futuro de la política o para dirigir con éxito al modelo hacia el comportamiento contrafáctico.
4. Detección de OOD: El sondeo de progreso sirve como un detector de OOD sin etiquetas. Detecta el progreso estancado cuando la política encuentra perturbaciones (ruido, desenfoque, oclusión) o tareas no vistas.

Resultados

• Emergencia de la Señal: La característica de progreso es observable en todos los modelos probados, incluyendo el backbone PaliGemma original, la base $\pi_{0.5}$ y las variantes con ajuste fino. Sin embargo, las variantes $\pi_{0.x}$ (entrenadas con datos robóticos) superan significativamente al backbone VLM original, lo que indica que la característica se establece durante el preentrenamiento robótico.
• Robustez Contrafáctica: Un sondeo entrenado con contrafácticos de lenguaje logra una decodificabilidad fuerte ($R^2 \approx 0.33$ en datos in-distribution debido a proxies ruidosos, pero rastrea correctamente $\tau=1.0$ bajo instrucciones intercambiadas), mientras que un sondeo estándar falla al responder a cambios de lenguaje.
• Fallo de Direccionabilidad: Los experimentos inyectando un impulso de progreso ($\tau_{boost} = 0.2$) en la capa 0 muestran que el progreso predicho no cambia en las capas subsiguientes, y las acciones resultantes no se alinean con el objetivo contrafáctico. Las acciones inyectadas permanecen distantes de las acciones futuras reales.
• Desempeño de la Detección de OOD:
  • Generalización entre Tareas: El detector basado en progreso ($V_\tau$) alcanza un AUROC de 0.833 en tareas no vistas (comparado con 0.796 en tareas vistas), demostrando robustez sin reentrenamiento. Supera a los métodos basados en densidad (Mahalanobis, VAE) en tareas no vistas y es competitivo con las líneas base supervisadas (SAFE-MLP) sin requerir supervisión OOD.
  • Generalización entre Perturbaciones: Cuando se entrena solo con datos in-distribution y se prueba en modos de ruido no vistos (por ejemplo, entrenado en ruido A/B, probado en C/D), $V_\tau$ logra un AUROC por episodio de 0.960, superando a los detectores supervisados que fueron entrenados para tipos de ruido específicos.

Significancia y Reivindicaciones

El artículo sostiene que los VLA poseen representaciones internas de cantidades semánticas como el progreso de la tarea que son linealmente legibles. Este hallazgo sugiere que:

1. El Monitoreo es Viable: Aprender a leer estas señales ofrece un camino ligero e interpretable hacia el monitoreo de políticas visuomotoras desplegadas sin necesidad de modelos externos complejos o datos de fallo etiquetados.
2. El Preentrenamiento es Clave: La emergencia del progreso de la tarea en el backbone preentrenado indica que el preentrenamiento robótico a gran escala instila una comprensión estructurada de la finalización de tareas que persiste a través del ajuste fino.
3. Observabilidad vs. Controlabilidad: Existe una distincción clara entre lo que una política representa (progreso observable) y aquello sobre lo que actúa (direccionabilidad). La incapacidad de dirigir el modelo mediante la inyección de progreso resalta que la política no utiliza esta señal interna específica como una variable de control directa para la toma de decisiones.

Los autores posicionan este trabajo como un paso hacia la instrumentación de los VLA desplegados, proporcionando una herramienta para detectar fallos silenciosos (progreso estancado) que es robusta tanto a variaciones de tareas como a perturbaciones ambientales.