VLAs are Confined yet Capable of Generalizing to Novel Instructions

1. Planteamiento del Problema

Los modelos Visión-Lenguaje-Acción (VLA) han demostrado un rendimiento sólido en tareas dentro de la distribución cuando se ajustan finamente con demostraciones específicas. Sin embargo, luchan significativamente con tareas fuera de la distribución (OOD), particularmente aquellas que requieren extrapolación (recombinar habilidades aprendidas de nuevas maneras).

• El Problema Central: Un VLA podría aprender con éxito "poner queso crema en un bol" y "poner un bol en un armario" individualmente, pero fallar al ejecutar la tarea extrapolada "poner queso crema en el armario", incluso cuando los primitivos de movimiento constituyentes (agarrar, alcanzar) ya han sido aprendidos.
• La Pregunta: ¿Los VLA simplemente se sobreajustan a las trayectorias demostradas, o aprenden representaciones internas composicionales que apoyan una generalización más amplia?
• La Brecha: Existe una falta de benchmarks adecuados para probar esto, ya que las tareas OOD existentes suelen ser demasiado difíciles (por ejemplo, requieren física completamente nueva) o demasiado fáciles. Los autores proponen que un benchmark válido debe consistir en tareas que el modelo debería ser capaz de resolver combinando habilidades existentes, pero que actualmente falla en resolver de forma autónoma.

2. Metodología

El artículo introduce un marco basado en la Interpretabilidad Mecanística para sondear y manipular los estados internos de los VLA, centrándose específicamente en el modelo $\pi_0$.

A. Extracción de Latentes de Texto

Los autores hipotetizan que las representaciones de habilidades específicas de la tarea están codificadas en los estados ocultos de los tokens de texto (descripciones de tareas).

• Definición: Un Latente de Texto ($T$) es un vector específico de la tarea derivado promediando los estados ocultos de los tokens de texto a través de todas las capas del transformador y múltiples episodios de demostración para una tarea específica.
• Extracción: $T = \frac{1}{K} \sum_{k=1}^{K} \sum_{i \in B_k} h_T(i)$, donde $h_T(i)$ representa los estados ocultos de los tokens de texto en el paso de tiempo $i$.
• Función: Inyectar $T$ de nuevo en el flujo residual del modelo (específicamente en los estados ocultos de los tokens de texto) puede reconstruir el comportamiento de la tarea asociada incluso sin el prompt de texto original.

B. Interpolación de Latentes de Texto (TLI)

Para lograr la extrapolación, los autores proponen mezclar los latentes de texto de dos tareas base para crear un nuevo comportamiento compuesto.

• Mecanismo: En lugar de interpolar tokens de texto discretos (lo cual es imposible), interpolan los latentes de texto ($T_1$ y $T_2$) dentro del flujo residual.
• Fórmula: En el paso de tiempo $i$, el estado oculto se modifica como:
  $h_T(i) = h_T(i) + [(1-\alpha)T_1 + \alpha T_2] - [(1-\alpha)T_2 + \alpha T_1]$
  donde $\alpha = i/\lambda$ controla la velocidad de transición de la Tarea 1 a la Tarea 2.
• Efecto: Esto guía al modelo para comenzar con el comportamiento de la Tarea 1 y transicionar suavemente a la Tarea 2, "cosiendo" efectivamente subtrayectorias para resolver una tarea extrapolada novedosa.

C. El Benchmark Libero-OOD

Los autores introducen libero-ood, una nueva suite de benchmarks que contiene 20 tareas extrapoladas derivadas de las suites estándar LIBERO (libero-goal, libero-spatial, libero-object).

• Diseño: Cada tarea requiere combinar una ubicación de agarre aprendida de una tarea y una ubicación de colocación aprendida de otra. La trayectoria específica que conecta estos dos puntos nunca se ve durante el entrenamiento.
• Objetivo: Probar si los VLA pueden recombinar autónomamente las representaciones de habilidades aprendidas.

3. Contribuciones Clave

1. Descubrimiento de Representaciones de Habilidades Composicionales: El artículo demuestra que los VLA (específicamente $\pi_0$) poseen representaciones internas de habilidades que son individuales pero composicionales. Aunque el modelo no puede combinarlas de forma autónoma, puede verse forzado a hacerlo mediante la manipulación de latentes de texto.
2. Interpolación de Latentes de Texto (TLI): Una técnica novedosa de intervención en tiempo de inferencia que mezcla representaciones de tareas para habilitar la extrapolación, aumentando las tasas de éxito en tareas novedosas sin reentrenamiento.
3. El Benchmark Libero-OOD: Un benchmark riguroso diseñado para aislar la capacidad de recombinar habilidades. Filtra las tareas que son imposibles para el robot, centrándose en cambio en tareas que son teóricamente resolubles por la base de conocimientos existente del modelo.
4. Identificación de Sobreajuste Espacial: El artículo revela un modo de fallo crítico donde los VLA asocian nombres de objetos con ubicaciones espaciales fijas de los datos de entrenamiento en lugar de comprender la identidad del objeto o su estado actual.

4. Resultados Experimentales

Rendimiento en Libero-OOD

• Fallo de la Línea Base: Los VLA más avanzados ($\pi_0$, $\pi_0$-fast, UniVLA, openvla-oft) lograron una tasa de éxito < 21% en las 20 tareas extrapoladas de libero-ood, a pesar de lograr ~95% en las tareas estándar de LIBERO.
• Éxito de TLI: Aplicar TLI a $\pi_0$ aumentó su tasa de éxito de 9% a 83% en libero-ood.
• Comparación: Ningún otro VLA logró una tasa de éxito superior al 21% en el benchmark, destacando una limitación sistémica en las arquitecturas actuales con respecto a la extrapolación.

Reconstrucción de Tareas e Implicaciones de Seguridad

• Reconstrucción: Inyectar latentes de texto en un prompt en blanco permitió a $\pi_0$ completar tareas con un éxito >80%, demostrando que el latente captura el conocimiento esencial de la tarea.
• Desincrustación: Desincrustar latentes de texto en IDs de tokens produjo "prompts oscuros" (a menudo ilegibles) que aún podían instruir al modelo. Esto sugiere vulnerabilidades potenciales para instrucciones privadas o ataques de puerta trasera.

Análisis de Modos de Fallo: Sobreajuste Espacial

• Observación: Cuando se le instruye para agarrar un objeto (por ejemplo, "queso crema") que ha sido movido a una nueva ubicación, el modelo a menudo ignora la posición actual del objeto y se mueve hacia la ubicación donde ese objeto apareció en las demostraciones de entrenamiento.
• Evidencia: En experimentos donde las ubicaciones de los objetos se intercambiaron, $\pi_0$ (y otros VLA) se movieron consistentemente hacia la "ubicación de entrenamiento" del nombre del objeto en lugar del objeto real.
• Conclusión: Los VLA exhiben sobreajuste espacial, mapeando nombres de objetos a coordenadas fijas en lugar de aprender una verdadera comprensión objeto-objetivo.

5. Significado

• Redefiniendo la Generalización OOD: El artículo argumenta que los VLA actuales no están "rotos" sino "bloqueados". Poseen las habilidades necesarias pero carecen del mecanismo para recombinarlas de forma autónoma. El benchmark propuesto (libero-ood) proporciona un estándar para medir esta capacidad latente.
• La Interpretabilidad como Herramienta: Al utilizar la interpretabilidad mecanística (latentes de texto), los autores demuestran que el fallo no es una falta de conocimiento, sino un fallo de composición. Esto desplaza el enfoque de investigación de recopilar más datos a mejorar los mecanismos de composición interna del modelo.
• Seguridad y Protección: El descubrimiento de que los latentes de texto pueden desincrustarse en prompts oscuros destaca nuevos vectores para ataques adversarios y puertas traseras en sistemas robóticos.
• Dirección Futura: Los resultados sugieren que las futuras arquitecturas VLA deben diseñarse para apoyar explícitamente la recombinación de representaciones aprendidas, en lugar de depender de trucos posteriores al entrenamiento como TLI para desbloquear su potencial.

En resumen, este artículo proporciona evidencia sólida de que los VLA tienen el potencial para la generalización, pero actualmente se ven obstaculizados por el sobreajuste espacial y la incapacidad de componer autónomamente habilidades aprendidas. La introducción de libero-ood y TLI ofrece tanto un nuevo benchmark para la comunidad como un método para sondear la "caja negra" interna de las políticas robóticas.