Resumen Técnico: µVLA – Sobre la Memoria Recurrente para la Manipulación Parcialmente Observable en Modelos VLA

Declaración del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) suelen formular el control robótico como la predicción del siguiente token sobre secuencias multimodales, asumiendo que la observación actual (potencialmente aumentada por una ventana de contexto corta) es un estadístico suficiente para el control. Esta suposición de Markov se cumple en entornos totalmente observables, pero falla bajo la observabilidad parcial, donde la información relevante para la decisión es transitoria, está ocluida o se estableció anteriormente en el episodio.

Los enfoques existentes para la memoria en los VLA suelen combinar la recurrencia con otras maquinarias complejas, como sistemas de recuperación externos, estructuras de memoria jerárquicas, objetivos auxiliares (por ejemplo, la predicción de observaciones pasadas) o cambios arquitectónicos específicos de la tarea. En consecuencia, la contribución específica de la recurrencia en sí misma permanece enredada con estos mecanismos circundantes, lo que dificulta aislar si las mejoras en el rendimiento provienen del estado recurrente o de los componentes auxiliares.

Metodología: µVLA

Los autores presentan µVLA, un estudio de aislamiento controlado de la recurrencia dentro de un sólido esqueleto VLA preentrenado (OpenVLA-OFT). La formulación central aumenta el transformador con un conjunto mínimo de tokens de memoria aprendibles ($M_t \in \mathbb{R}^{m \times d}$) transportados a través de los pasos temporales y actualizados mediante auto-atención estándar.

Decisiones de Diseño Clave

1. Arquitectura Minimalista: El modelo solo añade $m$ tokens de memoria aprendibles a la secuencia de entrada (colocados entre la propiocepción y los tokens de texto). No se introducen nuevas capas, bancos de memoria externos ni módulos de recuperación.
2. Régimen de Entrenamiento:
   • Dataloader Episódico: A diferencia del entrenamiento aleatorio estándar, el modelo se entrena en episodios ordenados temporalmente utilizando un dataloder de tipo round-robin para mantener la continuidad del estado.
   • Retropropagación a Través del Tiempo Truncada (TBPTT): El modelo se ajusta (fine-tuning) de extremo a extremo con TBPTT sobre una ventana de $K$ pasos. Los gradientes fluyen a través de la cadena recurrente dentro de la ventana, pero se desprenden en el límite.
   • Sin Pérdidas Auxiliares: El modelo se entrena únicamente con la pérdida de predicción de acción estándar (regresión L1), sin objetivos auxiliares como la predicción de observaciones pasadas.
3. Guarda de Máscara de Atención: Un elemento de diseño crítico es una máscara de atención modificada que evita que los tokens de memoria atiendan a los tokens de acción. Esto evita una solución degenerada donde el modelo copia trivialmente el bloque de acción predicho en la memoria, forzándolo a codificar pistas ambientales relevantes para la tarea.
4. Inferencia de Horizonte Recesivo: Para alinear el entrenamiento y la inferencia, el modelo utiliza control de horizonte recesivo, consultando al modelo y ejecutando solo la primera acción de un bloque predicho en cada paso del entorno. Esto asegura que las actualizaciones de memoria ocurran en la cadencia correcta, evitando el desajuste entre entrenamiento y prueba inherente al procesamiento por bloques (chunking) de bucle abierto.

Configuración Experimental

El estudio evalúa µVLA en dos entornos de referencia:

• MIKASA-Robo: Un entorno de manipulación parcialmente observable diseñado para aislar la dependencia de la memoria (por ejemplo, recuperación de pistas, seguimiento de oclusión, memoria secuencial).
• LIBERO: Un entorno totalmente observable utilizado como control para probar la regresión de rendimiento en entornos de Markov.

Los autores varían tres parámetros para crear una familia de modelos: ancho de memoria ($m$), longitud de TBPTT ($K$) y la regla de actualización de la memoria (TBPTA frente a EMA desprendida).

Contribuciones Clave

1. Estudio de Aislamiento Controlado: Este trabajo proporciona el primer aislamiento controlado de la recurrencia en un esqueleto VLA preentrenado, variando la recurrencia como un único eje experimental sin la enredadera de la recuperación, la compresión o las pérdidas auxiliares.
2. Familia µVLA: La introducción de una familia parametrizada de ajustes recurrentes de OpenVLA-OFT que comparten el mismo esqueleto, optimizador y protocolo de inferencia, diferenciándose únicamente por su configuración de estado recurrente.
3. Calibración de Capacidades: El artículo calibra la "envolvente de capacidad" de la recurrencia mínima dentro del esqueleto, identificando los regímenes específicos donde es suficiente y donde falla.

Resultados

Rendimiento en Tareas Parcialmente Observables (MIKASA-Robo)

• Tareas de Entrenamiento: En las cinco tareas de entrenamiento (que cubren recuperación de pistas, oclusión y memoria secuencial), la mejor configuración de µVLA ($m=64, K=2$) mejoró la tasa de éxito (SR) promedio de 0.42 (línea base sin memoria) a 0.84.
  • Se observaron mejoras significativas en tareas de recuperación de pistas (por ejemplo, RememberColor5: 0.04 $\to$ 0.93).
• Tareas de Prueba (Semántica Coincidente): En tareas que comparten la misma semántica de memoria que el entrenamiento pero con diferentes niveles de dificultad, el mejor µVLA alcanzó un SR de 0.23, comparado con el 0.07 de la línea base sin memoria.
• Tareas de Prueba (Semántica Nueva): En tareas que requieren estructuras de memoria no presentes en la mezcla de entrenamiento (por ejemplo, memoria solo de forma cuando se entrenó en color), el rendimiento se mantuvo cerca de la línea base, indicando que la recurrencia mínima no se generaliza a semánticas de memoria completamente nuevas sin reentrenamiento.
• Longitud de Truncamiento ($K$): Se observó una curva de rendimiento en forma de U. $K=2$ superó tanto a $K=1$ (sin gradientes entre pasos) como a $K=8$ (gradientes más largos), lo que sugiere un punto óptimo para la asignación de crédito frente a la resolución de la señal.

Rendimiento en Tareas Totalmente Observables (LIBERO)

• Sin Regresión: En la suite LIBERO, totalmente observable, la variante recurrente más fuerte ($m=64, K=8$) alcanzó un SR promedio del 96.2%, igualando o superando la línea base de OpenVLA-OFT sin memoria. Esto confirma que añadir un canal recurrente no degrada el rendimiento en entornos de Markov.
• Sensibilidad de la Inferencia: Los resultados destacaron la importancia de la inferencia de horizonte recesivo. Cuando el mismo modelo µVLA se evaluó con procesamiento por bloques de bucle abierto (actualizando la memoria solo una vez por bloque), el rendimiento colapsó (por ejemplo, el SR de Long-10 cayó de 95.8% a 5.4%), demostrando la alineación crítica entre la cadencia de entrenamiento e inferencia.

Diagnósticos e Intervenciones

• Intervenciones Causales: Reemplazar los tokens de memoria con ruido Gaussiano durante la inferencia causó una caída drástica en las tasas de éxito en tareas dependientes de la memoria (por ejemplo, RememberColor5: 0.94 $\to$ 0.09), confirmando que la política lee activamente el estado recurrente.
• Despliegue de Atención (Attention Rollouts): El análisis de atención mostró que los tokens de memoria se concentran en las regiones de la pista (por ejemplo, una lámpara o una rejilla) durante la fase de observación y se difunden durante la oclusión, alineándose con las transiciones de fase de la tarea.
• Generalización: El modelo mostró una robustez parcial ante identidades de pistas fuera de distribución (OOD) (por ejemplo, cambios de color), pero se degradó significamente cuando la longitud de la fase (retraso entre la pista y la acción) excedió el horizonte de entrenamiento.

Significado y Reivindicaciones

Los autores posicionan a µVLA no como un nuevo modelo fundacional, sino como una calibración de la envolvente de capacidad de la recurrencia mínima.

• La Recurrencia es un Ingrediente Fuerte: Los resultados argumentan que la recurrencia en sí misma es un componente poderoso y poco estudiado en los sistemas VLA. Incluso un pequeño conjunto de tokens aprendibles, entrenados de extremo a extremo sin pérdidas auxiliares, puede cambiar cualitativamente el régimen operativo de un VLA, permitiéndole resolver tareas de observabilidad parcial que son imposibles para las políticas sin memoria.
• Límites de la Recurrencia Mínima: El estudio revela límites claros. La recurrencia mínima es suficiente para tareas donde el requisito de memoria está representado en la distribución de entrenamiento y el horizonte temporal es corto. Sin embargo, no se generaliza automáticamente a nuevas semánticas de memoria o dependencias de largo alcance sin mecanismos de memoria estructurados adicionales.
• Implicaciones de Diseño: El trabajo sugiere que los futuros VLA aumentados con memoria deberían separar cuidadosamente las contribuciones de la recurrencia de la recuperación y las estructuras jerárquicas. El "punto óptimo" para la longitud de TBPTT ($K=2$) y la necesidad de la guarda de atención son hallazgos específicos y accionables para diseñar VLA recurrentes eficientes.

En resumen, el artículo demuestra que la recurrencia por sí sola, cuando se aísla y se entrena adecuadamente, es un mecanismo potente para manejar la observabilidad parcial en la manipulación robótica, siempre que la semántica de la tarea esté dentro de la distribución aprendida por el modelo y el protocolo de inferencia se alinee con la cadencia de entrenamiento.