Resumen Técnico: MemoryVAM

Planteamiento del Problema

Las políticas de modelos de mundo de video aprenden representaciones relevantes para la acción prediciendo observaciones futuras, condicionándose a una ventana de observación de longitud fija y corta. Aunque esto es efectivo para tareas aproximadamente markovianas, este diseño falla en tareas de manipulación de largo horizonte y múltiples etapas donde la acción correcta depende de eventos anteriores que ya no son visibles en la ventana actual. En tales escenarios (por ejemplo, "recoger el bloque rojo tres veces"), estados visualmente similares requieren acciones diferentes basadas en el progreso oculto de la tarea (por ejemplo, el conteo actual). Sin memoria episódica, estas tareas se vuelven no markovianas, causando que las políticas fallen cuando no pueden distinguir entre diferentes etapas de una secuencia repetitiva o recordar la historia espacial.

Metodología: MemoryVAM

Los autores proponen MemoryVAM, un mecanismo de memoria episódica diseñado para integrar la historia en las políticas de modelos de mundo de video. La innovación central es el condicionamiento de memoria dual, donde un conjunto compacto de tokens de memoria influye tanto en las predicciones futuras del backbone de video como en las decisiones de control del decodificador de acciones.

1. Codificación de la Historia del Episodio

En cada paso de tiempo $t$, el sistema mantiene una historia de episodio $\mathcal{H}_t$ que consiste en incrustaciones visuales CLIP de los fotogramas pasados. El uso de incrustaciones CLIP permite que la memoria rastree cambios semánticos relevantes para la tarea en lugar de diferencias de píxeles de bajo nivel.

2. El Módulo de Recapitulación-Señal (RC)

El módulo RC procesa la historia de longitud variable en una representación de memoria de tamaño fijo:

• Compresor de Recapitulación (Recap Compressor): Un Resampler basado en Perceiver mapea la historia del episodio en una matriz compacta de tokens de memoria $\mathbf{G}$. Utilizando consultas aprendidas, atiende selectivamente a los eventos que explican el progreso de la tarea, capturando tanto el qué sucedió como el cuándo sucedió mediante una codificación posicional sensible al orden.
• Puerta de Señal (Cue Gate): Un módulo ligero estima una puntuación de finalización de tarea $q_\omega$ basada en las características del backbone agrupadas, los tokens de memoria y las instrucciones de lenguaje. Esto permite la terminación autónoma de la tarea sin requerir etiquetas de progreso por fotograma durante el entrenamiento; la supervisión se deriva de los límites del episodio en las demostraciones.

3. Condicionamiento de Memoria Dual (Inyección)

Los tokens de memoria $\mathbf{G}$ se inyectan a través de dos vías complementarias:

• Vía 1 (Backbone de Video): $\mathbf{G}$ se inyecta en las capas de atención cruzada del backbone de video.
  • Para backbones Cosmos DiT, los tokens de memoria se anexan a la matriz de condicionamiento de texto.
  • Para backbones SVD UNet (ej. VPP), se introduce una rama de memoria separada junto a la rama de texto.
  • Efecto: Esto asegura que los futuros fotogramas predichos y las características intermedias del backbone estén condicionados por la historia completa del episodio, alineando la "imaginación" del modelo con el progreso de la tarea.
• Vía 2 (Decodificador de Acción): Los mismos tokens de memoria $\mathbf{G}$ se concatenan con los tokens de observación (derivados del backbone) y se alimentan al decodificador de acciones.
  • Efecto: Esto restringe directamente la distribución de acciones basándose en la memoria episódica, asegurando que la política seleccione controles consistentes con la historia.

4. Estrategia de Entrenamiento

El modelo emplea un procedimiento de entrenamiento de dos etapas:

1. Etapa 1: Entrena el backbone de video y el módulo de memoria utilizando objetivos de predicción de video, una pérdida auxiliar de reconstrucción delta y la pérdida de la Puerta de Señal (Cue Gate). Esto enseña a la memoria a codificar información útil para predecir estados futuros y determinar la finalización de la tarea.
2. Etapa 2: Entrena la política de acción sobre las características resultantes condicionadas por la memoria mientras mantiene estable el backbone.

El mecanismo es agnóstico a la arquitectura, demostrado tanto en backbones UNet (VPP) como Diffusion Transformer (DiT) (Cosmos).

Contribuciones Clave

1. Interfaz de Inyección Dual: Un mecanismo de dos vías que integra tokens de Recapitulación compactos tanto en el backbone de video como en el decodificador de acciones, permitiendo que la historia influya conjuntamente en los futuros imaginados y en las características de control.
2. Módulo de Recapitulación-Señal (RC): Un módulo novedoso que combina un compresor basado en Perceiver para la sumarización de la historia y una Puerta de Señal para la finalización autónoma de tareas, entrenado sin etiquetas explícitas de progreso por paso.
3. Agnosticismo de Backbone: El método se valida a través de distintos paradigmas de backbone de video (UNet y DiT), demostrando que la memoria episódica es un requisito general para las políticas de modelos de mundo de video de largo horizonte.

Resultados Experimentales

Los autores evaluaron MemoryVAM en entornos de simulación y tareas de robot real que requieren el recuerdo episódico.

• Benchmark LIBERO-Mem:

  • En tareas que requieren recuerdo episódico (conteo, secuenciación, razonamiento espacial), el modelo mejoró las tasas de éxito promedio del 5% al 42.5% para el backbone UNet y del 3.0% al 40.5% para el backbone DiT.
  • Los estudios de ablación mostraron que usar solo la Vía 1 (inyección en el backbone) arrojaba un 28.5% de éxito, mientras que la Vía 2 (inyección en el decodificador de acción) por sí sola arrojaba solo un 7.5%. La inyección dual completa fue necesaria para un rendimiento óptimo.
  • MemoryVAM superó a las líneas base de VLA aumentadas con memoria (ej. MemoryVLA, Gated Memory Policy) y a las líneas base sin memoria.

• Experimentos con Robots Reales:

  • Recogida de Juguete ($k\times$): 78.3% de éxito en tareas de conteo (repeticiones de 1x, 3x, 5x).
  • Colocar y Regresar: 80.0% de éxito en tareas de recuerdo espacial.
  • Juego del Gusano (Shell Game): 75.0% de éxito en tareas de seguimiento secuencial que involucran objetos ocultos.
  • En contraste, las políticas sin memoria colapsaron (0% de éxito) en estas tareas cuando el progreso de la tarea no era directamente observable.

• Calidad de la Predicción de Video:

  • La inyección de memoria mejoró significativamente la fidelidad de los rollouts autorregresivos de largo horizonte. Por ejemplo, en el backbone UNet, los puntajes FVD mejoraron de 43.36 a 18.32 en un horizonte simple, y de 37.81 a 19.84 en un horizonte de 8x.
  • La Puerta de Señal redujo con éxito la "tasa de parada" (movimiento post-finalización), evitando que el modelo imagine acciones innecesarias después de alcanzar un objetivo.

Significado y Reivindicaciones

El artículo postula que la memoria episódica debe tratarse como un componente integral del estado del modelo de mundo, en lugar de ser meramente una entrada auxiliar para la política de acción. Al permitir que la historia del episodio dé forma tanto a lo que el robot imagina (predicción futura) como a cómo actúa la política (decodificación de control), MemoryVAM aborda la naturaleza no markoviana de las tareas de largo horizonte.

Los autores afirman que este enfoque ofrece un camino escalable para los sistemas de memoria, ya que el módulo de memoria es supervisado por el objetivo generativo de video (predicción de fotogramas futuros) en lugar de depender únicamente de demostraciones etiquetadas con acciones. Esto permite que la memoria aprenda señales de progreso de la tarea que son consistentes con la dinámica visual del entorno. El trabajo demuestra que la memoria episódica explícita es crucial para que diversos backbones de video tengan éxito en manipulaciones robóticas complejas y de múltiples etapas.