Resumen Técnico: NativeMEM – Compresión de Memoria Nativa para la Manipulación Robótica de Largo Horizonte

1. Declaración del Problema

Los modelos preentrenados de Visión-Lenguaje-Acción (VLA) han mostrado ser prometedores en la toma de decisiones incorporadas, pero son fundamentalmente limitados por su naturaleza reactiva. La mayoría de los VLA existentes condicionan las acciones únicamente a la observación actual y a la instrucción de lenguaje, careciendo de la capacidad de retener historiales visuales de largo horizonte. Esta limitación es crítica para tareas de manipulación no markovianas donde la acción correcta depende de interacciones pasadas, como el seguimiento del conteo de objetos, el recuerdo de estados ocluidos, el recuerdo de intentos fallidos o el monitoreo del progreso de una tarea.

Los enfoques actuales para el aumento de la memoria enfrentan compromisos significativos:

• Memoria impulsada por VLM: Los métodos que utilizan Modelos de Visión-Lenguaje (VLM) externos de alto nivel para generar notas textuales o subtareas suelen requerir anotaciones costosas y tienen dificultades para codificar fielmente detalles visuales sutiles en lenguaje.
• Módulos de Memoria Externos: Los enfoques que introducen módulos de memoria recién inicializados (por ejemplo, estados recurrentes, bancos de recuperación) dentro de la política aumentan la complejidad arquitectónica. Dado que estos módulos no fueron vistos durante el preentrenamiento del VLA, corren el riesgo de degradar el rendimiento de la política preentrenada e introducen un "dilema de compresión": una compresión insuficiente conduce a altos costos computacionales, mientras que una compresión excesiva descarta detalles críticos para la acción.

El desafío central es diseñar un mecanismo que permita a un VLA retener historiales visuales de largo horizonte y de grano fino con un costo de memoria mínimo, permaneciendo totalmente compatible con el espacio de tokens y los mecanismos de atención de la política preentrenada.

2. Metodología: NativeMEM

Los autores proponen NativeMEM, una política VLA que integra memoria de largo plazo, actualizada en tiempo real, directamente en la arquitectura del modelo preentrenado sin planificadores externos ni nuevos módulos de memoria. La innovación central es la Compresión de Memoria Nativa.

2.1 Compresión de Memoria Nativa

En lugar de introducir una arquitectura de memoria separada, NativeMEM reutiliza el propio codificador de visión del VLA para comprimir cada fotograma histórico de cada vista de cámara en un único token de memoria nativo.

• Compresión de un solo Token: Cada par de fotograma-vista se resume en un solo token ($M=1$), reduciendo drásticamente la longitud de la secuencia en comparación con la retención de los tokens visuales completos.
• Integración Nativa: Estos tokens son producidos por la misma vía visual que las observaciones actuales y se anexan a la secuencia de tokens original. Esto permite que el VLA preentrenado atienda al historial de largo plazo utilizando sus mecanismos de atención existentes, interpretando los tokens como "evidencia visual nativa" en lugar de estados externos.

2.2 Pipeline de Entrenamiento de Dos Etapas

Para asegurar que estos tokens compactos sean tanto ricos en información como alineados con la política preentrenada, los autores introducen un proceso de entrenamiento de dos etapas:

1. Etapa 1: Aprendizaje de un Tokenizador de Memoria Genérico (Supervisado por Acción)

   • El VLA preentrenado permanece congelado.
   • Un tokenizador de memoria, inicializado a partir del codificador de visión nativo del VLA, se entrena para comprimir observaciones pasadas.
   • Objetivo: El tokenizador se optimiza utilizando la pérdida de predicción de acción original del VLA. Esto asegura que los tokens comprimidos estén "supervisados por la acción" (codificando información relevante para predecir acciones) en lugar de estar "supervisados por reconstrucción" (lo que podría retener detalles visuales irrelevantes).
   • Datos: El tokenizador se entrena en una mezcla de datos de manipulación estándar y tareas que demandan memoria para aprender una representación general alineada con el espacio de tokens del VLA.

2. Etapa 2: Ajuste Fino Específico de la Tarea

   • El tokenizador de memoria aprendido queda congelado.
   • El backbone del VLA y la cabeza de acción se descongelan y se ajustan finamente en una tarea específica objetivo utilizando demostraciones limitadas.
   • Entrada: La secuencia de entrada consiste en la observación actual, la instrucción de lenguaje, el estado propioceptivo y la secuencia de tokens de memoria de caché anexada derivada del historial.
   • Esta etapa convierte un VLA de un solo fotograma en una política aumentada con memoria utilizando datos mínimos específicos de la tarea.

2.3 Inferencia en Tiempo Real

Durante el despliegue, el tokenizador de memoria opera independientemente de la política VLA. A medida que llegan nuevas observaciones, el tokenizador las convierte en tokens de memoria a una alta frecuencia (por ejemplo, 10Hz+). La política VLA simplemente concatena la cola de memoria compacta más reciente a sus tokens de entrada. Este desacoplamiento permite la retención de historial de minutos con una latencia insignificante.

3. Contribuciones Clave

• Compresión de Memoria Nativa: Un esquema novedoso que comprime fotogramas históricos en tokens únicos utilizando el propio codificador de visión del VLA, eliminando la necesidad de módulos de memoria o planificadores externos.
• Tokenización Supervisada por Acción: Una estrategia de entrenamiento que aprende representaciones de memoria directamente a través del objetivo de predicción de acción del VLA, asegurando que el historial comprimido sea relevante para la toma de decisiones.
• Retención Eficiente de Largo Horizonte: El método permite la atención sobre historiales de minutos (más de 160 fotogramas) con un horizonte de 9× a 40× más largo que los métodos anteriores, manteniendo una baja latencia de inferencia y uso de memoria GPU.
• Alta Eficiencia de Datos: El enfoque logra un rendimiento competitivo con métodos previos de estado del arte utilizando solo el 20% de los datos de entrenamiento.

4. Resultados Experimentales

Los autores evaluaron NativeMEM en tareas de manipulación dependientes de la memoria tanto en simulación como en el mundo real.

• Rendimiento en Simulación: En un benchmark que incluye tareas de RMBench y tareas de presionar botones, NativeMEM logró una tasa de éxito promedio del 84.0%, superando significativamente al mejor baseline (Mem-0 con 32.4%) y a otros métodos aumentados con memoria.
• Rendimiento en el Mundo Real: En robots reales, NativeMEM alcanzó una tasa de éxito del 98.7% en tres tareas (Click Buttons, Put Back Block, y Grocery Checkout Scanning). Notablemente, funcionó bien en la tarea "Grocery Checkout Scanning", la cual era no vista durante el entrenamiento del tokenizador de la primera etapa, demostrando una fuerte generalización.
• Eficiencia:
  • Inferencia: NativeMEM soporta hasta 5,000 fotogramas históricos dentro de un presupuesto de memoria de 32 GB y mantiene la reactividad en tiempo real (atendiendo a ~200 fotogramas bajo una latencia de <100ms).
  • Datos: Con solo 10 demostraciones, NativeMEM alcanzó un éxito promedio del 60%, superando a Mem-0 por 3.5×.
• Estudios de Ablación:
  • Eliminar el entrenamiento de dos etapas (descongelar el VLA durante el aprendizaje del tokenizador) causó que el rendimiento cayera a 23.2%, resaltando la necesidad de mantener el VLA congelado para preservar los conocimientos previos preentrenados.
  • El uso de características visuales genéricas (media agrupada/mean-pooled) en lugar de tokens nativos aprendidos resultó en el fallo en tareas que requieren detalles finos (por ejemplo, Put Back Block).
  • Las actualizaciones dispersas o los horizontes cortos degradaron significamente el rendimiento, confirmando la necesidad de una cobertura densa y de largo horizonte.

5. Significado y Reivindicaciones

El artículo afirma que NativeMEM ofrece una solución unificada para la manipulación de largo horizonte al reutilizar el codificador de visión existente del VLA. Su importancia radica en:

1. Compatibilidad: Permite que los VLA de un solo fotograma preentrenados accedan al historial de largo plazo sin cambios arquitectónicos o módulos externos, preservando la naturaleza "nativa" de la política.
2. Escalabilidad: Al comprimir el historial a un solo token por fotograma, supera los cuellos de botella de la longitud del contexto y la computación que típicamente limitan la retención de memoria en los Transformers.
3. Practicidad: Demuestra que tareas complejas dependientes de la memoria pueden resolverse en robots reales con un mínimo de datos de ajuste fino y un bajo costo computacional.

Los autores reconocen limitaciones, señalando que el sistema no está diseñado para memoria persistente de horas o días y que la dependencia de la supervisión por acción podría crear una brecha semántica para requisitos de memoria altamente abstractos en tareas futuras más complejas. Sin embargo, aseguran que NativeMEM cierra eficazmente la brecha entre las políticas VLA reactivas y las necesidades de la manipulación robótica de largo horizonte.