Resumen Técnico: Política de Memoria de Acción Comprimida (CAMP)

Declaración del Problema

Las tareas de manipulación robótica de largo alcance y ricas en contacto son inherentemente parcialmente observables. En estos escenarios, una única observación visual rara vez captura el contexto de acción completo del robot, incluyendo intentos previos, interacciones físicas o la fase actual del progreso de la tarea. En consecuencia, las políticas visuomotoras estándar y los modelos de Visión-Lenguaje-Acción (VLA) sufren de "amnesia", actuando sobre señales aliadas que no logran distinguir entre estados que se ven idénticos visualmente pero que difieren en su historial de interacción.

Las soluciones existentes enfrentan limitaciones significativas:

• Políticas sin memoria: No logran rastrear el progreso ni aprender de los intentos fallidos en entornos ricos en contacto.
• Enfoques basados en VLA: A menudo requieren un prompting humano tedioso y no escalable para dictar qué recordar, o dependen de la predicción de observaciones visuales pasadas o futuras de alta dimensión, lo cual es computacionalmente prohibitivo y propenso a aprender detalles irrelevantes para la tarea.
• Memoria Visual: Los métodos que dependen de la memoria de tokens visuales o la recuperación de fotogramas clave (keyframes) tienen dificultades cuando la información crítica está codificada en el historial de contacto físico en lugar de la apariencia visual.

Metodología: Política de Memoria de Acción Comprimida (CAMP)

CAMP aborda estos desafíos aprovechando el propio historial de acciones del robot como una señal altamente informativa y autosupervisada. La idea central es que, al aprender a reconstruir acciones pasadas, una política puede extraer y retener de forma natural solo la información de comportamiento más crítica necesaria para desambiguar estados parcialmente observables.

La arquitectura CAMP consta de tres componentes primarios:

1. Preentrenamiento del Módulo de Memoria (Autosupervisado)

Un módulo de memoria recurrente (implementado como un LSTM de dos capas) es preentrenado para resumir el historial de interacción.

• Entrada: El módulo procesa pares de observación-acción, utilizando específicamente una cámara de tercera vista fija (para una referencia espacial consistente) y propiocepción.
• Objetivo: En lugar de memorizar secuencias de acciones puras, el módulo predice una representación comprimida de la trayectoria de acción pasada utilizando la Transformada de Coseno Discreta (DCT).
• Función de Pérdida: El objetivo de entrenamiento combina:
  • Pérdida de Reconstrucción ($L_{rec}$): Supervisa la predicción de los coeficientes DCT en el dominio de la frecuencia. Un peso de frecuencia reduce la importancia de los coeficientes de alta frecuencia, obligando a la memoria a capturar la estructura de baja frecuencia (forma) de la trayectoria mientras descarta el ruido a nivel de paso.
  • Consistencia Temporal ($L_{cons}$): Asegura que la reconstrucción de una acción pasada fija permanezca consistente a medida que avanza el episodio, evitando que la cuenta de la memoria derive.
• Resultado: El estado oculto $h_t$ se convierte en un resumen latente compacto de la historia del comportamiento en lugar de un búfer de datos brutos.

2. Discretización (Cuantización de Vectores)

Para mejorar la generalización, el estado oculto continuo $h_t$ se discretiza utilizando un Cuantizador de Vectores (VQ).

• El estado se mapea al elemento más cercano en un libro de códigos (codebook) aprendido.
• Esta discretización obliga a la memoria a codificar estados de comportamiento de grano grueso en lugar de identidades de trayectoria de grano fino, lo cual los autores encontraron crucial para la generalización a través de las demostraciones.
• El estado cuantizado se proyecta a un código de memoria $m_t$ que sirve como la única señal de historial para la cabeza de acción.

3. Cabeza de Acción de Difusión

La cabeza de acción sigue el marco de la Política de Difusión (Diffusion Policy), prediciendo un bloque de acciones futuras.

• Condicionamiento: El modelo de difusión está condicionado por la concatenación de características visuales (provenientes tanto de la cámara de tercera persona como de la cámara de la muñeca), propiocepción y el código de memoria discretizado $m_t$.
• Programa de Entrenamiento: Se emplea un programa de calentamiento y luego ajuste fino (warm-up-then-finetune) por etapas. El módulo de memoria es preentrenado y se congela mientras la cabeza de acción aprende a adaptarse a él. Posteriormente, la memoria se descongela y se ajusta conjuntamente con la cabeza de acción. Esto evita que la pérdida de acción erosione la información de largo alcance instalada durante el preentrenamiento.

Contribuciones Clave

1. Formulación de Memoria Autosupervisada: Introduce la reconstrucción del historial de acciones mediante la compresión DCT como una señal autosupervisada escalable para capturar la memoria de comportamiento relevante para la tarea sin supervisión externa.
2. La Arquitectura CAMP: Un marco novedoso que integra un módulo de memoria recurrente (entrenado mediante la compresión DCT de acciones) con una política de difusión, permitiendo la manipulación de largo alcance y rica en contacto en entornos parcialmente observables.
3. Nuevos Benchmarks: El lanzamiento de Memory-T-Bench (empuje rico en contacto en 2D) y Memory-Manip-Bench (manipulación basada en visión en 3D), diseñados específicamente para evaluar tareas dependientes de la memoria que implican el seguimiento del progreso y el aprendizaje a partir del error.
4. Validación Extensa: Demostración empírica de la superioridad de CAMP sobre las líneas base de vanguardia a través de simulación y cuatro configuraciones de robot real.

Resultados Experimentales

Benchmarks de Simulación

• Memory-T-Bench: CAMP supera significativamente a la Difusión de Política (DP) sin memoria en variantes parcialmente observables.
  • Multi-Objetivos: 94.0% (CAMP) vs. 56.0% (DP).
  • Swap-Shuffle: 92.0% (CAMP) vs. 48.0% (DP).
  • En tareas totalmente observables (Push-T estándar), CAMP se desempeña de manera comparable a DP (98.0% vs. 94.0%), demostrando que no hay penalización por la memoria cuando no es necesaria.
• Memory-Manip-Bench: CAMP logra una tasa de éxito promedio del 64.3%, superando a la línea base más fuerte (DP al 40.9%) por más de 23 puntos. Lidera en 6 de 7 tareas, con los mayores márgenes en tareas que requieren la recuperación de estados (ej. Swap-Block: 86.0% vs. 18.0%).
• Eficiencia de Datos: El éxito de CAMP escala de forma monótona con el número de demostraciones (del 42% al 94% a medida que las demos aumentan de 80 a 320), mientras que las políticas sin memoria no muestran una ganancia consistente, indicando que el cuello de botella para las políticas sin memoria es la observabilidad parcial, no el volumen de datos.

Experimentos con Robots Reales

Evaluados en cuatro tareas: Push-T-Multi-Goals, Swap-Can, Wipe-Plate y Probe-Insert.

• Líneas Base: Todas las líneas base sin memoria (ACT, DP, $\pi^{0.5}$, MemoryVLA) colapsaron a 0/10 de éxito en Push-T-Multi-Goals, Swap-Can y Wipe-Plate.
• CAMP: Logró 7/10 de éxito en las tres primeras tareas y 11/15 en Probe-Insert.
• Modos de Fallo: Las líneas base fallaron debido a la oscilación entre objetivos, el estancamiento tras cambios parciales o la entrada en bucles infinitos (reutilización de cepillos/platos) porque no podían rastrear qué subobjetivos se habían completado. CAMP resolvió esto exitosamente mediante el recuerdo de interacciones pasadas.

Estudios de Ablación

• Discretización: Eliminar la cuantización de vectores reduce el rendimiento (94% $\to$ 60%), confirmando que los estados de comportamiento de grano grueso generalizan mejor que las identidades de trayectoria continuas.
• Compresión: Reemplazar DCT con puntos de control (waypoints) brutos o DFT reduce el rendimiento, resaltando la necesidad de la compresión de baja frecuencia.
• Programa de Entrenamiento: El entrenamiento conjunto desde cero (66%) o el preentrenamiento seguido de un ajuste fino inmediato (46%) fallan. El programa de calentamiento y luego ajuste fino es crítico para preservar la memoria preentrenada mientras permite que la política se adapte.
• Reconstrucción vs. Utilidad: La memoria ajustada, aunque logra un mayor éxito en la política (94%), tiene una pérdida de reconstrucción peor (1.46) en comparación con la memoria preentrenada (0.35). Esto indica que la política se beneficia de un resumen comprimido alineado con la toma de decisiones, no de una reconstrucción perfecta del pasado.

Significado y Reivindicaciones

El artículo afirma que CAMP es, según conocimiento de los autores, la primera política que demuestra un éxito sustancial en tareas de manipulación de largo alcance y ricas en contacto puramente a través de la memoria aprendida.

Puntos clave enfatizados por los autores:

• La memoria resuelve la observabilidad parcial: Al comprimir el historial de acciones, CAMP convierte problemas parcialmente observados en problemas efectivamente Markovianos para la política.
• La autosupervisión es suficiente: Los robots pueden aprender una memoria de comportamiento robusta a partir de su propio historial de acciones sin necesidad de etiquetas de tareas explícitas o prompting humano.
• Escalabilidad: El enfoque evita el costo computacional de la predicción visual y los problemas de escalabilidad del prompt engineering manual.

Los autores señalan limitaciones: el método aún tiene dificultades con requisitos de memoria de larguísimo alcance, y extenderlo a la manipulación de dedos (dexterous manipulation) sigue siendo una dirección abierta para trabajos futuros.