Resumen Técnico: Evaluación del Rendimiento de la Memoria Robótica bajo Interferencia

Planteamiento del Problema

A medida que los robots se despliegan en entornos realistas, deben operar a través de numerosas sesiones y tareas no relacionadas. Un desafío crítico para el despliegue en el mundo real es la capacidad de recordar información de sesiones que ocurrieron significativamente en el pasado, sepultada tras un historial de interacciones irrelevantes. El problema central abordado es si los sistemas actuales de memoria robótica pueden recuperar con éxito información previa útil cuando esta se ve oscurecida por la interferencia de sesiones no relacionadas.

Metodología

Los autores introducen RoboMME-Interference, un benchmark de sesiones cruzadas construido sobre el marco existente de RoboMME [Dai et al., 2026]. La metodología consiste en construir un "búfer de historial" para cada episodio de consulta que sirve como entrada de memoria para la política de Visión-Lenguaje-Acción (VLA).

Construcción del Benchmark

• Estructura: Para cada consulta, el búfer de historial contiene la demostración previa relevante (la "lección") seguida de $k$ sesiones distractoras no relacionadas.
• Niveles de Interferencia: El número de sesiones distractoras ($k$) se recorre a través de $\{0, 1, 3, 7\}$, que representan interferencia nula, ligera, moderada y fuerte, respectivamente. También se incluye una línea base de "sin historial" con un búfer vacío.
• Diseño de los Distractores: Los distractores se extraen de diferentes familias de tareas que la consulta para evitar introducir hechos contradictorios (por ejemplo, objetivos conflictivos) que harían que la degradación del rendimiento fuera ininterpretable. Cada distractor contribuye con una sección de longitud fija de 32 fotogramas almacenados, asegurando la comparabilidad entre sesiones.
• Selección de Tareas: El benchmark utiliza nueve familias de tareas de RoboMME donde la información previa necesaria se encuentra en un video de demostración autónomo distinto de la fase de ejecución. Estas incluyen:
  • Imitación: MoveCube, InsertPeg, PatternLock, RouteStick.
  • Referencia condicionada por video: VideoRepick, VideoPlaceButton, VideoPlaceOrder.
  • Permanencia condicionada por video: VideoUnmask, VideoUnmaskSwap.
  • Excluidas: Otras siete tareas de RoboMME fueron excluidas porque sus pistas están entrelazadas dentro de un solo episodio de ejecución, lo que impide el aislamiento de una sesión previa separable.

Sistemas Evaluados

El estudio evalúa nueve variantes aumentadas de memoria de la política $\pi_{0.5}$ [Physical Intelligence et al., 2025], ejecutándolas sin modificaciones a través del benchmark. Los sistemas varían según la representación de la memoria y el mecanismo de integración:

• Representaciones: Perceptuales (FrameSamp, TokenDrop), Recurrentes (TTT, RMT) y Simbólicas (excluidas de esta evaluación específica debido a su dependencia de anotaciones predefinidas).
• Mecanismos de Integración: Concatenación de contexto, Modulador (LayerNorm adaptativo) y Experto (atención causal por bloques).
• Línea Base: La política estándar $\pi_{0.5}$ sin memoria.

Contribuciones Clave

1. Benchmark de Interferencia de Sesiones Cruzadas: Una extensión de RoboMME que mide explícitamente el impacto de la longitud de la sesión y la memoria no relacionada en la precisión, insertando un número controlado de sesiones no relacionadas entre las memorias relevantes y las consultas.
2. Cuadrícula de Resultados Exhaustiva: Una evaluación completa de nueve sistemas de memoria a través de nueve familias de tareas, proporcionando un desglose detallado de la degradación del rendimiento a medida que aumenta la interferencia. Esto incluye código, datos, figuras y análisis publicados junto con el artículo.

Resultados

La evaluación revela un contraste marcado entre el rendimiento con memoria limpia y el rendimiento bajo interferencia:

• Rendimiento con Memoria Limpia ($k=0$): Cuando el búfer de historial contiene solo la lección relevante, las variantes de memoria perceptual superan significativamente a la línea base sin historial. El sistema con mejor rendimiento, FrameSamp-Modulator, logra una tasa de éxito del 45.3% (un aumento de 27.1 puntos porcentuales respecto a su línea base sin historial del 18.2%).
• Degradación bajo Interferencia: A medida que se acumulan las sesiones no relacionadas ($k=1, 3, 7$), el rendimiento de todos los sistemas decae constantemente.
  • FrameSamp-Modulator cae aproximadamente 26 puntos porcentuales de $k=0$ a $k=7$, regresando a un 19.3% aproximadamente, que está cerca de su suelo original sin historial.
  • TokenDrop-Modulator cae de manera similar unos 16 puntos, terminando en 19.8%.
• Sensibilidad del Mecanismo de Integración: Los sistemas con la misma representación se comportan de manera diferente según la integración. Por ejemplo, FrameSamp con una integración de Modulador supera ampliamente a FrameSamp con integración de Contexto o Experto en $k=0$, pero todos convergen hacia la línea base a medida que la interferencia aumenta.
• Variantes Recurrentes: Las variantes recurrentes (TTT) no muestran una ganancia significativa sobre la línea base sin historial en ninguna longitud de sesión, manteniéndose en o por debajo del 18% de éxito.
• Varianza de Tarea y Dificultad: Los beneficios de la memoria son desiguales entre las familias de tareas y los niveles de dificultad. Las ganancias son más pronunciadas en episodios de dificultad fácil y media, mientras que los episodios difíciles permanecen cerca del suelo de rendimiento para todos los sistemas.

Significado y Reivindicaciones

El artículo sostiene que, si bien las variantes de memoria perceptual mejoran el éxito cuando se les proporciona un historial limpio, no logran mantener la robustez a medida que se acumulan sesiones no relacionadas. Los sistemas actuales fallan ampliamente en la memoria de contexto largo y en la robustez ante la interferencia, ya que el rendimiento colapsa al nivel de un sistema sin memoria una vez que se introducen suficientes distractores.

Los autores posicionan este trabajo como un paso necesario para que la recuperación de sesiones cruzadas de largo alcance sea medible para las políticas robóticas, de manera similar a cómo se evalúa la recuperación a largo plazo para los Modelos de Lenguaje Extensos (LLM). Concluyen que la recuperación fiable de sesiones cruzadas está actualmente fuera del alcance de las políticas robóticas, pero señalan que la literatura de memoria de los LLM ofrece un cuerpo de trabajo maduro sobre el cual construir a medida que los sistemas de memoria robótica evolucionen.

Limitaciones señaladas por los autores:

• La evaluación se realiza en simulación utilizando checkpoints liberados; la validación en robots reales es un trabajo futuro.
• Los resultados reflejan el muestreo sobre episodios pero no la variación entre ejecuciones o de entrenamiento (una sola semilla por sistema).
• El benchmark está limitado a familias de tareas con demostraciones previas separables.