🤖 AI

Workspace Models: Lightweight Robotic Memory via Saliency-Driven Supervision

Este artículo introduce los "workspace tokens", una representación de memoria latente ligera entrenada mediante supervisión impulsada por la prominencia de los modelos de lenguaje visual (VLM) que permite a las políticas robóticas resolver eficientemente tareas de memoria a largo plazo durante el despliegue sin requerir el razonamiento del VLM en el bucle, al tiempo que mejora el rendimiento general.

Autores originales: Nitish Dashora, Douglas Chen, Idan Shenfeld, John Marangola, Pulkit Agrawal, Max Simchowitz

Publicado 2026-09-18

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nitish Dashora, Douglas Chen, Idan Shenfeld, John Marangola, Pulkit Agrawal, Max Simchowitz

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los robots que pueden manipular objetos en el mundo real enfrentan un desafío fundamental: necesitan recordar qué sucedió hace un momento, o incluso hace minutos, para tomar la decisión correcta ahora. Si un robot está apilando bloques, debe recordar cuántos ha colocado ya. Si está abriendo un cajón, debe recordar cuál contiene el objeto que está buscando. En el pasado, los ingenieros intentaron resolver esto alimentando a la computadora del robot con cada uno de los fotogramas de video que había visto jamás, pero este enfoque a menudo confundía a la máquina, haciendo que se aferrara a detalles irrelevantes y fallara. Más recientemente, los investigadores intentaron utilizar modelos de inteligencia artificial masivos y potentes para actuar como una memoria, escaneando constantemente la historia del robot para resumir qué es lo importante. Aunque esto funciona, es lento y costoso, como pedirle a un bibliotecario humano que lea cada libro de una biblioteca cada vez que pides una sola página. La pregunta central para los robóticos ha sido cómo darle a un robot una memoria confiable sin ralentizarlo o requerir una supercomputadora para ejecutarlo.

Un equipo de investigadores del MIT y la Universidad Carnegie Mellon ha propuesto una solución que llaman el "modelo de espacio de trabajo" (workspace model). En lugar de depender de una computadora potente y lenta para resumir la historia mientras el robot trabaja, le enseñan un sistema de memoria pequeño y ligero durante la fase de entrenamiento. Utilizan un modelo de inteligencia artificial potente solo mientras el robot está aprendiendo, no mientras realiza una tarea. Este modelo potente actúa como un maestro, señalando exactamente qué momentos en un video son importantes, como cuando la pinza de un robot recoge un bloque o cuando se cierra un cajón. Los investigadores luego entrenan un sistema compacto y eficiente para comprimir estos momentos importantes en un resumen diminuto y oculto. Una vez completado este entrenamiento, el robot puede usar este pequeño resumen para recordar el pasado instantáneamente, sin necesidad de recurre al lento y poderoso maestro nuevamente.

Los investigadores probaron este enfoque en varias tareas difíciles que requieren memoria a largo plazo. En un entorno simulado, un robot tenía que dejar caer exactamente cinco cubos en un cuenco, pero los cubos desaparecían de la vista una vez que estaban dentro, obligando al robot a contarlos en su memoria. En otra tarea, un robot tenía que abrir un cajón específico que otro robot había cerrado previamente, requiriendo que recordara qué cajón contenía el objeto. También probaron un robot real en una configuración de hardware donde tenía que colocar cubos en cajas que eran demasiado altas para ver el interior, requiriendo nuevamente que el robot mantuviera un conteo continuo. A través de estas pruebas, el nuevo modelo de espacio de trabajo tuvo éxito en el 91.5 por ciento de los intentos. Esto fue significativamente mejor que otros métodos. Un robot estándar que solo miraba los últimos fotogramas fallaba la mayoría de las veces porque olvidaba el pasado. Un robot que intentaba usar un modelo de IA potente para seleccionar momentos clave del pasado durante la tarea era mucho más lento y tenía éxito solo el 66.8 por ciento de las veces. El modelo de espacio de trabajo no solo fue el más preciso, sino también el más rápido, permitiendo que el robot reaccionara rápidamente sin el retraso causado por esperar a que una gran computadora procesara la historia.

El éxito de este método proviene de un cambio inteligente en cómo se construye la memoria. En intentos anteriores, los investigadores pedían a un modelo de IA grande que seleccionara los fotogramas importantes de una transmisión de video mientras el robot se movía. Este proceso introducía un retraso, o lag, que hacía que los movimientos del robot fueran bruscos y menos precisos. El nuevo enfoque traslada este trabajo pesado a la fase de entrenamiento. Durante el entrenamiento, el modelo de IA potente revisa todo el video de una tarea e identifica los eventos críticos. Luego enseña al pequeño modelo de espacio de trabajo a recrear una lista de estos detalles visuales importantes. El modelo pequeño aprende a comprimir esta información en un token denso y único: una pieza diminuta de datos que contiene la esencia del pasado. Cuando el robot se despliega en el mundo real, simplemente observa este token. No necesita volver a analizar el pasado ni esperar a que un modelo grande piense; la memoria ya está destilada y lista. Esto permite que el robot mantenga un flujo de acción claro y continuo sin las interrupciones que plagaron los métodos anteriores.

Los investigadores descubrieron que este método hizo más que solo acelerar las cosas; de hecho, hizo al robot más inteligente. Cuando analizaron por qué fallaban los otros métodos, descubrieron que el simple hecho de alimentar al robot con más fotogramas, o incluso fotogramas cuidadosamente seleccionados, a menudo lo confundía. El robot comenzaba a imitar los movimientos incorrectos o fallaba al agarrar objetos con precisión porque la información adicional introducía ruido. El modelo de espacio de trabajo, por el contrario, proporcionaba una representación suave y continua del pasado. Debido a que el modelo pequeño fue entrenado para reconstruir los detalles más destacados de toda la historia, aprendió a ignorar el ruido distractor y a concentrarse solo en lo que importaba para la tarea. Esto resultó en un robot que podía contar correctamente, encontrar el cajón adecuado y agarrar objetos con un nivel de precisión que los otros métodos no podían igualar.

El estudio sugiere que el futuro de la memoria robótica puede no residir en hacer a los robots más grandes o potentes, sino en cómo se les enseña a recordar. Al utilizar herramientas potentes para entrenar sistemas más simples y eficientes, los investigadores pueden crear robots que sean tanto rápidos como capaces de razonamientos complejos a largo plazo. El modelo de espacio de trabajo actúa como un puente, tomando el razonamiento pesado requerido para la memoria y comprimiéndolo en una forma que un robot pueda usar en tiempo real. Este enfoque ofrece un camino a seguir para los robots que necesitan operar en entornos dinámicos e impredecibles donde recordar el pasado es tan importante como ver el presente. El trabajo demuestra que, con la estrategia de entrenamiento adecuada, un robot puede llevar una rica historia de experiencia en un paquete ligero, listo para actuar con claridad y velocidad.

Resumen Técnico: Modelos de Espacio de Trabajo: Memoria Robótica Ligera mediante Supervisión Basada en la Saliencia

Planteamiento del Problema

Las tareas complejas de manipulación robótica a menudo requieren memoria a largo plazo de eventos y acciones pasadas para tener éxito. Sin embargo, condicionar las políticas a historiales de observación completos introduce desafíos significativos:

Error de Generalización: Aumentar el historial de observaciones sin un diseño cuidadoso puede conducir al "aprendizaje de atajos" (shortcut learning) o a la "confusión causal", donde los modelos se aferran a correlaciones espurias en fotogramas históricos irrelevantes en lugar de aprender el estado latente real requerido para la selección de acciones.
Latencia y Costo: Los enfoques actuales de vanguardia suelen depender de Modelos de Visión y Lenguaje (VLM) para curar un historial relevante para la tarea (por ejemplo, seleccionando fotogramas clave o generando resúmenes de texto) durante el despliegue. Esto introduce una alta latencia computacional, ralentiza las políticas reactivas e incurre en costos financieros significativos (tarifas de API o hardware costoso).
Escasez de Datos: Los datos de aprendizaje robótico son limitados y de alta dimensión. Entrenar políticas sobre historiales largos y no curados a menudo requiere más datos de los disponibles para evitar el sobreajuste.

Las soluciones existentes enfrentan un compromiso: los VLM potentes proporcionan mejores resúmenes pero introducen una latencia inaceptable, mientras que los modelos ligeros carecen de la capacidad para identificar la información saliente con precisión.

Metodología: Modelos de Espacio de Trabajo (Workspace Models)

Los autores proponen los Modelos de Espacio de Trabajo, un marco que amortiza el costo computacional del razonamiento de los VLM del tiempo de despliegue al tiempo de entrenamiento. La idea central es entrenar un codificador de memoria latente ligero (el "codificador del espacio de trabajo") que comprima la información histórica en una representación compacta (el "token del espacio de trabajo") utilizando la supervisión derivada de VLM potentes.

Arquitectura y Pipeline de Entrenamiento

El enfoque consta de dos fases principales:

1. Supervisión Basada en la Saliencia (Tiempo de Entrenamiento):

Construcción del Conjunto de Saliencia: Durante el entrenamiento, se utiliza un VLM potente (específicamente Qwen3-VL para la detección de eventos y MolmoPoint para el señalamiento espacial) para identificar información "saliente" de la trayectoria completa.
- Detección de Eventos: El VLM determina cuándo ocurren eventos salientes (por ejemplo, "se añadió sal a la sopa").
- Selección de Parches: El VLM identifica qué recordar señalando objetos o regiones (parches) específicos en la imagen.
- El resultado es un conjunto de parches de imagen salientes ( $S_t$ ) de observaciones pasadas y actuales, limitado a un tamaño máximo $m$ .
Codificador del Espacio de Trabajo ( $f_\phi$ ): Un codificador basado en Transformer procesa la secuencia de observaciones puras (tokenizadas vía DinoV3) y genera una secuencia de tokens de espacio de trabajo latentes ( $w_{1:t}$ ).
Decodificador de Reconstrucción de Conjuntos ( $g_\psi$ ): Un decodificador se entrena junto con el codificador. Este toma el token de espacio de trabajo actual $w_t$ $w_{t}$ e intenta reconstruir el conjunto saliente $S_t$ $S_{t}$ .
- El decodificador genera $m$ "slots", cada uno prediciendo una reconstrucción de parche y una probabilidad de ocupación.
- Función de Pérdida: Un algoritmo de emparejamiento húngaro alinea los slots predichos por el decodificador con los parches salientes reales (ground-truth). La pérdida consiste en un término de reconstrucción de características (MSE sobre parches) y un término de clasificación de existencia (entropía cruzada sobre la ocupación de los slots).
Congelación: Una vez entrenado, el codificador $f_\phi$ se congela. Aprende a comprimir toda la información saliente histórica necesaria en el token del espacio de trabajo sin necesidad del VLM durante la inferencia.

2. Aprendizaje de la Política (Tiempo de Despliegue):

Una política descendente (implementada como una Política de Difusión) se entrena para predecir fragmentos de acción condicionados a un historial corto de tokens del espacio de trabajo y estados propioceptivos actuales.
El VLM no se utiliza durante el despliegue. La política recibe el historial latente compacto, permitiendo una inferencia de baja latencia.

Principales Contribuciones

Modelos de Espacio de Trabajo: Una arquitectura novedosa para la memoria robótica que desacopla la computación pesada de la curación de la historia (realizada en el tiempo de entrenamiento mediante VLM) de la ejecución ligera de la recuperación de memoria (realizada en el tiempo de despliegue mediante un codificador congelado).
Supervisión Basada en la Saliencia: El artículo introduce un paradigma de entrenamiento donde modelos fundacionales fuertes proporcionan "etiquetas de saliencia" (qué recordar) para entrenar un codificador compacto, destilando efectivamente el razonamiento del VLM en un espacio latente.
Desempeño Superior: Contrario a la intuición de que los sistemas con VLM en el bucle son superiores, los autores demuestran que los Modelos de Espacio de Trabajo logran tasas de éxito más altas que las líneas base que utilizan VLM para la selección de fotogramas clave durante la inferencia.
Baja Latencia: El método reduce significativamente la latencia de inferencia en comparación con los enfoques basados en VLM, lo que lo hace adecuado para el control robótico en tiempo real.

Resultados Experimentales

Los autores evaluaron los Modelos de Espacio de Trabajo (Wksp) frente a tres líneas base a través de cuatro tareas (tres en simulación, una en hardware real) que requieren conteo, recuperación espacial y adaptación en contexto:

Líneas Base: Política de Difusión Vanilla (sin historial), Política de Difusión condicionada a la historia (apilamiento de fotogramas) y Selección de fotogramas clave (VLM en el bucle).
Tareas:
- CUBEDROP / HALFANDHALF: Contar objetos colocados en contenedores ocultos.
- DRAWERRECALL: Recuperación espacial de un objeto oculto en un cajón específico.
- BALANCEBAR: Adaptación en contexto para encontrar el centro de masa de un objeto.

Hallazgos Clave:

Tasa de Éxito: Los Modelos de Espacio de Trabajo alcanzaron la tasa de éxito promedio más alta (91.5%) en todas las tareas, superando significativamente a la siguiente mejor línea base (Keyframe con 66.8%).
Latencia: Los Modelos de Espacio de Trabajo añaden aproximadamente 1.2x la latencia de un stack de percepción CNN básico (VanillaDP) en configuración estándar (94.9ms vs 41.3ms). Con batching y KV-caching, este overhead cae a ~1.28x (52.9ms). En contraste, los métodos de Keyframe incurren en aproximadamente 5x el costo de la línea base (302ms vs 41.3ms, o ~7.3x sin batching), lo cual los autores señalan que sería significativamente peor con VLM basados en API.
Modos de Fallo:
- HistoryDP y Keyframe a menudo sufrieron de "aliasing de control", donde la selección discreta de fotogramas introdujo cambios en la distribución, provocando errores de manipulación fina (por ejemplo, fallar un agarre) incluso si la memoria de alto nivel era correcta.
- Los Modelos de Espacio de Trabajo proporcionaron una representación suave de la historia. Los autores atribuyen la ganancia de desempeño a la capacidad del codificador para atender globalmente a través del tiempo y producir transiciones latentes suaves, evitando la fragilidad de la selección de fotogramas discretos.

Significado y Reivindicaciones

El artículo posiciona a los Modelos de Espacio de Trabajo como una prueba de concepto para la amortización del razonamiento en robótica. Los autores afirman que, al aprovechar la asimetría entre el cómputo en el tiempo de entrenamiento (que puede escalarse) y el cómputo en el tiempo de prueba (que debe ser limitado), es posible entrenar codificadores ligeros que superen a los modelos pesados en el bucle.

Generalización: El trabajo sugiere que comprimir la historia en una representación latente suave es superior a la selección de fotogramas discretos, ya que mitiga los efectos de "aliasing" que plagan a los métodos basados en fotogramas clave.
Escalabilidad: El enfoque ofrece un camino hacia la memoria de largo horizonte en robótica sin la latencia y el costo prohibitivos de las consultas continuas a VLM.
Modestia: Los autores reconocen que su implementación actual (usando parches de imagen y un decodificador tipo DETR) es una instanciación preliminar. Señalan limitaciones, como el escalado cuadrático del codificador autorregresivo para secuencias muy largas y la dependencia de los VLM para el etiquetado de saliencia, que puede no estar perfectamente fundamentado. Sugieren que trabajos futuros podrían explorar otras modalidades (texto, video) y combinaciones jerárquicas con políticas generalistas.