💬 NLP

Long-Horizon Embodied Decision-Making via Multimodal Memory Compression

Este artículo presenta DunphyBench, un nuevo referente para evaluar la toma de decisiones corporales de largo alcance alineada con las preferencias humanas, y propone MeMento, un compresor de memoria condicionado por preferencias que mejora significativamente la precisión del agente al tiempo que reduce drásticamente el uso de memoria al abordar los cuellos de botella del historial multimodal bruto.

Autores originales: Bingxuan Li, Rui Yang, Cheng Qian, Jiateng Liu, Jeonghwan Kim, Zhenhailong Wang, Manling Li, Tong Zhang, Heng Ji

Publicado 2026-08-04

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Bingxuan Li, Rui Yang, Cheng Qian, Jiateng Liu, Jeonghwan Kim, Zhenhailong Wang, Manling Li, Tong Zhang, Heng Ji

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás contratando a un asistente personal para ayudarte a encontrar el apartamento perfecto en una nueva ciudad. No quieres solo a alguien que abra puertas; quieres un compañero que pueda recordar cada detalle de cien recorridos diferentes, que pueda comparar cada uno con tus deseos vagos como "necesito un lugar tranquilo para cocinar" o "mi perro necesita un lugar soleado", y finalmente elegir el hogar que mejor se adapte a tu vida. Este es el mundo de la IA corporizada (embodied AI), donde los agentes informáticos no solo charlan en una pantalla, sino que "caminan" a través de mundos virtuales, observando habitaciones y tomando decisiones. El gran desafío aquí es la toma de decisiones de largo alcance (long-horizon decision-making): mantener el rastro de una cantidad masiva de información durante un tiempo prolongado sin confundirse o cansarse. Al igual que los humanos sufren de "fatiga de decisión" después de mirar demasiadas casas, estos agentes digitales a menudo se ven abrumados por el volumen de fotos, mapas y notas que recopilan, lo que los lleva a tomar malas decisiones.

Este artículo, titulado "Long-Horizon Embodied Decision-Making via Multimodal Memory Compression", aborda exactamente ese problema. Los investigadores crearon una nueva prueba llamada DunphyBench, que es como un simulador gigante de alta tensión para la búsqueda de apartamentos. Descubrieron que los agentes de IA actuales están teniendo serias dificultades; incluso los más inteligentes solo aciertan aproximadamente el 58% de las decisiones, mientras que los humanos alcanzan el 83%. ¿El principal culpable? Los agentes se están ahogando en su propia historia. Cuando intentan recordar todo lo que han visto, el exceso de ruido en realidad los vuelve más torpes. Para solucionar esto, el equipo construyó una nueva herramienta llamada MeMento. Piensa en MeMento como un filtro de memoria supereficiente que lee todo el historial del recorrido del agente y solo conserva las notas diminutas y cruciales que coinciden con lo que el usuario realmente desea, desechando todo lo demás. Este sencillo truco ayudó a la IA a aumentar su precisión en un 7,18% utilizando un 85,38% menos de memoria que antes, demostiendo que, a veces, olvidar lo que no es importante es la clave para tomar la decisión correcta.

La simulación de la búsqueda de apartamentos

Para entender por qué esto es importante, imagina a los investigadores configurando un enorme juego de "House Hunters" para robots. Construyeron un benchmark llamado DunphyBench donde un agente de IA tiene que visitar una serie de casas virtuales. El agente recibe una lista de preferencias del usuario, que pueden ser instrucciones claras como "necesito tres dormitorios" o pistas complicadas como "me encanta cocinar para amigos" (lo que implica la necesidad de una cocina grande). El agente tiene que recorrer cada casa, mirar las habitaciones, revisar las ventanas y contar los objetos. Luego, tiene que elegir la casa que mejor se ajuste a todas las pistas.

Los investigadores diseñaron esto para que fuera realmente difícil. No solo dieron tareas fáciles a la IA; añadieron "distractores": casas que parecen buenas a primera vista pero fallan en un detalle específico. También probaron dos tipos de pensamiento: Explícito (donde las reglas son claras) e Implícito (donde la IA tiene que adivinar lo que el usuario realmente quiere decir).

El problema: Demasiada memoria, poco sentido

Cuando ejecutaron la prueba, los resultados fueron una llamada de atención. Los mejores agentes de IA lograron acertar solo el 58,3% de las respuestas, mientras que los evaluadores humanos obtuvieron un 83,3%. La brecha era enorme. Los investigadores investigaron por qué los robots estaban fallando y encontraron tres problemas principales:

Sobrecarga de complejidad: A medida que las tareas se volvían más difíciles (más habitaciones, pistas más confusas), el rendimiento de la IA caía en picado. Cuando el número de casas "distractoras" aumentaba, la precisión bajaba más de 20 puntos.
El muro de lo "Implícito": Los agentes eran pésimos leyendo entre líneas. Cuando la preferencia era vaga (como "trabajo desde casa"), la IA tenía muchas más dificultades que cuando la regla era estricta (como "necesita un escritorio").
La trampa de la memoria: Esta fue la mayor sorpresa. Los investigadores pensaron que dar más memoria a la IA (mostrándole cada foto y nota de su recorrido) ayudaría. En cambio, a menudo fue contraproducente. Cuando la IA intentaba recordar todo, la información adicional actuaba como ruido, confundiendo al agente y haciéndole olvidar lo que realmente importaba.

Resulta que, para estos agentes, tener más historial no siempre es mejor. De hecho, después de cierto punto, añadir más memorias sin filtrar hacía que los agentes fueran peores en la toma de decisiones.

La solución: MeMento, el filtro de memoria

Para resolver la "trampa de la memoria", el equipo inventó MeMento. Imagina que estás preparando una maleta para un viaje. En lugar de meter todo tu armario en la maleta, tienes un asistente inteligente que sabe exactamente lo que necesitas según el clima y tus actividades. MeMento hace esto por la IA.

Así es como funciona:

El Filtro: MeMero observa las preferencias del usuario (por ejemplo, "necesito un lugar tranquilo") y crea una "consulta" especial.
La Compresión: A medida que la IA explora las casas, MeMento escanea cada foto y nota. Se pregunta: "¿Esto ayuda a responder la pregunta del usuario?". Si la respuesta es no, desecha esa información. Si la respuesta es sí, la comprime en un "token de memoria" diminuto y eficiente.
El Resultado: En lugar de alimentar a la IA con una biblioteca masiva de 60.000 tokens (que es lo que hacían los métodos antiguos), MeMento le entrega un resumen pequeño y enfocado de solo unos 3.800 tokens.

Los resultados: Más inteligentes y más ligeros

Los experimentos demostraron que este enfoque funcionó de maravilla. Cuando los investigadores usaron MeMento con sus agentes de IA:

Aumento de precisión: Los agentes obtuvieron un 7,18% más de respuestas correctas (una mejora relativa del 15,74%).
Ahorro de memoria: Utilizaron un 85,38% menos de memoria que los métodos más fuertes anteriores.
Generalización: El equipo también probó MeMento en tareas de navegación web (encontrar artículos específicos en línea) y también funcionó allí, lo que sugiere que esta idea de "filtrado inteligente" no es solo para casas.

Los investigadores también realizaron una prueba de "sonda de memoria", preguntando a la IA detalles específicos de su recorrido (como "¿Había una ventana cerca del fregadero?"). MeMento fue capaz de responder a estas preguntas correctamente el 71,9% de las veces, lo cual estaba mucho más cerca de la puntuación perfecta del "oráculo" que cualquier otro método. Esto demostró que MeMento no estaba borrando información al azar; estaba conservando la información correcta.

Lo que esto significa

El artículo sugiere que el futuro de los asistentes de IA útiles no consiste en darles memoria infinita o hacer que lean cada página de un libro. En su lugar, se trata de enseñarles a olvidar lo que no es importante. Al aprender a comprimir sus experiencias en lo que realmente importa para los objetivos específicos del usuario, estos agentes pueden tomar decisiones mejores y más humanas. Aunque la brecha entre la IA y los humanos todavía existe, MeMento muestra un camino claro a seguir: sé selectivo, sé eficiente y recuerda solo lo que cuenta.

Resumen Técnico: Toma de Decisiones Corpóreas de Largo Alcance mediante la Compresión de Memoria Multimodal

1. Definición del Problema

El artículo aborda el desafío de la toma de decisiones corpórea de largo alcance y centrada en el ser humano. A diferencia de las tareas corpóreas estándar que se centran en la planificación procedimental o la ejecución inmediata de objetivos (por ejemplo, "recoger la taza"), este entorno requiere que los agentes actúen como tomadores de decisiones en nombre de los usuarios durante interacciones prolongadas. El problema central implica navegar por múltiples entornos corpóreos (específicamente viviendas), acumular evidencia multimodal a lo largo del tiempo y seleccionar el candidato óptimo basándose en preferencias humanas multidimensionales.

Los desafíos clave identificados incluyen:

Subespecificación de Preferencias: Las preferencias del usuario suelen ser implícitas, indirectas o basadas en un perfil (por ejemplo, "cocino con frecuencia" implica la necesidad de una cocina amplia) en lugar de listas de verificación explícitas.
Anclaje de Largo Alcance (Long-Horizon Grounding): Los agentes deben vincular las preferencias textuales con las observaciones visuales a través de múltiples entornos y pasos de tiempo.
Gestión de la Memoria: Los agentes actuales tienen dificultades para gestionar grandes volúmenes de evidencia acumulada. El artículo postula que la historia multimodal cruda y sin filtrar introduce ruido que obstaculiza la calidad de la decisión, creando una relación no monotónica entre el tamaño de la memoria y el rendimiento.

2. Metodología

2.1 DunphyBench: Un Nuevo Benchmark

Para evaluar sistemáticamente este problema, los autores introducen DunphyBench, un benchmark para la toma de decisiones corpórea de largo alcance centrada en el ser humano.

Tarea: El agente debe explorar un conjunto de entornos de vivienda candidatos (generados a partir de ProcTHOR) y seleccionar el entorno "dorado" que mejor se alinee con un conjunto de preferencias del usuario.
Estructura: Cada instancia incluye un conjunto de preferencias ( $N=7$ ) y un grupo de candidatos ( $1 + 3M$ ), donde $M$ representa distractores de varying dificultad (Fácil, Medio, Difícil).
Taxonomía de Preferencias: Las preferencias se categorizan en siete tipos semánticos: recuento/tipos de habitaciones, dimensiones, ventanas/iluminación, presencia de objetos, recuento de objetos, conectividad espacial y materiales/acabados.
Tracks (Vías): El benchmark cuenta con dos vías:
1. Explícita: Las preferencias son restricciones estructuradas (por ejemplo, "3 dormitorios").
2. Implícita: Las preferencias son declaraciones en lenguaje natural que requieren inferencia (por ejemplo, "Me encanta cocinar").
Métricas de Evaluación: Precisión (decisión final correcta), Ratio de Satisfacción Normalizado (corrección parcial) y Eficiencia de Exploración (equilibrio entre los pasos dados y la precisión).

2.2 MeMento: Compresión de Memoria Multimodal Condicionada por Preferencias

Motivados por el hallazgo de que el contexto excesivo degrada el rendimiento, los autores proponen MeMento, un marco para comprimir selectivamente la información relevante para la decisión de la historia de largo alcance.

Arquitectura: MeMento es un módulo de estilo Perceiver condicionado por preferencias que utiliza un conjunto fijo de tokens de memoria aprendibles (queries) para comprimir la historia multimodal cruda.
Codificación:
- Codificación de Preferencias: Los requisitos del usuario (explícitos o implícitos) se transforman en palabras clave y se agrupan en un único embedding de preferencia ( $\bar{z}_r$ ).
- Codificación de Pasos: Cada paso de exploración (vista de ego, vista de mapa, observaciones, acciones) se codifica en una representación de paso, aumentada con IDs temporales y de entorno.
Mecanismo de Compresión:
- Queries Condicionadas por Preferencias: Las queries aprendibles reciben la inyección del embedding de preferencia a través de una red de proyección ( $Q_r = Q_0 + \phi(\bar{z}_r)$ ).
- Compresión Jerárquica: Las queries atienden a las representaciones de los pasos dentro de cada entorno de forma independiente (Cross-Attention), seguido de una auto-atención para fusionar la información a través de los pasos, produciendo tokens compactos a nivel de entorno. Estos se concatenan para formar tokens de memoria global.
Inyección: Los tokens comprimidos se proyectan en el espacio de embedding del VLM congelado mediante un adaptador entrenable y se anteponen al prompt actual como un prefijo estructurado.
Estrategia de Entrenamiento:
- Etapa 1 (Guía de Preferencias): Entrena al compresor para predecir puntuaciones de relevancia de preferencia a nivel de paso y alinea los pesos de atención con las etiquetas de relevancia.
- Etapa 2 (Alineación): Entrena al compresor y al adaptador para que la memoria comprimida sea legible por el VLM congelado utilizando tareas de QA relacionadas con las preferencias.

3. Resultados Clave

3.1 Evaluación del Benchmark (DunphyBench)

Brecha Humano vs. Agente: Existe una brecha de rendimiento sustancial. La mejor configuración de agente (GPT-5.4 con memoria multimodal y sin herramientas) alcanzó un 58.3% de precisión, mientras que los anotadores humanos alcanzaron un 83.3%.
Sensibilidad a la Complejidad: El rendimiento se degrada drásticamente con la complejidad de la tarea. La precisión cae de ~49% a ~25% (Explícita) y de ~26% a ~16% (Implícita) a medida que la dificultad aumenta de Fácil a Difícil.
Cuello de Botella de Preferencias Implícitas: Los agentes tienen dificultades significativas con las preferencias implícitas en comparación con las explícitas (por ejemplo, 26.7% frente a 49.1% en entornos Fáciles).
Impacto de la Memoria: Incorporar memoria multimodal casi duplica la precisión en comparación con los agentes sin memoria para algunos modelos. Sin embargo, el escalado de la memoria sin filtrar es no monotónico; el rendimiento alcanza su punto máximo con una longitud de historial moderada (15 turnos) y declina con un contexto excesivo debido al ruido.

3.2 Rendimiento de MeMento

Mejora de la Precisión: En DunphyBench, MeMento mejoró la precisión del modelo base (Qwen3VL-8B) en un 7.18% (absoluto) y un 15.74% (relativo) en comparación con el baseline más fuerte.
Eficiencia de Memoria: MeMento redujo el uso de memoria en un 85.38% en comparación con el baseline más fuerte, Memoria Multimodal (Reciente) (~60K tokens), utilizando solo ~3.8K tokens.
Estudios de Ablación:
- Eliminar el condicionamiento por preferencias causó la mayor caída de rendimiento (de 52.78% a 15.67%), confirmando el papel crítico del anclaje de preferencias.
- Eliminar la memoria visual o la compresión jerárquica provocó una degradación moderada, resaltando la sinergia de la evidencia multimodal y la agregación estructurada.
Generalización: MeMento fue probado en 100 tareas de agentes web (Embodied Web Agent), logrando un 83% de éxito con solo 512 tokens, superando a la memoria reciente (69% con 4.5k tokens) y a la sumarización de texto (72% con 1k tokens).

4. Significancia y Reivindicaciones

El artículo afirma que la gestión efectiva de la memoria multimodal de largo alcance, en lugar de simplemente escalar las ventanas de contexto, es la clave para construir agentes de toma de decisiones robustos.

Diagnóstico: El trabajo identifica que la historia multimodal cruda introduce ruido que obstaculiza la calidad de la decisión, y que los agentes actuales fallan al rastrear estados visitados o agregar evidencia de manera efectiva en horizontes largos.
Solución: MeMento demuestra que comprimir selectivamente la historia basándose en las preferencias del usuario permite a los agentes retener la información relevante para la decisión mientras descartan el ruido, mejorando significativamente tanto la precisión como la eficiencia.
Contribución del Benchmark: DunphyBench proporciona un marco de evaluación necesario que va más allá de la planificación procedimental para probar la capacidad de un agente para inferir preferencias implícitas y razonar sobre evidencia de múltiples entornos a largo plazo.

Los autores concluyen que su enfoque sirve como un baseline mejorado para la toma de decisiones corpórea de largo alcance, generalizándose más allá de las tareas de vivienda hacia escenarios de decisión basados en la web.