Resumen Técnico: MemCompiler — Memoria Condicionada al Estado para Agentes Encarnados

Enunciado del Problema

Los sistemas de memoria actuales para agentes encarnados dependen predominantemente de un paradigma de Inyección Monolítica de Memoria Anticipada (AMMI). En este enfoque, las entradas de memoria recuperadas se ensamblan en un contexto estático al inicio de un episodio y permanecen fijas durante toda la ejecución. Los autores argumentan que este diseño sufre de dilución de la atención: a medida que evoluciona el estado de ejecución del agente, la memoria estática se vuelve cada vez más desalineada con las necesidades actuales. La experiencia valiosa queda sepultada bajo entradas irrelevantes o contraproducentes, lo que provoca que los ejecutores de políticas ligeras se degraden por debajo de la línea base sin memoria.

Este problema es específico de los agentes encarnados debido a dos propiedades estructurales ausentes en los agentes de lenguaje:

1. Relevancia Dependiente del Estado: La utilidad de la memoria depende del progreso inferido de los subobjetivos y de las creencias ambientales derivadas de flujos continuos de acción-visual, no solo de consultas explícitas. La inyección estática no puede adaptarse a estos cambios.
2. Naturaleza Multimodal de la Experiencia: La experiencia encarnada contiene información espacial y de affordance difícil de codificar en texto. La memoria basada solo en texto pierde pistas críticas, mientras que la inyección visual ingenua amplifica la dilución de la atención.

Las soluciones existentes para agentes de lenguaje (por ejemplo, grafos estructurados, divulgación progresiva) asumen backbones de razonamiento potentes e interacción centrada en texto, lo que las hace inadecuadas para políticas encarnadas ligeras que operan sobre flujos visuales.

Metodología: MemCompiler

El artículo propone MemCompiler, un cambio de paradigma desde la inyección estática hacia la Compilación de Memoria Condicionada al Estado (SCMC). Análogo a un compilador de software que traduce código fuente a instrucciones objetivo basándose en el entorno de ejecución, MemCompiler trata la memoria de la tarea como "código fuente" y el estado actual del agente como "contexto de ejecución".

Componentes Principales

1. Estado Breve ($b_t$): Un contexto estructurado de ejecución mantenido por el Compilador de Memoria. Comprime el objetivo de la tarea, el historial de acciones y las observaciones en dos dimensiones:
   • Estado de Progreso de la Tarea: Subobjetivos completados/actuales/pendientes.
   • Creencia Ambiental: Ubicaciones conocidas de objetos, estado del agente y hechos ambientales.
2. Compilador de Memoria ($\pi_C$): Un modelo ligero que lee el estado actual $s_t = (o_t, b_t)$ y el grupo de memoria $M$. En cada paso, decide dinámicamente emitir uno de cuatro tipos:
   • Experiencia: Guía estratégica ($m^*_{t}$) para el Ejecutor.
   • Breve: Actualizaciones ($\Delta b_t$) al contexto de ejecución.
   • Híbrido: Tanto guía como actualizaciones de contexto.
   • NoAcción: Sin salida cuando ninguna memoria es actualmente aplicable.
3. Soft-Mem (Salida de Doble Canal): Para abordar la brecha multimodal, la memoria compilada se entrega mediante dos canales:
   • Canal de Texto: Guía estratégica interpretable.
   • Canal Latente Suave ($m^*_{t, soft}$): Tokens suaves latentes proyectados directamente en el espacio de incrustación del Ejecutor, que transportan información perceptual y espacial (por ejemplo, distribuciones visuales) que el texto no puede expresar. Una restricción de ortogonalidad asegura que este canal no colapse en una copia redundante del texto.

Pipeline de Entrenamiento

MemCompiler se entrena de extremo a extremo en dos etapas:

1. Ajuste Fino Supervisado (SFT): Optimiza tres objetivos: pérdida de generación de texto, pérdida de predicción de acciones (utilizando los tokens suaves inyectados) y una pérdida de token suave. La pérdida de token suave incluye un término de alineación semántica y una restricción de complementariedad (penalizando la similitud coseno entre las representaciones latentes y de texto) para asegurar que el canal latente codifique información perceptual distinta.
2. Aprendizaje por Refuerzo (GRPO): Utiliza la Optimización de Política Relativa de Grupo para refinar las decisiones de compilación del Compilador de Memoria basándose en recompensas binarias de éxito de la tarea, permitiendo que el modelo explore estrategias más allá de la distribución de SFT.

Contribuciones Clave

• Cambio de Paradigma: Introduce SCMC, reemplazando la inyección estática con una compilación dinámica y paso a paso condicionada a un Estado Breve estructurado.
• Entrega de Memoria Multimodal: Propone Soft-Mem, un mecanismo de doble canal que elude el cuello de botella del texto para entregar conocimiento perceptual latente directamente al ejecutor.
• Compilación Consciente del Estado: Demuestra que un compilador ligero puede filtrar y formatear la memoria de manera efectiva, permitiendo que modelos más pequeños realicen tareas complejas sin la dilución de la atención causada por el contexto estático.

Resultados Experimentales

El método se evaluó en AlfWorld, EmbodiedBench (EB-ALFRED, EB-Habitat) y ScienceWorld a través de cuatro backbones de código abierto (serie Qwen) y dos backbones de código cerrado (GPT-5.2, Gemini-3-flash).

• Mejoras de Rendimiento: MemCompiler mejoró consistentemente el rendimiento sobre la línea base sin memoria en todos los ejecutores de código abierto. Las ganancias alcanzaron +110% en EB-ALFRED y +129% en ScienceWorld.
• Robustez vs. AMMI: Mientras que las líneas base de AMMI degradaron frecuentemente el rendimiento en modelos de código abierto más pequeños (por ejemplo, -83.3% en Qwen-2.5-VL-32B), MemCompiler fue el único método que mejoró cada backbone de código abierto.
• Cierre de la Brecha: MemCompiler permitió que modelos de código abierto de tamaño medio se acercaran o igualaran a sistemas fronterizos de código cerrado. Por ejemplo, Qwen-3.5-27B + MemCompiler igualó a Gemini-3-flash en Alf World y superó a GPT-5.2 en EB-Habitat.
• Eficiencia: Al reducir los tokens de entrada del ejecutor en un 60% y cortar la latencia por paso de 0.30s a 0.12s, MemCompiler demostró que la compilación consciente del estado mejora tanto la efectividad como la eficiencia.
• Ablación: Eliminar el Estado Breve o el canal Soft-Mem causó caídas significativas en el rendimiento, confirmando que tanto la condicionamiento al estado como la entrega perceptual latente son críticos.

Significado

El artículo concluye que el progreso en la memoria para agentes encarnados depende cada vez más de cuándo y cómo se entrega la memoria, en lugar de únicamente de qué se almacena. Al reformular la utilización de la memoria como un proceso de compilación condicionado al estado evolutivo del agente, MemCompiler aborda la desalineación fundamental de la inyección estática, permitiendo que los agentes encarnados ligeros aprovechen la experiencia acumulada de manera efectiva sin sufrir dilución de la atención.