Resumen Técnico: Mem-W: Agentes de GUI Nativos de Memoria Latente

Declaración del Problema

Los agentes de Interfaz Gráfica de Usuario (GUI) tienen cada vez más la tarea de operar entornos complejos y de largo horizonte en plataformas web, móviles y de escritorio. El control exitoso en estos entornos requiere que el agente retenga evidencia visual, procedimental y a nivel de tarea que se extiende mucho más allá de la pantalla inmediata. Sin embargo, los enfoques actuales tratan la memoria como un artefacto externo y legible por humanos. Los sistemas existentes suelen resumir, categorizar y recuperar historiales de interacción como texto o registros estructurados (por ejemplo, grafos, listas o estados en capas) antes de volver a codificarlos en la política del modelo.

Esto crea una disparidad representacional fundamental: la experiencia se almacena en un formato simbólico (texto/registros estructurados) que difiere de la secuencia continua de incrustaciones latentes sobre la que operan realmente los Modelos Visuales-Lingüísticos (VLM) modernos. Esto obliga a una traducción repetida entre formatos y fuerza a los diseñadores a predefinir ontologías de memoria (categorías, formatos de representación y reglas de interfaz) que pueden no alinearse con las necesidades estructurales específicas de las tareas aguas abajo. Los autores postulan que este paradigma "primero la ontología" limita la capacidad del agente para aprender orgánicamente qué información es relevante para el éxito de la tarea.

Metodología: Mem-W

El artículo introduce Mem-W, una serie de agentes de GUI nativos de memoria latente diseñados para eliminar la brecha entre el almacenamiento de memoria y la ejecución de la política. En lugar de andamios simbólicos externos, Mem-W trata la memoria como una parte continua del contexto del agente, tejida directamente en el espacio de incrustaciones.

Arquitectura Central

1. Espacio Latente Unificado: Mem-W unifica dos escalas de memoria distintas en un único espacio aprendible:
   • Memoria Experiencial: Trayectorias históricas de largo horizonte y entre sesiones recuperadas de un banco externo.
   • Memoria de Trabajo: Historial de corto horizonte y dentro de la sesión (el "prefijo expirado" del episodio actual).
2. Compresor de Trayectoria a Latente ($C_\phi$): Un compresor compartido y ligero (implementado como un transformador basado en consultas siguiendo el diseño Q-Former) mapea segmentos de observación-acción de longitud variable en bloques latentes de tamaño fijo ($K \times d$).
   • Procesa tanto las trayectorias históricas recuperadas como el prefijo expirado del episodio actual.
   • Incorpora una incrustación de resultado ($\gamma(y)$) que codifica si una trayectoria resultó en éxito o fracaso, permitiendo al agente distinguir la polaridad procedimental sin reglas de filtrado explícitas.
   • Para la memoria de trabajo en línea donde el resultado es desconocido, se utiliza un marcador especial de "desconocido".
3. Tejido de Doble Escala: Durante la inferencia, los tokens de memoria comprimida se tejen con la observación actual de la GUI y el contexto local en una única secuencia continua de incrustaciones. La política del agente de GUI congelada ($\Pi_\theta$) atiende entonces a esta secuencia unificada como contexto nativo, en lugar de como notas externas.

Estrategia de Entrenamiento

Mem-W emplea un procedimiento de entrenamiento en dos etapas para optimizar los parámetros del compresor ($\phi$) manteniendo congelado el agente de GUI base ($\Pi_\theta$):

1. Etapa 1: Auto-distilación: El compresor aprende a reemplazar el contexto histórico crudo. Un agente "profesor" observa una ventana cruda extendida de historia, mientras que un agente "estudiante" observa la entrada aumentada con latentes. El objetivo minimiza la divergencia entre las distribuciones de acción del profesor y del estudiante, forzando a los tokens latentes a capturar el estado relevante para la toma de decisiones.
2. Etapa 2: Supervisión Consciente del Resultado: El sistema optimiza el compresor utilizando retroalimentación del entorno (recompensas terminales). Utilizando un objetivo de gradiente de política (específicamente basado en RLOO), el compresor aprende a codificar evidencia que conduce al éxito de la tarea y filtrar patrones que inducen al fracaso, guiado por las incrustaciones de resultado.

Contribuciones Clave

• Formulación Unificada: El artículo reinterpreta la intrincada jerarquía de la memoria de GUI como un problema único de representación latente. Argumenta que la memoria de trabajo y la memoria experiencial pueden fundamentarse compactamente en un espacio aprendible donde la estructura relevante para la tarea emerge mediante optimización de extremo a extremo, eliminando la necesidad de taxonomías prescritas.
• Instanciación Aprendible: Mem-W proporciona una implementación concreta utilizando un compresor compartido de trayectoria a latente. Esto permite que tanto los datos históricos recuperados como los prefijos de episodios en línea se proyecten en un espacio latente unificado, entrenado mediante auto-distilación y supervisión consciente del resultado.
• Evidencia Empírica: Experimentos extensivos demuestran que este enfoque mejora consistentemente diversos modelos base y supera a los agentes equipados con arquitecturas de memoria diseñadas manualmente.

Resultados Experimentales

Mem-W se evaluó en cuatro puntos de referencia: Multimodal-Mind2Web, MMInA (navegación web), GUI-Odyssey y AndroidControl-v2 (navegación móvil).

• Mejoras de Rendimiento: Mem-W mejoró consistentemente el rendimiento en todos los modelos base probados (incluidos UI-TARS, Qwen3-VL y UI-Venus).
  • En MMInA, Mem-W logró ganancias de hasta +30.0 puntos porcentuales sobre los modelos base (por ejemplo, UI-Venus-1.5-8B mejoró del 18.5% al 48.5%).
  • En Multimodal-Mind2Web, las mejoras oscilaron entre +8.83 y +20.58 puntos dependiendo del modelo base y el subconjunto de tareas.
  • En AndroidControl-v2, Mem-W-8B alcanzó una puntuación Pass@4 de 81.16, superando a modelos propietarios como GPT-5+UGround y a bases de código abierto más grandes.
• Comparación con Agentes Aumentados con Memoria: Mem-W superó a los agentes aumentados con memoria existentes (por ejemplo, ReasoningBank, AWM, CoMEM, HyMEM). Los autores atribuyen esto a la capacidad de Mem-W para destilar dinámicamente trayectorias en resúmenes latentes compactos y relevantes para la toma de decisiones, y a su uso de supervisión consciente del resultado, mientras que los competidores a menudo dependen de truncamientos gruesos o imitación de trayectorias expertas sin condicionamiento explícito de éxito/fracaso.
• Eficiencia: A pesar del paso adicional de compresión, Mem-W mantuvo una compensación favorable entre precisión y eficiencia, a menudo reduciendo el número de pasos necesarios para completar tareas y disminuyendo la tasa de alcanzar los límites máximos de pasos en comparación con las bases.
• Escalabilidad: El rendimiento escaló positivamente con el tamaño del banco de memoria externo (hasta 50K trayectorias) y el número de trayectorias recuperadas, lo que indica que el sistema explota eficazmente reservorios más grandes de experiencia.

Significado y Afirmaciones

El artículo afirma que la memoria nativa del contexto latente sirve como una base escalable para la agencia de GUI de largo horizonte. Al tratar la memoria como un sustrato continuo en lugar de un andamio simbólico externo, Mem-W permite que el agente "lea" éxitos, fracasos y progreso incompleto a través de la misma interfaz nativa de máquina utilizada para las observaciones actuales.

Los autores concluyen que el cuello de botella en la agencia de GUI de largo horizonte no es simplemente la escala del modelo, sino cómo se representa y expone el historial de interacción y la experiencia previa a la política. Mem-W demuestra que una interfaz latente unificada y aprendible de extremo a extremo puede reemplazar las jerarquías de memoria prescritas, permitiendo que las estructuras de memoria relevantes para la tarea surjan naturalmente del entrenamiento. Esta perspectiva sugiere un camino hacia agentes multimodales interactivos cuya competencia se basa en interfaces de contexto latente aprendidas en lugar de módulos de memoria diseñados manualmente.