🤖 AI

Executable Agentic Memory for GUI Agent

Este artículo presenta la Memoria Agente Ejecutable (EAM), un marco estructurado basado en Grafos de Conocimiento que reemplaza las interacciones frágiles y paso a paso con LLMs mediante un proceso robusto de recuperación y ejecución que utiliza búsqueda en grafos guiada por valores, logrando así un rendimiento superior, menores costos y una latencia reducida en tareas de automatización de GUI de horizonte largo.

Autores originales: Zerui Qin, Sheng Yue, Xingyuan Hua, Yongjian Fu, Ju Ren

Publicado 2026-05-13

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zerui Qin, Sheng Yue, Xingyuan Hua, Yongjian Fu, Ju Ren

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Problema: El Robot "Amnésico"

Imagina que contratas a un robot para que te ayude a usar tu teléfono inteligente. Cada vez que el robot mira una pantalla nueva (como abrir un menú de configuración), tiene que olvidar todo lo que acaba de hacer, volver a leer la pantalla desde cero y adivinar qué hacer a continuación.

Así es como funcionan la mayoría de los agentes de IA actuales. Son como turistas amnésicos en una ciudad gigante y confusa.

Ven una señal de la calle (la pantalla).
Adivinan hacia dónde ir.
Dan un paso.
Luego, ven una nueva señal de la calle, olvidan la anterior y vuelven a adivinar.

Si cometen un pequeño error al principio, se pierden. Podrían deambular por un callejón sin salida (una pantalla de aplicación incorrecta) y seguir adivinando, desperdiciando tiempo y dinero. Esto se llama un sistema "frágil", especialmente para tareas largas como "Activar Bluetooth, luego encontrar una foto específica y luego enviarla por correo".

La Solución: EAM (El "Mapa Vivo")

Los autores proponen un nuevo sistema llamado Memoria Agente Ejecutable (EAM). En lugar de adivinar cada paso, el robot construye un mapa estructurado y vivo de la interfaz del teléfono.

Piensa en EAM no como una lista de notas de texto, sino como un gigantesco mapa de metro interactivo.

Las Estaciones: Son las diferentes pantallas de tu teléfono.
Las Vías: Son los botones y acciones en los que puedes hacer clic.
Las Conexiones: El mapa sabe exactamente qué botón lleva a qué pantalla.

Una vez construido este mapa, el robot no necesita "adivinar" qué sucede cuando hace clic en un botón. Solo mira el mapa, ve la vía y la sigue.

Cómo Construyen el Mapa (Fase Offline)

Antes de que el robot pueda usar el mapa, alguien tiene que dibujarlo. El artículo describe una forma inteligente de hacerlo sin perder tiempo:

El Explorador (DFS): Imagina a un explorador muy organizado enviado a las aplicaciones del teléfono. En lugar de vagar aleatoriamente, utiliza una estrategia de "Búsqueda en Profundidad" (Depth-First Search). Avanza por un camino tan lejos como pueda, marca los callejones sin salida y luego retrocede para probar el siguiente camino. Esto asegura que encuentren cada ruta posible sin quedarse atrapados en bucles.
El Condensador (Minería de Grupos de Acciones): A veces, una tarea requiere hacer clic en cinco botones seguidos (por ejemplo, "Abrir Configuración" -> "Red" -> "Wi-Fi" -> "Escanear"). Hacer esto uno por uno es lento. El sistema busca estos patrones frecuentes y los pega juntos en un solo "Super Botón" (como un tren expreso de metro). Esto hace que el mapa sea mucho más pequeño y rápido de navegar.

Cómo el Robot Usa el Mapa (Fase Online)

Cuando le das una tarea al robot (por ejemplo, "Activar Wi-Fi"), no solo adivina. Utiliza un Navegador GPS para encontrar la mejor ruta en el mapa.

El GPS (Modelo Q): El robot tiene un pequeño cerebro inteligente (un modelo de IA ligero) que actúa como un GPS. Mira el mapa y dice: "Si tomo esta vía, hay un 90% de probabilidad de que llegue a la meta. Si tomo esa otra, solo hay un 10% de probabilidad".
La Búsqueda (MCTS): El robot simula algunas rutas posibles en su cabeza (como revisar el tráfico en Google Maps) para elegir el camino absolutamente mejor.
La Ejecución: Una vez elegido el camino, el robot ejecuta los pasos. Como el camino proviene de un mapa verificado, se garantiza que sea válido. No hará clic accidentalmente en un botón que no existe o que lleve a una pantalla rota.

Por Qué Esto Es Importante

El artículo afirma que este enfoque resuelve tres problemas principales:

Fiabilidad: Como el robot sigue un mapa preverificado, no se pierde ni alucina (inventa cosas). Es como seguir un mapa de metro frente a pedirle direcciones a un extraño que podría estar adivinando.
Velocidad: El robot es mucho más rápido. En lugar de pedirle a una IA gigante y lenta (como GPT-4) que piense en cada paso individual, utiliza una IA pequeña y rápida para leer el mapa. El artículo dice que es 6 veces más barato en términos de costos de computación y tarda solo 2.8 segundos por paso.
Tareas Largas: Puede manejar tareas largas y complicadas sin olvidar dónde comenzó. El mapa mantiene todo el viaje a la vista.

Los Resultados

Los investigadores probaron esto en tareas reales de teléfonos Android.

Tasa de Éxito: Su sistema superó a los mejores modelos de IA actuales (como UI-TARS-7B) por un margen significativo (hasta un 19.6% mejor).
Eficiencia: Utilizó muchos menos recursos informáticos (tokens) que los grandes modelos basados en la nube.

Analogía de Resumen

Antiguo Método: Un turista intentando cruzar una ciudad preguntándole a un extraño diferente por direcciones en cada intersección. Se cansan, se confunden y a menudo terminan en el vecindario equivocado.
Método EAM: Un turista con un mapa de metro perfecto, pre-dibujado y un GPS inteligente. Saben exactamente qué tren tomar, en qué parada bajarse y nunca se pierden. Llegan a su destino rápidamente, de forma económica y fiable.

El artículo concluye que al tratar la interfaz del teléfono como una máquina estructurada (el mapa) en lugar de una serie de imágenes aleatorias que deben adivinarse, podemos hacer que los agentes de IA sean mucho más fiables y eficientes para la automatización a largo plazo.

Resumen Técnico: Memoria Ejecutable Agente para Agentes de GUI

1. Enunciado del Problema

Los agentes de GUI modernos, típicamente impulsados por Modelos de Lenguaje Grande (LLM), operan bajo un paradigma de interacción centrado en el modelo y paso a paso. En este paradigma, un LLM debe re-interpretar la Interfaz de Usuario (UI) y re-decidir acciones en cada pantalla. Este enfoque es inherentemente frágil para tareas de horizonte largo porque pequeños errores perceptivos o de razonamiento se acumulan, lo que lleva a acciones alucinatorias y desvíos incorrectos. Además, mantener el progreso de la tarea dentro de la ventana de contexto es ineficiente, y la dependencia de la generación repetida introduce alta latencia y costos de tokens.

Los intentos existentes para mejorar la robustez inyectando conocimiento externo (por ejemplo, patrones de flujo de trabajo o bases de datos vectoriales) a menudo siguen siendo poco fiables. Estos métodos dependen típicamente de la comprensión contextual del LLM para razonar sobre el texto recuperado, fallando en aprovechar la información estructurada inherente de las trayectorias históricas. En consecuencia, luchan por reproducir rutas ejecutables de manera fiable e incurren en costos sustanciales debido a la generación y recuperación repetidas paso a paso.

2. Metodología

El artículo propone Memoria Ejecutable Agente (EAM), un marco que desplaza la planificación de GUI de la generación libre a un proceso robusto de recuperación y ejecución basado en un Grafo de Conocimiento (KG) estructurado. El sistema consta de dos fases principales:

A. Construcción Offline del Grafo de Conocimiento

El objetivo es construir una representación persistente y estructurada de la lógica de interacción del entorno ( $G = (S, A, E)$ ), donde $S$ representa estados de GUI, $A$ representa acciones y $E$ representa transiciones.

Exploración Autónoma: El sistema emplea una estrategia de Búsqueda en Profundidad (DFS) orientada a tareas y consciente del estado. Un MLLM genera sub-objetivos candidatos basados en elementos interactivos (anclas) y evalúa el progreso (Continuar, Retroceder o Completar). Esto asegura una cobertura completa de las transiciones relevantes para la tarea mientras forma naturalmente una estructura de árbol de prefijos.
Minería de Conocimiento Consciente de Transiciones: Las trayectorias recopiladas se fusionan en un Grafo Acíclico Dirigido (DAG). Un mecanismo de filtrado de doble capa (similitud de incrustación seguido de verificación por Modelo de Visión-Lenguaje) maneja la deduplicación de estados. Los atributos semánticos (descripciones de páginas y funciones de acción) se extraen de las transiciones de estado para enriquecer el grafo.
Minería de Grupos de Acción: Para comprimir rutinas de múltiples pasos, los autores proponen un enfoque estadístico inspirado en la Codificación de Pares de Bytes (BPE). Los pares de acciones adyacentes frecuentes se fusionan iterativamente en nuevos nodos de "grupo de acción", transformando el KG de operaciones atómicas a una jerarquía de habilidades de alto nivel reutilizables.

B. Razonamiento Aumentado con Conocimiento Online

Dada una instrucción de usuario, el agente extrae una ruta ejecutable del KG utilizando una Búsqueda en Árbol de Monte Carlo (MCTS) Guiada por Valor.

MCTS Guiado por Modelo Q: A diferencia de los agentes generativos que mapean tokens al grafo, este agente opera directamente sobre la topología del grafo. Un modelo de función Q ligero ( $Q_\theta$ ) predice la probabilidad de éxito de la tarea para pares estado-acción. El algoritmo MCTS utiliza este modelo Q para inicializar los valores de los nodos y guiar la búsqueda mediante el criterio UCT, seleccionando rutas de alta recompensa del espacio de acciones restringido.
Pipeline de Auto-entrenamiento: El modelo Q se refina mediante un proceso iterativo:
- Inicialización: Entrenado mediante aprendizaje de preferencias sobre trayectorias expertas utilizando una pérdida de clasificación Bradley-Terry para establecer clasificaciones de acción iniciales.
- Refinamiento Iterativo: El agente ejecuta MCTS guiado por el modelo Q actual para generar árboles de búsqueda. Los valores Q objetivo se calculan mediante respaldos de Bellman de abajo hacia arriba (promediando sobre políticas aleatorias uniformes). Luego, el modelo se actualiza utilizando pérdida de entropía cruzada binaria con estas etiquetas suaves, mejorando progresivamente su capacidad para distinguir rutas prometedoras.

3. Contribuciones Teóricas

El artículo proporciona garantías teóricas para el marco propuesto:

Consistencia de Sesgo: Los autores establecen que el modelo Q aprendido es consistente en sesgo con la función de valor de referencia ( $Q_{\pi_u}$ ) en el conjunto crítico de estados-acciones requeridos para la recuperación óptima de la ruta. El límite de error disminuye a medida que aumenta el número de muestras de entrenamiento.
Complejidad de Muestra: Se deriva un límite de complejidad de muestra finita para el proceso MCTS. El análisis muestra que el número de simulaciones requeridas para recuperar la ruta óptima escala polinomialmente con el horizonte y el factor de ramificación, e inversamente con la brecha de acción efectiva al cuadrado. Crucialmente, a medida que el modelo Q mejora (reduciendo el sesgo), se necesitan menos simulaciones MCTS.

4. Resultados Experimentales

El método fue evaluado en tres puntos de referencia: AndroidWorld, MobileMiniWob++ y DroidTask.

Rendimiento: EAM supera significativamente a las líneas base más avanzadas. En AndroidWorld, logra una tasa de éxito del 52.6%, superando a UI-TARS-7B (SOTA) (33.0%) en un 19.6%. También supera a marcos basados en GPT-4o como M3A (40.5%) y logra resultados comparables a agentes más grandes y potenciados por conocimiento como AppAgentX y GUI-Explorer, a pesar de utilizar un modelo de 3B parámetros para la extracción de rutas.
Eficiencia: EAM reduce los costos de tokens en aproximadamente 6× en comparación con GPT-4o (8.3K tokens vs. 50.8K por paso) y logra una latencia promedio de 2.8 segundos. Esta eficiencia se deriva del marco "planificar-luego-ejecutar", que requiere solo una llamada a la nube para filtrar la ruta recuperada, en lugar de llamadas API iterativas para cada paso.
Estudios de Ablación:
- Auto-entrenamiento: El auto-entrenamiento iterativo mejora consistentemente las tasas de éxito en diferentes tamaños de modelo (de 0.5B a 3B).
- Grupos de Acción: Fusionar secuencias frecuentes en grupos de acción reduce significativamente la complejidad de búsqueda y la latencia.
- Generalización: Un modelo Q entrenado en un entorno (AndroidWorld) mejora el rendimiento en entornos no vistos (DroidTask, MobileMiniWob++), lo que sugiere que el modelo captura patrones de navegación de GUI transferibles.

5. Significado y Afirmaciones

El artículo afirma que EAM representa un cambio de paradigma para los agentes de GUI al tratar el Grafo de Conocimiento no meramente como una fuente de recuperación para la inyección en contexto, sino como una máquina de estados ejecutable.

Fiabilidad: Al fundamentar la toma de decisiones en un grafo estructurado de transiciones válidas, EAM garantiza que el agente se mantenga en rutas ejecutables, mitigando las alucinaciones comunes en la generación libre.
Eficiencia: La combinación de compresión de grupos de acción y búsqueda guiada por valor permite que modelos pequeños realicen tareas de horizonte largo con baja latencia y costo, cerrando la brecha de razonamiento entre modelos de lenguaje pequeños y LLMs de vanguardia.
Escalabilidad: Las garantías teóricas y los resultados empíricos sugieren que este enfoque es escalable y robusto, ofreciendo un camino viable hacia la automatización de GUI confiable y en tiempo real sin los costos prohibitivos de los métodos actuales de generación paso a paso basados en la nube.

Los autores reconocen limitaciones relacionadas con la suposición de un entorno de UI relativamente estático, señalando que actualizaciones significativas de aplicaciones pueden requerir mecanismos para la evolución incremental del grafo, lo cual sigue siendo una dirección para trabajos futuros.