🤖 AI

Executable Agentic Memory for GUI Agent

Questo articolo introduce la Memoria Agente Esecutiva (EAM), un framework strutturato basato su Knowledge Graph che sostituisce le interazioni fragili e sequenziali con gli LLM con un processo robusto di recupero ed esecuzione mediante ricerca guidata sul grafo, ottenendo così prestazioni superiori, costi inferiori e latenza ridotta nelle attività di automazione GUI a lungo orizzonte temporale.

Autori originali: Zerui Qin, Sheng Yue, Xingyuan Hua, Yongjian Fu, Ju Ren

Pubblicato 2026-05-13

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zerui Qin, Sheng Yue, Xingyuan Hua, Yongjian Fu, Ju Ren

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Problema: Il Robot "Amnesico"

Immagina di assumere un robot per aiutarti a usare il tuo smartphone. Ogni volta che il robot guarda una nuova schermata (come aprire un menu delle impostazioni), deve dimenticare tutto ciò che ha appena fatto, rileggere la schermata da capo e indovinare cosa fare dopo.

È così che funzionano la maggior parte degli agenti AI attuali. Sono come turisti amnesici in una città gigante e confusa.

Vedono un cartello stradale (la schermata).
Indovinano in che direzione andare.
Fanno un passo.
Poi, vedono un nuovo cartello stradale, dimenticano il precedente e indovinano di nuovo.

Se commettono un piccolo errore all'inizio, si perdono. Potrebbero imbattersi in un vicolo cieco (una schermata di un'app sbagliata) e continuare a indovinare, sprecando tempo e denaro. Questo è chiamato un sistema "fragile", specialmente per compiti lunghi come "Attiva il Bluetooth, poi trova una foto specifica, poi inviala via email".

La Soluzione: EAM (La "Mappa Vivente")

Gli autori propongono un nuovo sistema chiamato Executable Agentic Memory (EAM). Invece di indovinare ogni passaggio, il robot costruisce una mappa strutturata e vivente dell'interfaccia del telefono.

Pensa all'EAM non come a un elenco di note testuali, ma come a una gigantesca mappa della metropolitana interattiva.

Le Stazioni: Sono le diverse schermate del tuo telefono.
I Binari: Sono i pulsanti e le azioni su cui puoi cliccare.
Le Connessioni: La mappa sa esattamente quale pulsante porta a quale schermata.

Una volta costruita questa mappa, il robot non ha bisogno di "indovinare" cosa succede quando clicca un pulsante. Basta che guardi la mappa, veda il binario e lo segua.

Come Costruiscono la Mappa (Fase Offline)

Prima che il robot possa usare la mappa, qualcuno deve disegnarla. Il documento descrive un modo intelligente per farlo senza sprecare tempo:

L'Esploratore (DFS): Immagina un esploratore molto organizzato inviato nelle app del telefono. Invece di vagare a caso, utilizza una strategia di "Ricerca in Profondità" (Depth-First Search). Scende lungo un percorso il più possibile, segna i vicoli ciechi e poi torna indietro per provare il percorso successivo. Questo garantisce che trovino ogni possibile rotta senza rimanere intrappolati in cicli.
Il Condensatore (Action Group Mining): A volte, un compito richiede di cliccare cinque pulsanti di fila (ad esempio, "Apri Impostazioni" -> "Rete" -> "Wi-Fi" -> "Scansiona"). Fare questo uno alla volta è lento. Il sistema cerca questi schemi frequenti e li unisce in un singolo "Super Pulsante" (come un treno espresso della metropolitana). Questo rende la mappa molto più piccola e veloce da navigare.

Come il Robot Usa la Mappa (Fase Online)

Quando dai al robot un compito (ad esempio, "Attiva il Wi-Fi"), non si limita a indovinare. Usa un Navigatore GPS per trovare il percorso migliore sulla mappa.

Il GPS (Q-Model): Il robot ha un piccolo cervello intelligente (un modello AI leggero) che funge da GPS. Guarda la mappa e dice: "Se prendo questo binario, c'è il 90% di probabilità che raggiunga l'obiettivo. Se prendo quell'altro, c'è solo il 10% di probabilità".
La Ricerca (MCTS): Il robot simula alcuni percorsi possibili nella sua testa (come controllare il traffico su Google Maps) per scegliere il percorso assolutamente migliore.
L'Esecuzione: Una volta scelto il percorso, il robot esegue i passaggi. Poiché il percorso proviene da una mappa verificata, è garantito che sia valido. Non cliccherà accidentalmente un pulsante che non esiste o che porta a una schermata rotta.

Perché è una Grande Novità

Il documento afferma che questo approccio risolve tre problemi principali:

Affidabilità: Poiché il robot segue una mappa pre-verificata, non si perde né allucina (non inventa cose). È come seguire una mappa della metropolitana rispetto a chiedere indicazioni a uno sconosciuto che potrebbe indovinare.
Velocità: Il robot è molto più veloce. Invece di chiedere a un'AI gigante e lenta (come GPT-4) di pensare a ogni singolo passaggio, utilizza una piccola AI veloce per leggere la mappa. Il documento afferma che è 6 volte più economico in termini di costi di calcolo e richiede solo 2,8 secondi per passaggio.
Compiti Lunghi: Può gestire compiti lunghi e complicati senza dimenticare da dove è partito. La mappa mantiene l'intero viaggio in vista.

I Risultati

I ricercatori hanno testato questo su compiti reali di telefoni Android.

Tasso di Successo: Il loro sistema ha superato i migliori modelli AI attuali (come UI-TARS-7B) con un margine significativo (fino al 19,6% in più).
Efficienza: Ha utilizzato molte meno risorse informatiche (token) rispetto ai grandi modelli basati sul cloud.

Analogia di Sintesi

Vecchio Modo: Un turista che cerca di attraversare una città chiedendo indicazioni a uno sconosciuto diverso a ogni singolo incrocio. Si stancano, si confondono e spesso finiscono nel quartiere sbagliato.
Modo EAM: Un turista con una mappa della metropolitana perfetta e pre-disegnata e un GPS intelligente. Sanno esattamente quale treno prendere, a quale fermata scendere e non si perdono mai. Raggiungono la destinazione rapidamente, a basso costo e in modo affidabile.

Il documento conclude che trattando l'interfaccia del telefono come una macchina strutturata (la mappa) piuttosto che come una serie di immagini casuali da indovinare, possiamo rendere gli agenti AI molto più affidabili ed efficienti per l'automazione a lungo termine.

Riepilogo Tecnico: Memoria Agente Executable per Agenti GUI

1. Enunciato del Problema

Gli agenti GUI moderni, tipicamente alimentati da Modelli Linguistici su Larga Scala (LLM), operano secondo un paradigma di interazione step-wise centrato sul modello. In questo paradigma, un LLM deve reinterpretare l'Interfaccia Utente (UI) e ridecidere le azioni ad ogni schermata. Questo approccio è intrinsecamente fragile per compiti a lungo orizzonte perché piccoli errori percettivi o di ragionamento si accumulano, portando ad azioni allucinate e deviazioni errate. Inoltre, mantenere i progressi del compito all'interno della finestra di contesto è inefficiente, e la dipendenza dalla generazione ripetuta introduce elevata latenza e costi in termini di token.

I tentativi esistenti di migliorare la robustezza iniettando conoscenza esterna (ad esempio, pattern di workflow o database vettoriali) spesso rimangono inaffidabili. Questi metodi si basano tipicamente sulla comprensione contestuale dell'LLM per ragionare sul testo recuperato, fallendo nel sfruttare le informazioni strutturate intrinseche delle traiettorie storiche. Di conseguenza, faticano a riprodurre percorsi eseguibili in modo affidabile e sostengono costi sostanziali dovuti alla generazione step-wise ripetuta e al recupero.

2. Metodologia

Il documento propone Memoria Agente Executable (EAM), un framework che sposta la pianificazione GUI dalla generazione libera a un processo robusto di recupero ed esecuzione basato su una Grafica della Conoscenza (KG) strutturata. Il sistema comprende due fasi principali:

A. Costruzione Offline della Grafica della Conoscenza

L'obiettivo è costruire una rappresentazione persistente e strutturata della logica di interazione dell'ambiente ( $G = (S, A, E)$ ), dove $S$ rappresenta gli stati GUI, $A$ rappresenta le azioni ed $E$ rappresenta le transizioni.

Esplorazione Autonoma: Il sistema impiega una strategia di Ricerca in Profondità (DFS) orientata al compito e consapevole dello stato. Un MLLM genera sottobiettivi candidati basati su elementi interattivi (ancore) e valuta i progressi (Continuare, Tornare Indietro o Completare). Questo garantisce una copertura completa delle transizioni rilevanti per il compito, formando naturalmente una struttura ad albero di prefissi.
Estrazione di Conoscenza Consapevole delle Transizioni: Le traiettorie raccolte vengono fuse in un Grafo Aciclico Diretto (DAG). Un meccanismo di filtraggio a doppio livello (similarità di embedding seguito da verifica tramite Modello Linguaggio-Visione) gestisce la deduplicazione degli stati. Gli attributi semantici (descrizioni delle pagine e funzioni delle azioni) vengono estratti dalle transizioni di stato per arricchire il grafo.
Estrazione di Gruppi di Azioni: Per comprimere routine multi-step, gli autori propongono un approccio statistico ispirato alla Byte Pair Encoding (BPE). Coppie di azioni adiacenti frequenti vengono fuse iterativamente in nuovi nodi "gruppo di azioni", trasformando la KG da operazioni atomiche a una gerarchia di abilità di alto livello riutilizzabili.

B. Ragionamento Online Potenziato dalla Conoscenza

Data un'istruzione utente, l'agente estrae un percorso eseguibile dalla KG utilizzando una Ricerca ad Albero Monte Carlo (MCTS) Guidata dal Valore.

MCTS Guidata dal Modello Q: A differenza degli agenti generativi che mappano i token sul grafo, questo agente opera direttamente sulla topologia del grafo. Un modello di funzione Q leggero ( $Q_\theta$ ) predice la probabilità di successo del compito per le coppie stato-azione. L'algoritmo MCTS utilizza questo modello Q per inizializzare i valori dei nodi e guidare la ricerca tramite il criterio UCT, selezionando percorsi ad alto reward dallo spazio delle azioni vincolato.
Pipeline di Auto-Addestramento: Il modello Q viene raffinato attraverso un processo iterativo:
- Inizializzazione: Addestrato tramite apprendimento delle preferenze su traiettorie esperte utilizzando una perdita di ordinamento Bradley-Terry per stabilire classificazioni iniziali delle azioni.
- Raffinamento Iterativo: L'agente esegue MCTS guidato dal modello Q corrente per generare alberi di ricerca. I valori Q target sono calcolati tramite backup di Bellman dal basso verso l'alto (mediando su politiche casuali uniformi). Il modello viene quindi aggiornato utilizzando la perdita di entropia incrociata binaria con queste etichette soft, migliorando progressivamente la sua capacità di distinguere percorsi promettenti.

3. Contributi Teorici

Il documento fornisce garanzie teoriche per il framework proposto:

Coerenza del Bias: Gli autori stabiliscono che il modello Q appreso è coerente nel bias con la funzione di valore di riferimento ( $Q_{\pi_u}$ ) sull'insieme critico di stati-azioni richiesto per il recupero ottimale del percorso. Il limite di errore diminuisce all'aumentare del numero di campioni di addestramento.
Complessità Campionaria: Viene derivato un limite di complessità campionaria finita per il processo MCTS. L'analisi mostra che il numero di simulazioni necessarie per recuperare il percorso ottimale scala polinomialmente con l'orizzonte e il fattore di diramazione, e inversamente con il quadrato del divario efficace delle azioni. Crucialmente, man mano che il modello Q migliora (riducendo il bias), sono necessarie meno simulazioni MCTS.

4. Risultati Sperimentali

Il metodo è stato valutato su tre benchmark: AndroidWorld, MobileMiniWob++ e DroidTask.

Prestazioni: EAM supera significativamente le linee di base dello stato dell'arte. Su AndroidWorld, raggiunge un tasso di successo del 52.6%, superando UI-TARS-7B (33.0%) dello stato dell'arte del 19.6%. Supera anche framework basati su GPT-4o come M3A (40.5%) e ottiene risultati paragonabili ad agenti più grandi potenziati dalla conoscenza come AppAgentX e GUI-Explorer, nonostante utilizzi un modello più piccolo da 3B parametri per l'estrazione del percorso.
Efficienza: EAM riduce i costi in token di circa 6 volte rispetto a GPT-4o (8.3K token contro 50.8K per passo) e raggiunge una latenza media di 2.8 secondi. Questa efficienza deriva dal framework "pianifica-poi-esegui", che richiede una singola chiamata cloud per filtrare il percorso recuperato, invece di chiamate API iterative per ogni passo.
Studi di Ablazione:
- Auto-Addestramento: L'auto-addestramento iterativo migliora costantemente i tassi di successo attraverso diverse dimensioni del modello (da 0.5B a 3B).
- Gruppi di Azioni: La fusione di sequenze frequenti in gruppi di azioni riduce significativamente la complessità della ricerca e la latenza.
- Generalizzazione: Un modello Q addestrato su un ambiente (AndroidWorld) migliora le prestazioni su ambienti non visti (DroidTask, MobileMiniWob++), suggerendo che il modello cattura pattern di navigazione GUI trasferibili.

5. Significato e Affermazioni

Il documento afferma che EAM rappresenta un cambiamento di paradigma per gli agenti GUI trattando la Grafica della Conoscenza non semplicemente come una fonte di recupero per l'iniezione nel contesto, ma come una macchina a stati eseguibile.

Affidabilità: Ancorando il processo decisionale a un grafo strutturato di transizioni valide, EAM garantisce che l'agente rimanga su percorsi eseguibili, mitigando le allucinazioni comuni nella generazione libera.
Efficienza: La combinazione della compressione dei gruppi di azioni e della ricerca guidata dal valore permette a modelli piccoli di eseguire compiti a lungo orizzonte con bassa latenza e costo, colmando il divario di ragionamento tra piccoli modelli linguistici e LLM all'avanguardia.
Scalabilità: Le garanzie teoriche e i risultati empirici suggeriscono che questo approccio è scalabile e robusto, offrendo una via praticabile verso l'automazione GUI affidabile e in tempo reale senza i costi proibitivi dei metodi attuali di generazione step-wise basati su cloud.

Gli autori riconoscono le limitazioni relative all'assunzione di un ambiente UI relativamente statico, notando che aggiornamenti significativi delle app potrebbero richiedere meccanismi per l'evoluzione incrementale del grafo, che rimane una direzione per lavori futuri.