🤖 machine learning

Mem-W: Latent Memory-Native GUI Agents

Mem-W introduce una nuova classe di agenti GUI che integrano la memoria storica e quella operativa direttamente nel contesto latente del modello come token compatti, eliminando la discrepanza tra memoria simbolica esterna e rappresentazioni interne per migliorare significativamente le prestazioni in compiti a lungo orizzonte su benchmark web e mobili.

Autori originali: Guibin Zhang, Yaohui Ling, Fanci Meng, Kun Wang, Shuicheng Yan

Pubblicato 2026-05-12

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Guibin Zhang, Yaohui Ling, Fanci Meng, Kun Wang, Shuicheng Yan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Grande Problema: Il "Quaderno" contro il "Cervello"

Immagina di dover insegnare a un robot a navigare in un mondo complesso di videogiochi (come un sito web o un'app per telefono). Il robot deve ricordare cose: "Ho premuto il pulsante sbagliato tre schermate fa" oppure "Ho visto un menu che assomigliava a questo in un gioco precedente".

Il Vecchio Modo (Il Quaderno):
La maggior parte degli agenti AI attuali funziona come uno studente con un quaderno fisico. Quando devono ricordare qualcosa, si fermano, scrivono un riassunto sul quaderno (ad esempio, "L'utente voleva comprare delle scarpe, ma il carrello era vuoto"), lo rileggono e poi cercano di usare quel testo per decidere cosa fare dopo.

Il Difetto: È come tradurre un pensiero dall'inglese al francese, scriverlo, tradurlo di nuovo in inglese e poi pensarci. È lento, goffo e potresti perdere le sfumature della sensazione originale. Il robot sta costantemente traducendo la propria storia in "note leggibili dall'uomo" prima di poterle utilizzare.

La Soluzione Mem-W (Il Cervello):
Gli autori di questo paper, Mem-W, dicono: "Perché tradurre affatto?"
Invece di scrivere note, Mem-W trasforma l'intera storia del robot in segnali elettrici grezzi e continui (chiamati "token latenti") che si inseriscono direttamente nel cervello del robot. È come se il robot non avesse bisogno di un quaderno; semplicemente sente il ricordo come parte del suo attuale processo di pensiero.

Come Funziona Mem-W: Il "Tessitore di Memorie"

Immagina Mem-W come un maestro tessitore che prende due tipi diversi di filo e li fila in un unico tessuto senza cuciture che il robot può indossare.

1. I Due Tipi di Filo

Il robot ha bisogno di due tipi di memoria:

Memoria di Lavoro (Il Filo "Adesso"): È ciò che è accaduto negli ultimi secondi del compito corrente. (Ad esempio: "Ho appena fatto scorrere la pagina verso il basso e ho visto un pulsante rosso.")
Memoria Esperienziale (Il Filo "Esperienza Passata"): È ciò che è accaduto in altri compiti che il robot ha svolto prima. (Ad esempio: "L'ultima volta che ho visto un pulsante rosso, era un pulsante 'Elimina', quindi dovrei stare attento.")

2. Il Compressore Magico (La "Ruota Filatrice")

In passato, questi due fili erano tenuti in scatole separate. Mem-W introduce un Compressore.

Immagina una macchina che prende un video lungo e disordinato di un compito e lo riduce in un minuscolo e denso "chip di memoria".
Non riassume il video in testo; trasforma il video in un segnale compresso che il cervello del robot può comprendere istantaneamente.
Fondamentalmente, comprime sia il filo "Adesso" sia il filo "Esperienza Passata" usando la stessa macchina. Questo significa che parlano la stessa lingua.

3. La Tessitura (Il "Tessuto Senza Cuciture")

Una volta che i fili sono stati compressi in questi minuscoli chip, Mem-W li intreccia con la visione attuale del robot dello schermo.

Risultato: Il robot guarda lo schermo e vede un unico flusso continuo di informazioni. Non vede "Schermo Corrente" + "Vecchie Note". Vede "Schermo Corrente + Lezioni Passate + Progresso Corrente" tutti mescolati in un unico pensiero fluido.

Come Impara: "Imparare Facendo"

Il paper descrive un processo di formazione in due fasi per insegnare a questo tessitore come lavorare:

Fase 1: L'Insegnante "Ombra" (Auto-distillazione)
- Al robot viene mostrato un video lungo e perfetto di un umano che esegue un compito.
- Il robot cerca di copiare l'umano utilizzando solo i chip di memoria compressi.
- Se il robot commette un errore, impara a regolare la "compressione" in modo che i dettagli più importanti (come "non premere il pulsante rosso") siano preservati nel minuscolo chip. È come uno studente che cerca di memorizzare un intero libro ricordando solo i punti chiave della trama, per poi verificare se ha capito bene la storia.
Fase 2: Il Coach "Risultato" (Supervisione Consapevole del Risultato)
- Ora, il robot cerca di risolvere compiti da solo.
- Se riesce, il sistema dice: "Ottimo! Mantieni quei chip di memoria esattamente così come sono".
- Se fallisce, il sistema dice: "Male! Quei chip di memoria non ti hanno aiutato a evitare la trappola. Cambiali".
- Questo insegna al robot a ricordare specificamente ciò che porta al successo e ciò che porta al fallimento, filtrando il rumore di fondo.

I Risultati: Perché È Importante

Il paper ha testato Mem-W su quattro diversi "mondi" (siti web e app mobili). Ecco cosa è successo:

È Più Veloce e Più Intelligente: Saltando il passaggio della "traduzione in testo", il robot ha commesso meno errori e ha completato i compiti più spesso.
Funziona Anche su Cervelli Piccoli: Anche quando hanno utilizzato un modello AI più piccolo e meno potente, l'aggiunta di Mem-W ha permesso di ottenere prestazioni pari (o migliori) rispetto a modelli molto più grandi privi di questo sistema di memoria.
Il "Punto Dolce": Hanno scoperto che recuperare circa 5 esperienze passate e comprimere la storia corrente era l'equilibrio perfetto. Troppa memoria lo rallentava; troppo poca lo rendeva disattento.

La Conclusione

Mem-W è un nuovo modo per gli agenti AI di ricordare. Invece di tenere un diario di ciò che hanno fatto, trasformano l'intera loro storia in una lingua nativa che il loro cervello parla fluentemente. Questo permette loro di imparare dagli errori passati e dai progressi attuali simultaneamente, rendendoli molto più abili nel navigare mondi digitali complessi come Internet e gli smartphone.

In sintesi: Mem-W smette di far scrivere all'AI un diario e inizia a lasciarla sognare nella sua propria lingua nativa.

Riepilogo Tecnico: Mem-W: Agenti GUI Nativi della Memoria Latente

Enunciato del Problema

Gli agenti per le Interfacce Grafiche Utente (GUI) sono sempre più chiamati a operare in ambienti complessi e a lungo termine su piattaforme web, mobile e desktop. Un controllo efficace in questi contesti richiede che l'agente mantenga evidenze visive, procedurali e a livello di compito che si estendono ben oltre lo schermo immediato. Tuttavia, gli approcci attuali trattano la memoria come un artefatto esterno e leggibile dall'uomo. I sistemi esistenti tipicamente riassumono, categorizzano e recuperano gli storici delle interazioni come testo o record strutturati (ad esempio, grafi, elenchi o stati stratificati) prima di ricodificarli nella politica del modello.

Ciò crea una fondamentale incompatibilità rappresentazionale: l'esperienza viene archiviata in un formato simbolico (testo/record strutturati) che differisce dalla sequenza continua di embedding latenti su cui operano effettivamente i moderni Modelli Vision-Language (VLM). Ciò rende necessaria una traduzione ripetuta tra formati e costringe i progettisti a predefinire ontologie della memoria (categorie, formati di rappresentazione e regole di interfaccia) che potrebbero non allinearsi con le specifiche esigenze strutturali dei compiti a valle. Gli autori ipotizzano che questo paradigma "ontologia-prima" limiti la capacità dell'agente di apprendere organicamente quali informazioni siano rilevanti per il successo del compito.

Metodologia: Mem-W

Il documento introduce Mem-W, una serie di agenti GUI nativi della memoria latente progettati per eliminare il divario tra archiviazione della memoria ed esecuzione della politica. Invece di impalcature simboliche esterne, Mem-W tratta la memoria come parte continua del contesto dell'agente, intrecciata direttamente nello spazio degli embedding.

Architettura Principale

Spazio Latente Unificato: Mem-W unifica due scale di memoria distinte in un unico spazio apprendibile:
- Memoria Esperienziale: Traiettorie storiche a lungo termine e tra sessioni recuperate da un archivio esterno.
- Memoria di Lavoro: Storico a breve termine e all'interno della sessione (il "prefisso scaduto" dell'episodio corrente).
Compressore Traiettoria-a-Latente ( $C_\phi$ ): Un compressore condiviso e leggero (implementato come un transformer basato su query seguendo il design Q-Former) mappa segmenti di osservazione-azione a lunghezza variabile in blocchi latenti a dimensione fissa ( $K \times d$ $K \times d$ ).
- Elabora sia le traiettorie storiche recuperate sia il prefisso scaduto dell'episodio corrente.
- Incorpora un embedding dell'esito ( $\gamma(y)$ ) che codifica se una traiettoria ha portato a successo o fallimento, permettendo all'agente di distinguere la polarità procedurale senza regole di filtraggio esplicite.
- Per la memoria di lavoro online in cui l'esito è sconosciuto, viene utilizzato un apposito marcatore "sconosciuto".
Intreccio a Doppia Scala: Durante l'inferenza, i token di memoria compressi vengono intrecciati con l'osservazione GUI corrente e il contesto locale in un'unica sequenza continua di embedding. La politica dell'agente GUI congelata ( $\Pi_\theta$ ) presta quindi attenzione a questa sequenza unificata come contesto nativo, piuttosto che come note esterne.

Strategia di Addestramento

Mem-W impiega una procedura di addestramento in due fasi per ottimizzare i parametri del compressore ( $\phi$ ) mantenendo congelato l'agente GUI di base ( $\Pi_\theta$ ):

Fase 1: Auto-distillazione: Il compressore impara a sostituire il contesto storico grezzo. Un agente "insegnante" osserva una finestra estesa grezza di storia, mentre un agente "studente" osserva l'input aumentato latente. L'obiettivo minimizza la divergenza tra le distribuzioni di azione dell'insegnante e dello studente, costringendo i token latenti a catturare lo stato rilevante per le decisioni.
Fase 2: Supervisione Consapevole dell'Esito: Il sistema ottimizza il compressore utilizzando feedback dall'ambiente (ricompense terminali). Utilizzando un obiettivo basato sul gradiente della politica (nello specifico basato su RLOO), il compressore impara a codificare prove che portano al successo del compito e a filtrare i pattern che inducono fallimento, guidato dagli embedding dell'esito.

Contributi Chiave

Formulazione Unificata: Il documento ripropone la complessa gerarchia della memoria GUI come un unico problema di rappresentazione latente. Sostiene che la memoria di lavoro e la memoria esperienziale possono essere compattamente radicate in uno spazio apprendibile unico, dove la struttura rilevante per il compito emerge tramite ottimizzazione end-to-end, eliminando la necessità di tassonomie prescritte.
Istante Apprendibile: Mem-W fornisce un'implementazione concreta utilizzando un compressore condiviso traiettoria-a-latente. Ciò permette sia ai dati storici recuperati sia ai prefissi di episodi online di essere proiettati in uno spazio latente unificato, addestrato tramite auto-distillazione e supervisione consapevole dell'esito.
Evidenza Empirica: Estesi esperimenti dimostrano che questo approccio migliora costantemente diversi backbones e supera gli agenti equipaggiati con architetture di memoria ingegnerizzate manualmente.

Risultati Sperimentali

Mem-W è stato valutato su quattro benchmark: Multimodal-Mind2Web, MMInA (navigazione web), GUI-Odyssey e AndroidControl-v2 (navigazione mobile).

Miglioramenti delle Prestazioni: Mem-W ha migliorato costantemente le prestazioni su tutti i backbones testati (inclusi UI-TARS, Qwen3-VL e UI-Venus).
- Su MMInA, Mem-W ha ottenuto guadagni fino a +30,0 punti percentuali rispetto ai modelli di base (ad esempio, UI-Venus-1.5-8B è passato dal 18,5% al 48,5%).
- Su Multimodal-Mind2Web, i miglioramenti sono variati da +8,83 a +20,58 punti a seconda del backbone e del sottoinsieme di compiti.
- Su AndroidControl-v2, Mem-W-8B ha raggiunto un punteggio Pass@4 di 81,16, superando modelli proprietari come GPT-5+UGround e basi open-source più grandi.
Confronto con Agenti Potenziati dalla Memoria: Mem-W ha superato gli agenti esistenti potenziati dalla memoria (ad esempio, ReasoningBank, AWM, CoMEM, HyMEM). Gli autori attribuiscono questo risultato alla capacità di Mem-W di distillare dinamicamente le traiettorie in riepiloghi latenti compatti e rilevanti per le decisioni e al suo utilizzo di una supervisione consapevole dell'esito, mentre i concorrenti spesso fanno affidamento su troncamenti grossolani o imitazione di traiettorie esperte senza condizionamento esplicito su successo/fallimento.
Efficienza: Nonostante il passaggio aggiuntivo di compressione, Mem-W ha mantenuto un compromesso favorevole tra accuratezza ed efficienza, riducendo spesso il numero di passaggi necessari per completare i compiti e abbassando il tasso di raggiungimento dei limiti massimi di passaggi rispetto alle basi.
Scalabilità: Le prestazioni sono cresciute positivamente con la dimensione dell'archivio di memoria esterno (fino a 50.000 traiettorie) e con il numero di traiettorie recuperate, indicando che il sistema sfrutta efficacemente riserve più ampie di esperienza.

Significato e Affermazioni

Il documento afferma che la memoria nativa del contesto latente funge da fondamento scalabile per l'agenzia GUI a lungo termine. Trattando la memoria come un substrato continuo piuttosto che come un'impalcatura simbolica esterna, Mem-W permette all'agente di "leggere" successi, fallimenti e progressi incompleti attraverso la stessa interfaccia nativa della macchina utilizzata per le osservazioni correnti.

Gli autori concludono che il collo di bottiglia nell'agenzia GUI a lungo termine non è semplicemente la scala del modello, ma come la storia delle interazioni e l'esperienza precedente sono rappresentati ed esposti alla politica. Mem-W dimostra che un'interfaccia latente unificata e apprendibile end-to-end può sostituire le gerarchie di memoria prescritte, permettendo alle strutture di memoria rilevanti per il compito di emergere naturalmente dall'addestramento. Questa prospettiva suggerisce una strada verso agenti multimodali interattivi la cui competenza è costruita su interfacce di contesto latente apprese piuttosto che su moduli di memoria ingegnerizzati manualmente.