M$^2$: Dual-Memory Augmentation for Long-Horizon Web Agents via Trajectory Summarization and Insight Retrieval

Il paper presenta M$^2$, un framework senza addestramento che potenzia gli agenti web a lungo termine attraverso un meccanismo di memoria duale basato sulla sintesi dinamica delle traiettorie e sul recupero di intuizioni, migliorando significativamente il successo e l'efficienza computazionale.

L'essenziale

Immagina di dover guidare un'auto attraverso un viaggio lunghissimo e complicato, pieno di strade sterrate, segnali confusi e buche nascoste. L'obiettivo è arrivare a destinazione (completare un compito sul web) senza perdere la strada e senza consumare tutto il carburante (le risorse del computer).

Fino a poco tempo fa, gli "agenti" (i robot software che navigano su internet) facevano questo viaggio in un modo molto inefficiente: portavano con sé l'intero viaggio precedente stampato su fogli di carta infiniti.

Il Problema: Il "Zaino Troppo Pesante"

Quando un robot deve fare una ricerca complessa (es. "Trova il prezzo dell'ultimo iPhone, confrontalo con quello di Samsung e aggiungi al carrello"), ogni volta che clicca su un pulsante, lo schermo cambia.
I metodi tradizionali facevano così:

1. Memorizzavano ogni singolo screenshot di ogni pagina visitata.
2. Memorizzavano ogni singola parola che avevano letto o scritto.
3. Mettevano tutto questo "zaino" gigante davanti al loro cervello (l'Intelligenza Artificiale) ad ogni nuovo passo.

Risultato?

• Cervello confuso: Con così tante informazioni, il robot si perde nel mezzo ("Lost in the middle"). Non sa più cosa è importante e cosa è spazzatura.
• Carburante finito: Elaborare migliaia di immagini e testi costa tantissimo tempo e denaro.
• Errori: Spesso il robot ricomincia da capo o si blocca in un loop infinito perché non ricorda bene cosa ha fatto due minuti fa.

---

La Soluzione: M2 (Il Viaggiatore Esperto)

Gli autori di questo paper hanno creato M2, un sistema che dà al robot due "superpoteri" basati su una memoria intelligente, senza bisogno di riaddestrarlo da capo (quindi è economico e veloce).

Immagina M2 come un turista esperto che ha due strumenti magici:

1. Il Diario di Bordo Intelligente (Memoria Interna)

Invece di portare con sé 100 foto sgranate di ogni strada percorsa, il robot M2 ha un diario.

• Come funziona: Dopo ogni passo, il robot si ferma e scrive una frase breve nel diario: "Sono arrivato alla pagina dei prodotti Apple, ho cliccato su 'iPhone' e ora vedo i prezzi".
• Il trucco: Butta via le foto pesanti e i dettagli inutili. Tiene solo l'essenza.
• L'analogia: È la differenza tra portare con sé l'intero archivio fotografico delle vacanze (pesante e inutile) e avere un diario di viaggio con le note essenziali ("Ho comprato il biglietto, ho preso il treno, sono arrivato a Roma"). Il cervello del robot rimane leggero e focalizzato.

2. La Mappa dei Segreti (Memoria Esterna)

A volte, il robot incontra un ostacolo che non sa come superare (es. un sito che richiede un login strano o un menu nascosto).

• Come funziona: M2 ha accesso a una biblioteca di consigli costruita analizzando migliaia di viaggi riusciti fatti da altri robot esperti in passato.
• Il trucco: Quando il robot si trova in una situazione difficile, chiede alla biblioteca: "Ho un compito simile a questo, come l'hanno risolto gli altri?". La biblioteca gli risponde con un consiglio pratico: "Attenzione! Su questo sito, non cliccare subito sul primo risultato, cerca prima il filtro 'Prezzo' in alto a destra".
• L'analogia: È come avere un local guide (un guida locale) che ti sussurra all'orecchio i trucchi del mestiere mentre cammini, evitando che tu cada nelle trappole turistiche.

---

Cosa succede nella pratica?

Grazie a questi due strumenti, il robot M2 diventa:

1. Più veloce: Non deve leggere migliaia di pagine vecchie, legge solo il suo diario breve.
2. Più intelligente: Non commette gli stessi errori due volte perché ha i "consigli dei saggi" della memoria esterna.
3. Più economico: Usa meno risorse di calcolo (token), risparmiando soldi e tempo.

I Risultati (La Prova del Fuoco)

Gli autori hanno testato questo sistema su due grandi "palestre" di navigazione web (WebVoyager e OnlineMind2Web).

• Risultato: I robot con M2 hanno completato il 19,6% in più di compiti difficili rispetto ai metodi precedenti.
• Efficienza: Hanno ridotto il consumo di risorse del 58,7%.
• Sorprendente: Un modello open-source (gratuito) come Qwen3-VL ha battuto i modelli proprietari (a pagamento) più costosi quando ha usato M2.

In Sintesi

M2 insegna agli agenti web a non essere "macchine da memorizzazione" che accumulano tutto, ma a diventare pensatori strategici.

• Non memorizzano tutto: Riassumono il passato in poche righe (Diario).
• Non partono da zero: Chiedono consigli agli esperti (Mappa dei Segreti).

È come passare da un viaggiatore che porta con sé l'intero oceano in una boccetta, a un navigatore che usa una bussola e una mappa aggiornata per arrivare a destinazione con il minimo sforzo.

Sommario tecnico

1. Il Problema: Navigazione Web a Lungo Raggio

Gli agenti basati su Modelli Linguistici Multimodali (MLLM) hanno dimostrato un grande potenziale nella navigazione autonoma sul web. Tuttavia, affrontano una sfida critica quando si tratta di task a lungo raggio (long-horizon tasks), che richiedono numerosi passaggi di interazione per completare compiti complessi (es. compilare moduli, navigare attraverso pagine dinamiche).

Le strategie attuali presentano due limiti fondamentali:

• Costo Computazionale Esorbitante: L'approccio "full-context" (concatenare l'intera storia di screenshot HTML e testo interattivo nel prompt) porta a una crescita esponenziale del consumo di token, saturando le finestre contestuali e imponendo un carico pesante sulle risorse di inferenza.
• Degrado delle Prestazioni ("Lost-in-the-Middle"): Un contesto troppo lungo e rumoroso distrae il modello, seppellendo gli indizi critici del compito sotto informazioni storiche ridondanti. Inoltre, le soluzioni esistenti basate su memoria (SFT, RL o agenti multipli) richiedono enormi costi di addestramento, dati e complessità di deployment, rendendole poco scalabili.

2. Metodologia: Il Framework M2

Per ovviare a questi problemi, gli autori propongono M2, un framework senza addestramento (training-free) e leggero che utilizza un meccanismo di memoria a due livelli per ottimizzare l'efficienza del contesto e la robustezza decisionale.

Il framework sostituisce la storia grezza con due componenti specializzate:

A. Memoria Interna: Riepilogo Dinamico delle Traiettorie (Internal Memory)

Questo modulo affronta il problema della ridondanza visiva e testuale all'interno della sessione corrente.

• Meccanismo: Invece di mantenere una finestra scorrevole di screenshot grezzi e testi storici, l'agente è istruito a generare autonomamente un riepilogo testuale conciso ($s_t$) ad ogni passo.
• Funzionamento: L'agente distilla le sue osservazioni ($O_t$), i pensieri ($T_t$) e le azioni ($A_t$) in una rappresentazione astratta ad alto livello (es. "Sono sulla pagina dei prodotti Apple Watch → Ho cliccato su 'Acquista'").
• Vantaggio: La memoria interna diventa una catena di riepiloghi testuali che cresce in modo sub-lineare rispetto alla lunghezza del task, eliminando la necessità di ricaricare migliaia di token di screenshot storici. Questo risolve il problema della "finestra contestuale esplosiva".

B. Memoria Esterna: Recupero di Insight (External Memory)

Questo modulo fornisce all'agente una conoscenza strategica globale per evitare errori comuni.

• Costruzione: Viene creato un Insight Bank (banca dati) offline estraendo regole di interazione ad alto valore ("High-Leverage Interaction Rules") da 55.000 traiettorie di successo generate da modelli avanzati (come Claude e Ovis).
• Recupero: Durante l'esecuzione, l'agente calcola la similarità semantica tra la query dell'utente e le query storiche nella banca dati. Vengono recuperati i Top-i insight più rilevanti.
• Applicazione: Questi insight (es. "Se la ricerca iniziale non dà risultati, usa i filtri laterali" o "Verifica che l'icona del carrello sia aggiornata") vengono iniettati nel prompt di sistema come "suggerimenti difensivi".
• Vantaggio: Permette all'agente di beneficiare dell'esperienza trasversale (cross-trajectory) senza bisogno di riaddestramento, guidandolo a evitare trappole UI comuni e a navigare strutture complesse in modo più intelligente.

3. Contributi Chiave

1. Architettura Dual-Memory senza Addestramento: Un framework leggero che integra il tracciamento interno ricorsivo con la guida esterna, eliminando la necessità di costosi processi di SFT (Supervised Fine-Tuning) o RL (Reinforcement Learning).
2. Compressione Intra-Traiettoria e Recupero Inter-Traiettoria: Introduzione di meccanismi per distillare la storia esecutiva in catene di riepiloghi concisi e recuperare insight esperti tra diversi task, mitigando il sovraccarico informativo.
3. Efficacia Scalabile e Parità di Modelli: Dimostrazione che M2 permette a modelli open-source locali di competere con modelli proprietari, migliorando significativamente l'efficienza dei token.

4. Risultati Sperimentali

Il framework è stato valutato su due benchmark principali: WebVoyager e OnlineMind2Web, utilizzando modelli come Qwen3-VL-32B (open-source) e Claude-3.7-Sonnet/Claude-Sonnet-4 (proprietari).

• Miglioramento del Tasso di Successo:
  • Qwen3-VL-32B: Ha registrato un aumento del tasso di successo del 16.2% su WebVoyager e del 19.6% su OnlineMind2Web.
  • Modelli Proprietari (Claude): Hanno mostrato incrementi di accuratezza fino al 12.5% (es. su WebVoyager).
  • Parità: Con M2, il modello open-source Qwen3-VL-32B ha superato le prestazioni del modello vanilla Claude-3.7-Sonnet, colmando il divario tra modelli locali e proprietari.
• Efficienza dei Token:
  • Riduzione del consumo di token fino al 58.7% per Qwen3-VL-32B.
  • Riduzioni significative anche per i modelli Claude (tra il 30.3% e il 55.0%).
• Robustezza: L'analisi mostra che i guadagni sono più pronunciati nei task di difficoltà "Media" e "Difficile", dove la gestione della memoria e la guida strategica sono cruciali per evitare loop infiniti o errori di contesto.

5. Significato e Impatto

Il lavoro M2 rappresenta un passo avanti significativo per gli agenti web autonomi:

• Sostenibilità Economica: Riducendo drasticamente il consumo di token e eliminando la necessità di addestramento, rende la navigazione web a lungo raggio economicamente sostenibile per applicazioni reali.
• Democratizzazione: Permette a modelli open-source di raggiungere prestazioni di livello enterprise attraverso una gestione intelligente del contesto e della conoscenza, piuttosto che attraverso la semplice scalabilità dei parametri.
• Scalabilità: L'approccio è indipendente dal modello (model-agnostic) e si adatta a diversi domini web, offrendo una soluzione scalabile per la complessità crescente delle interfacce web moderne.

In sintesi, M2 dimostra che una gestione intelligente della memoria (sia interna che esterna) è più efficace dell'accumulo di dati grezzi, permettendo agli agenti di navigare il web con maggiore precisione, meno costi e senza la necessità di costosi cicli di addestramento.