Riepilogo Tecnico: ReVision – Scalabilità degli Agenti per l'Uso del Computer tramite Riduzione della Ridondanza Visiva Temporale

Enunciato del Problema

Gli agenti per l'uso del computer (CUA) si basano su modelli linguistici multimodali di grandi dimensioni (MLLM) per interagire con le interfacce utente grafiche (GUI) elaborando sequenze di screenshot. Un collo di bottiglia critico nella scalabilità di questi agenti verso compiti a lungo orizzonte è il rapido aumento dei costi dei token visivi. Man mano che le traiettorie di interazione crescono, l'aggiunta di screenshot passati al contesto del modello introduce centinaia o migliaia di token visivi per immagine.

Gli autori identificano che gli screenshot consecutivi delle GUI presentano una sostanziale ridondanza temporale. Nella maggior parte dei passaggi, solo piccole regioni dell'interfaccia cambiano (ad esempio, un clic su un pulsante o un aggiornamento del testo), mentre la maggior parte dello schermo rimane statica. Gli MLLM standard elaborano ogni immagine in modo indipendente, codificando ripetutamente token visivi quasi identici. Questa inefficienza esaurisce i budget di contesto, costringendo gli agenti a scartare informazioni storiche utili o limitando la lunghezza delle traiettorie che possono elaborare. Di conseguenza, le prestazioni spesso si saturano o addirittura peggiorano quando si aggiunge più storia, non perché le informazioni passate siano inutili, ma perché la rappresentazione dei token è inefficiente.

Metodologia: ReVision

Per affrontare questo problema, gli autori introducono ReVision, un framework di addestramento consapevole della ridondanza progettato per ridurre i token visivi non necessari preservando la struttura spaziale e le informazioni rilevanti per il compito richieste per il ragionamento. L'approccio consta di due componenti principali:

1. Selezione dei Token ReVision (RTS)

Al centro del framework vi è un selettore di patch appreso e leggero (un MLP a tre livelli) addestrato per identificare le patch visive ridondanti tra screenshot consecutivi.

• Meccanismo: Per un passaggio di traiettoria $t$, il modulo RTS confronta gli embedding a livello di patch dello screenshot corrente ($I_t$) con le patch corrispondenti dello screenshot precedente ($I_{t-1}$).
• Supervisione dell'Addestramento: Il modello viene addestrato utilizzando etichette generate da OmniParserV2, che segmenta gli screenshot in regioni semantiche. Le patch vengono etichettate come ridondanti se le loro regioni corrispondenti in immagini consecutive presentano un'alta Intersezione su Unione (IoU), indicando contenuti invariati. Questo matching a livello di regione è preferito rispetto alla semplice similarità dei pixel per gestire variazioni minori come il rumore di rendering o il movimento del cursore.
• Output: Il RTS produce una maschera binaria $m_t$ per ogni passaggio, filtrando le patch che sono visivamente ridondanti rispetto al frame precedente.

2. Addestramento con Traiettorie Filtrate

Invece di trattare la riduzione dei token come un passaggio di post-elaborazione, ReVision integra il meccanismo di filtraggio direttamente nella pipeline di addestramento.

• Costruzione dei Dati: Il modello viene fine-tuned su traiettorie AgentNet in cui le patch ridondanti vengono rimosse da tutte le immagini nella finestra di storia tranne la prima (che viene mantenuta intatta per preservare l'allineamento spaziale).
• Coerenza nell'Inferenza: Durante l'inferenza, viene applicato lo stesso filtraggio RTS. Il modello si condiziona sul contesto testuale completo (ragionamento e azioni dai passaggi precedenti) ma riceve un insieme compresso di token visivi $\{V'_1, \dots, V'_t\}$.
• Preservazione Spaziale: Crucialmente, il processo di filtraggio preserva gli indici posizionali originali dei token mantenuti. Ciò garantisce che i meccanismi di attenzione del modello e le codifiche posizionali (ad es. m-ROPE) rimangano validi, permettendo al modello di ragionare sulla storia visiva compatta senza perdere la coerenza spaziale.

Contributi Chiave

Il documento delinea tre contributi principali:

1. Quantificazione della Ridondanza: Gli autori dimostrano che una frazione significativa di token visivi nelle traiettorie delle GUI è ridondante. Attraverso molteplici benchmark (OSWorld, AgentNetBench, WebTailBench, ecc.), una media del 45,4% delle patch rimane invariata tra passaggi consecutivi, con alcuni ambienti che mostrano una ridondanza superiore al 56%.
2. Il Framework ReVision: Introducono un metodo per addestrare gli MLLM su traiettorie in cui le patch ridondanti vengono rimosse dinamicamente. Ciò permette al modello di ragionare su storie visive compatte senza modificare l'architettura sottostante, affidandosi invece a evidenze distribuite temporalmente.
3. Rivalutazione della Scalabilità della Storia: Il lavoro sfida l'osservazione secondo cui le prestazioni della storia visiva si saturano precocemente. Gli autori dimostrano che la saturazione è una conseguenza di rappresentazioni di token inefficienti; quando la ridondanza viene rimossa, le prestazioni continuano a migliorare man mano che vengono incorporate più osservazioni passate.

Risultati Sperimentali

Gli autori hanno valutato ReVision utilizzando Qwen2.5-VL-7B su tre benchmark: OSWorld, WebTailBench e AgentNetBench.

• Efficienza dei Token: Elaborando traiettorie con 5 screenshot di storia, ReVision riduce l'utilizzo dei token di circa il 46% in media rispetto a una baseline che mantiene tutte le patch.
• Miglioramenti delle Prestazioni: Nonostante la riduzione del numero di token, ReVision migliora il tasso di successo del 3% rispetto alla baseline "no-drop". In benchmark specifici come WebTailBench, il miglioramento raggiunge fino a 14 punti percentuali.
• Comportamento di Scalabilità:
  • Baseline: I modelli standard mostrano rendimenti decrescenti o saturazione delle prestazioni all'aumentare della lunghezza della storia (ad esempio, raggiungendo un picco intorno a 7 immagini) a causa dell'esaurimento del budget di contesto.
  • ReVision: Rimuovendo i token ridondanti, il punto di saturazione viene ritardato (fino a 11 immagini), permettendo al modello di utilizzare storie più lunghe efficacemente entro lo stesso budget computazionale.
• Lunghezza della Traiettoria: Gli agenti ReVision risolvono i compiti in modo più efficiente, richiedendo meno passaggi di interazione per completare le attività. Ad esempio, su OSWorld, la lunghezza media della traiettoria è stata ridotta di 4 passaggi ottenendo al contempo tassi di successo più elevati.
• Confronto con Altre Strategie: ReVision supera strategie naive di eliminazione dei token (casuale, a spirale) e filtri basati sulla semplice similarità (similarità dei pixel o coseno degli embedding). Sebbene i metodi basati su regioni che utilizzano OmniParser al momento dell'inferenza producano prestazioni leggermente superiori, comportano una latenza proibitiva (>550ms). ReVision ottiene guadagni comparabili con bassa latenza (~22ms).
• Generalizzazione: Il metodo si generalizza attraverso diverse famiglie di modelli (Qwen2.5-VL-7B e Qwen3-VL-8B) e non degrada le prestazioni in impostazioni a immagine singola, confermando che lo spostamento della distribuzione di addestramento non danneggia le capacità di grounding standard.

Significato e Affermazioni

Il documento postula che la barriera principale alla scalabilità degli agenti per l'uso del computer non sia la mancanza di informazioni storiche, ma l'inefficienza delle rappresentazioni dei token visivi. Modellando esplicitamente e rimuovendo la ridondanza temporale, ReVision sposta il fronte dell'efficienza, permettendo agli agenti di elaborare traiettorie più lunghe e informative senza aumentare i costi computazionali.

Gli autori concludono che la saturazione comunemente osservata nelle prestazioni della storia visiva è un artefatto dei vincoli del budget di contesto piuttosto che una limitazione dell'utilità delle informazioni. Liberando il budget di contesto attraverso la riduzione della ridondanza, gli agenti possono incorporare storie più lunghe, portando a un migliore ragionamento e processo decisionale a lungo orizzonte. Il lavoro suggerisce che la futura scalabilità del ragionamento visivo dovrebbe concentrarsi sulla preservazione delle informazioni utili entro budget limitati piuttosto che semplicemente sull'accumulo di più dati grezzi.