🤖 AI

AQuaUI: Visual Token Reduction for GUI Agents with Adaptive Quadtrees

AQuaUI è un metodo di riduzione dei token a tempo di inferenza, privo di addestramento, per agenti GUI che impiega quadtree adattivi per sfruttare la densità non uniforme delle informazioni spaziali negli screenshot, ottenendo significativi incrementi di velocità e riduzione dei token mantenendo prestazioni quasi complete e coerenza temporale nelle interazioni multi-step.

Autori originali: Yuankai Li, Tinghui Zhu, Ha Min Son, Zhe Zhao, Xin Liu, Muhao Chen

Pubblicato 2026-05-20

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yuankai Li, Tinghui Zhu, Ha Min Son, Zhe Zhao, Xin Liu, Muhao Chen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un robot molto intelligente, ma leggermente lento, come usare un computer o un telefono. Mostri al robot un'immagine dello schermo e dici: "Clicca sul pulsante 'Salva'".

Il problema è che gli schermi dei computer sono enormi e pieni di dettagli. Per il robot, un singolo screenshot non è una sola immagine; è scomposto in migliaia di piccoli pezzi di puzzle chiamati "token". Se lo schermo è ad alta risoluzione, il robot deve esaminare 3.000 di questi pezzi solo per comprendere una semplice schermata. È come chiedere a un bibliotecario di leggere ogni singola pagina di un'enciclopedia da 1.000 pagine per trovare la sola parola "mela". Ci vuole un'eternità, costa molta energia e il robot si esaurisce (finisce la memoria) prima di poter ricordare l'intera conversazione.

La soluzione del documento: AQuaUI

Il documento presenta un nuovo strumento chiamato AQuaUI (che sta per Adaptive Quadtrees for UI, ovvero Quadtree adattivi per le interfacce utente). Considera AQuaUI come una sentinella super-intelligente che precede il robot per pulire l'immagine prima ancora che il robot la veda.

Ecco come funziona, utilizzando alcune analogie quotidiane:

1. La "Stanza Vuota" contro la "Scrivania Affollata"

La maggior parte degli schermi dei computer è in realtà piuttosto noiosa in grandi porzioni. Immagina uno schermo con uno sfondo bianco gigante (una stanza vuota) e una piccola icona complessa nell'angolo (una scrivania affollata).

Vecchio metodo: Il robot guarda ogni singolo pollice quadrato del muro bianco e della scrivania affollata con la stessa intensità. Spreca tempo fissando il muro vuoto.
Metodo AQuaUI: AQuaUI guarda lo schermo e dice: "Ehi, questa grande area bianca è vuota. Non devo mostrare al robot ogni singolo pixel. Invierò solo un pixel 'rappresentativo' per dire: 'Questo è un muro bianco'". Ma per la scrivania affollata con l'icona, dice: "Questo è importante! Invierò al robot una mappa dettagliata solo di questa piccola area".

2. L'analogia dell'"Albero" (Il Quadtree)

Per fare questo, AQuaUI utilizza un metodo chiamato Quadtree. Immagina di avere una grande mappa di una città.

Disegni un grande quadrato attorno all'intera città.
Se l'area all'interno è solo un grande parco (vuoto), ti fermi lì. Non hai bisogno di guardare più da vicino.
Se l'area all'interno è un centro città affollato con grattacieli (complesso), dividi quel quadrato in quattro quadrati più piccoli.
Continui a dividere le aree affollate finché non hai quadratini minuscoli che mostrano i dettagli, ma lasci i parchi vuoti come un unico grande quadrato.

AQuaUI fa questo con lo schermo. Costruisce un "albero" di quadrati. Per le parti vuote, mantiene un token. Per le parti affollate, ne mantiene di più. Questo riduce il numero di pezzi che il robot deve esaminare di circa il 30% senza perdere alcuna informazione importante.

3. Il trucco dell'"Immagine in Movimento" (Quadtree Condizionale)

Gli schermi dei computer non sono statici; cambiano. Se scorri verso il basso una pagina web, la parte superiore si sposta in alto e appare del nuovo contenuto in basso.

Il problema: Se il robot guarda la nuova schermata da zero, potrebbe accidentalmente scartare i dettagli della parte superiore perché sembra "diversa" nel nuovo fotogramma, anche se è lo stesso contenuto che si è spostato.
La soluzione AQuaUI: AQuaUI ricorda la schermata precedente. È come una guardia di sicurezza che sa: "Ho visto quel pulsante 'Salva' nell'angolo in alto a destra un secondo fa. Anche se lo schermo si è spostato, so esattamente dove si trova quel pulsante ora". Utilizza la cronologia dello schermo per mantenere coerenti i dettagli importanti, così il robot non si confonde quando lo schermo si sposta leggermente.

Perché questo è importante (secondo il documento)

I ricercatori hanno testato questo metodo sui modelli AI più recenti e avanzati (come Qwen e GUI-Owl). Hanno scoperto che:

Velocità: Il robot lavora più velocemente. Sui modelli più grandi, è stato fino al 13% più veloce.
Intelligenza: Anche se il robot vedeva meno pezzi dell'immagine, non è diventato meno intelligente. Ha ancora ottenuto le risposte corrette quasi il 99% delle volte rispetto alla visione dell'immagine completa.
Nessun addestramento necessario: La parte migliore è che non devi ri-insegnare al robot come farlo. Basta collegare AQuaUI e funziona immediatamente.

In sintesi:
AQuaUI è come un editor intelligente per gli schermi dei computer. Dice all'AI: "Ignora lo spazio bianco vuoto, concentrati sui pulsanti e sul testo, e ricorda cosa hai visto un secondo fa". Questo rende gli agenti AI più veloci ed economici da eseguire, permettendo loro di gestire conversazioni più lunghe e compiti più complessi senza essere sopraffatti da troppi dati visivi.

Riepilogo Tecnico: AQuaUI: Riduzione dei Token Visivi per Agenti GUI con Quadtree Adattivi

Enunciato del Problema

I Modelli Multimodali su Larga Scala (LMM) sono diventati la spina dorsale per gli agenti di Interfaccia Grafica Utente (GUI), che interpretano screenshot ad alta risoluzione per eseguire compiti. Tuttavia, l'elaborazione di questi screenshot genera un numero massiccio di token visivi, portando a costi computazionali elevati, aumento della latenza di inferenza e capacità limitata della finestra di contesto per la cronologia delle conversazioni.

Le soluzioni esistenti affrontano due limitazioni principali:

Dipendenza dall'Addestramento: Molti metodi di riduzione dei token richiedono il riaddestramento del modello, limitandone l'applicabilità ad agenti già pronti all'uso.
Compressione Inappropriata: I metodi progettati per immagini naturali (ad esempio, la potatura basata sull'attenzione) spesso falliscono sulle GUI perché ignorano la struttura spaziale unica degli screenshot delle GUI. Le GUI presentano una densità di informazioni altamente non uniforme: grandi regioni sono spesso omogenee (sfondi, margini), mentre le informazioni critiche sono concentrate in aree piccole e strutturate (testo, icone). Trattare tutti i token come ugualmente importanti o affidarsi esclusivamente alle mappe di attenzione può portare a scartare il contesto spaziale essenziale o a non sfruttare il layout regolare delle interfacce utente.

Metodologia: AQuaUI

Il documento propone AQuaUI, un framework privo di addestramento e operativo al momento dell'inferenza che riduce i token visivi sfruttando il layout strutturale degli screenshot delle GUI. Il metodo è composto da tre componenti fondamentali:

1. Tokenizzazione con Quadtree Adattivo

Invece di un'analisi in patch uniformi, AQuaUI costruisce un quadtree adattivo sullo screenshot di input per partizionare l'immagine in base alla densità di informazioni.

Allineamento alla Griglia: Poiché le dimensioni delle GUI non sono sempre potenze di due, l'immagine viene decomposta in una regione centrale (ripetibile con blocchi quadrati) e margini di confine. Il quadtree viene costruito indipendentemente all'interno di ciascun blocco.
Criteri di Divisione: I nodi vengono divisi ricorsivamente in base a una funzione di punteggio $s(n)$ . Il criterio predefinito è la varianza in scala di grigi ponderata per l'area ( $s(n) = w_n h_n \cdot \text{Var}(\text{grey}(n))$ ). Un nodo viene diviso se $s(n) > 1000 \cdot \alpha$ . Ciò garantisce che le regioni omogenee siano rappresentate da foglie grandi (grossolane), mentre le regioni complesse siano divise in celle più piccole (fini).
Selezione dei Token: Per ogni nodo foglia finale, viene selezionato un singolo token rappresentativo (predefinito come il blocco centrale della foglia). Questo token, insieme alle sue coordinate spaziali originali, viene passato al modello linguistico.

2. Rifinitura Condizionata del Quadtree

Per affrontare la coerenza temporale nelle interazioni GUI a più passaggi (dove screenshot consecutivi sono spesso quasi identici), AQuaUI introduce un algoritmo euristico che condiziona il quadtree corrente sugli screenshot precedenti nella stessa richiesta.

Classificazione dello Stato: L'algoritmo classifica la relazione tra il blocco corrente e il blocco precedente in tre modalità:
- Statico: La regione è quasi identica (somiglianza $\ge \tau_{static}$ ). La partizione del quadtree precedente viene riutilizzata.
- Spostato: La regione ha subito uno scorrimento o una traslazione. L'algoritmo cerca uno spostamento a livello di blocco $\delta$ che massimizzi la somiglianza sull'area sovrapposta. Se viene trovato uno spostamento valido, le foglie grossolane del frame precedente vengono traslate e riutilizzate.
- Sostituito: Se non sono soddisfatte né le condizioni statiche né quelle spostate, viene costruito un nuovo quadtree da zero.
Preservazione Fine-Grained: Questo meccanismo garantisce che i dettagli fini preservati nei frame precedenti non vengano accidentalmente fusi via nei frame successivi a causa di lievi spostamenti, mantenendo la continuità del ragionamento.

3. Coerenza della Codifica di Posizione

Un contributo tecnico critico è la preservazione delle posizioni spaziali lungo tutta la pipeline. I token selezionati mantengono le loro coordinate originali dei token fusi. Queste coordinate vengono iniettate nei meccanismi di codifica di posizione del modello (ad esempio, M-RoPE), garantendo che il modello interpreti i token sparsi nel loro corretto contesto geometrico piuttosto che come una griglia compattata.

Contributi Chiave

Framework Senza Addestramento: AQuaUI è un metodo plug-and-play applicabile a qualsiasi LMM a valle senza richiedere il riaddestramento del modello.
Sfruttamento Strutturale: Utilizza quadtree adattivi per allineare la riduzione dei token con la densità di informazioni non uniforme intrinseca e la regolarità spaziale delle GUI, superando i metodi generici di potatura dei token.
Coerenza Temporale: L'algoritmo di quadtree condizionato sfrutta la continuità tra screenshot consecutivi per preservare partizioni fini-granulari attraverso stati statici o leggermente spostati, cruciale per la navigazione a più passaggi.
Implementazione: Gli autori hanno implementato AQuaUI su modelli all'avanguardia (Qwen2-VL, Qwen3-VL, ShowUI, GUI-Owl, MAI-UI) e lo hanno validato su più benchmark.

Risultati Sperimentali

Gli autori hanno valutato AQuaUI su benchmark di grounding (UI-Vision, ScreenSpot-Pro, ScreenSpot-V2, OSWorld-G, MMBench-GUI) e benchmark di navigazione (AndroidControl, AndroidWorld).

Compromesso Accuratezza-Efficienza: AQuaUI ottiene costantemente migliori compromessi accuratezza-latenza rispetto alle baseline come la selezione guidata dalle UI dei token di ShowUI e l'eliminazione casuale dei token.
- Su Qwen3-VL-32B-Instruct, AQuaUI ottiene un accelerazione del 13,22% e riduce i token visivi del 29,52% mantenendo il 99,06% delle prestazioni del token completo.
- Su Qwen2-VL-7B-Instruct, riduce i token di circa il 27% con un calo di accuratezza inferiore (3,29 punti) rispetto a ShowUI (5,95 punti).
Scalabilità del Modello: I benefici in termini di latenza diventano più pronunciati all'aumentare delle dimensioni del modello. Per backbones più grandi (8B, 32B), i risparmi nel calcolo dei token visivi superano l'overhead della costruzione del quadtree, risultando in guadagni netti di latenza. Modelli più piccoli (2B) mostrano un miglioramento della latenza inferiore a causa dell'overhead fisso della logica di riduzione.
Studi di Ablazione:
- Quadtree vs. Casuale: L'eliminazione casuale dei token causa un degrado significativo dell'accuratezza, confermando che la struttura adattiva è essenziale.
- Rifinitura Condizionata: La rimozione del meccanismo di quadtree condizionato porta a un calo costante dei tassi di successo nelle attività di navigazione a lungo orizzonte (AndroidWorld), dimostrando il suo valore nel mantenere la coerenza temporale.
- Funzioni di Punteggio: La divisione basata sulla varianza offre prestazioni più stabili, mentre la divisione basata sul gradiente permette una compressione più elevata a scapito della stabilità in impostazioni aggressive.

Significato e Affermazioni

Il documento afferma che AQuaUI dimostra che la ridondanza spaziale negli screenshot delle GUI può essere sfruttata efficacemente al momento dell'inferenza senza riaddestramento.

Gli autori sottolineano che la percezione efficiente delle GUI non dovrebbe focalizzarsi meramente su quali token sono importanti (un focus comune nella compressione di immagini naturali) ma anche su dove si trovano i token. Preservando il layout spaziale attraverso partizionamento adattivo e rifinitura condizionata, AQuaUI permette agli agenti GUI di operare con significativamente meno token mantenendo un'alta fedeltà nelle attività di grounding e navigazione. Questo approccio offre una via pratica per ridurre i costi di inferenza e abilitare cronologie di interazione più lunghe per gli agenti GUI, in particolare su modelli più grandi e capaci.