Technische Samenvatting: AQuaUI: Visuele Tokenreductie voor GUI-agenten met Adaptieve Quadtrees

Probleemstelling

Grote Multimodale Modellen (LMM's) zijn het fundament geworden voor Graphical User Interface (GUI)-agenten, die hoge-resolutie screenshots interpreteren om taken uit te voeren. Het verwerken van deze screenshots genereert echter een enorm aantal visuele tokens, wat leidt tot hoge rekenkosten, verhoogde inferentielatentie en een beperkte contextvenstercapaciteit voor conversatiegeschiedenis.

Bestaande oplossingen kampen met twee primaire beperkingen:

1. Afhankelijkheid van Training: Veel methoden voor tokenreductie vereisen het opnieuw trainen van het model, wat hun toepasbaarheid beperkt tot kant-en-klare agenten.
2. Ongeschikte Compressie: Methoden die zijn ontworpen voor natuurlijke afbeeldingen (bijvoorbeeld op opmerkingen gebaseerde pruning) falen vaak bij GUI's omdat ze de unieke ruimtelijke structuur van GUI-screenshots negeren. GUI's vertonen een sterk niet-uniforme informatiedichtheid: grote gebieden zijn vaak homogeen (achtergronden, marges), terwijl kritieke informatie geconcentreerd is in kleine, gestructureerde gebieden (tekst, pictogrammen). Het behandelen van alle tokens als even belangrijk of uitsluitend vertrouwen op attentiekarten kan essentiële ruimtelijke context verwijderen of falen om de regelmatige lay-out van gebruikersinterfaces te benutten.

Methodologie: AQuaUI

Het paper stelt AQuaUI voor, een trainingsvrij framework voor inferentietijd dat visuele tokens reduceert door de structurele lay-out van GUI-screenshots te benutten. De methode bestaat uit drie kerncomponenten:

1. Adaptieve Quadtree-tokenisatie

In plaats van uniforme patching, bouwt AQuaUI een adaptieve quadtree op de invoerscreenshot om de afbeelding te partitioneren op basis van informatiedichtheid.

• Griduitlijning: Omdat GUI-afmetingen niet altijd machten van twee zijn, wordt de afbeelding ontleed in een centraal gebied (dat in vierkante stukken kan worden ingedeeld) en randmarges. De quadtree wordt onafhankelijk binnen elk stuk gebouwd.
• Splitsingscriteria: Knopen worden recursief gesplitst op basis van een scorefunctie $s(n)$. Het standaardcriterium is de oppervlakte-gewogen grijstintvariantie ($s(n) = w_n h_n \cdot \text{Var}(\text{grey}(n))$). Een knoop wordt gesplitst als $s(n) > 1000 \cdot \alpha$. Dit zorgt ervoor dat homogene gebieden worden weergegeven door grote bladeren (grof), terwijl complexe gebieden worden verdeeld in kleinere cellen (fijn).
• Tokenselectie: Voor elke uiteindelijke bladknoop wordt één representatief token geselecteerd (standaard het centrale blok van het blad). Dit token, samen met zijn oorspronkelijke ruimtelijke coördinaten, wordt doorgegeven aan het taalmodel.

2. Conditionele Quadtree-verfijning

Om temporele consistentie aan te pakken in multi-stap GUI-interacties (waarbij opeenvolgende screenshots vaak bijna identiek zijn), introduceert AQuaUI een heuristisch algoritme dat de huidige quadtree conditioneert op vorige screenshots binnen dezelfde aanvraag.

• Staatclassificatie: Het algoritme classificeert de relatie tussen het huidige stuk en het vorige stuk in drie modi:
  • Statisch: Het gebied is bijna identiek (gelijkheid $\ge \tau_{static}$). De vorige quadtree-partitie wordt hergebruikt.
  • Verschoven: Het gebied heeft een scroll- of translatiebeweging ondergaan. Het algoritme zoekt naar een bloksgewijze verschuiving $\delta$ die de gelijkheid over het overlappende gebied maximaliseert. Als een geldige verschuiving wordt gevonden, worden de grove bladeren van het vorige frame vertaald en hergebruikt.
  • Vervangen: Als noch de statische noch de verschoven voorwaarden worden voldaan, wordt er een nieuwe quadtree van scratch gebouwd.
• Fijnkorrelige Behoud: Dit mechanisme zorgt ervoor dat fijnkorrelige details die in eerdere frames zijn behouden, niet per ongeluk in latere frames worden samengevoegd door kleine verschuivingen, waardoor redeneercontinuïteit wordt behouden.

3. Consistentie van Positiecodering

Een kritieke technische bijdrage is het behoud van ruimtelijke posities gedurende de hele pijplijn. De geselecteerde tokens behouden hun oorspronkelijke samengevoegde-tokencoördinaten. Deze coördinaten worden geïnjecteerd in de positiecoderingsmechanismen van het model (bijvoorbeeld M-RoPE), zodat het model de sparse tokens interpreteert in hun correcte geometrische context in plaats van als een gecomprimeerd raster.

Belangrijkste Bijdragen

1. Trainingsvrij Framework: AQuaUI is een plug-and-play-methode die toepasbaar is op elke downstream LMM zonder dat modelhertraining vereist is.
2. Structuurbenutting: Het maakt gebruik van adaptieve quadtrees om tokenreductie af te stemmen op de inherente niet-uniforme informatiedichtheid en ruimtelijke regelmaat van GUI's, en presteert beter dan generieke tokenpruning-methoden.
3. Temporele Consistentie: Het conditionele quadtree-algoritme benut de continuïteit tussen opeenvolgende screenshots om fijnkorrelige partities te behouden over statische of licht verschoven staten heen, wat cruciaal is voor multi-stap navigatie.
4. Implementatie: De auteurs hebben AQuaUI geïmplementeerd op state-of-the-art modellen (Qwen2-VL, Qwen3-VL, ShowUI, GUI-Owl, MAI-UI) en het gevalideerd over meerdere benchmarks.

Experimentele Resultaten

De auteurs hebben AQuaUI geëvalueerd op grounding-benchmarks (UI-Vision, ScreenSpot-Pro, ScreenSpot-V2, OSWorld-G, MMBench-GUI) en navigatie-benchmarks (AndroidControl, AndroidWorld).

• Afweging tussen Nauwkeurigheid en Efficiëntie: AQuaUI bereikt consistent betere nauwkeurigheids-latentie-afwegingen in vergelijking met baselines zoals ShowUI's UI-geleide tokenselectie en willekeurige tokenverlaging.
  • Op Qwen3-VL-32B-Instruct bereikt AQuaUI een snelheidswinst van 13,22% en reduceert visuele tokens met 29,52%, terwijl 99,06% van de prestaties met volledige tokens behouden blijft.
  • Op Qwen2-VL-7B-Instruct reduceert het tokens met ongeveer 27% met een kleinere daling in nauwkeurigheid (3,29 punten) in vergelijking met ShowUI (5,95 punten).
• Model Schaalbaarheid: De voordelen in latentie worden duidelijker naarmate de modelgrootte toeneemt. Voor grotere backbones (8B, 32B) wegen de besparingen in visuele tokenberekening op tegen de overhead van de quadtree-constructie, wat resulteert in netto latentiewinsten. Kleinere modellen (2B) tonen minder latentieverbetering vanwege de vaste overhead van de reductielogica.
• Ablatiestudies:
  • Quadtree versus Willekeurig: Willekeurige tokenverlaging veroorzaakt significante degradatie in nauwkeurigheid, wat bevestigt dat de adaptieve structuur essentieel is.
  • Conditionele Verfijning: Het verwijderen van het conditionele quadtree-mechanisme leidt tot een consistente daling in succespercentages voor navigatietaken met een lange horizon (AndroidWorld), wat de waarde bewijst voor het behoud van temporele consistentie.
  • Scorefuncties: Op variantie gebaseerd splitsen biedt een stabielere prestatie, terwijl op gradiënt gebaseerd splitsen hogere compressie toestaat ten koste van stabiliteit onder agressieve instellingen.

Betekenis en Claims

Het paper stelt dat AQuaUI aantoont dat ruimtelijke redundantie in GUI-screenshots effectief kan worden benut tijdens de inferentie zonder hertraining.

De auteurs benadrukken dat efficiënte GUI-perceptie niet alleen moet focussen op welke tokens belangrijk zijn (een veelvoorkomende focus in compressie van natuurlijke afbeeldingen), maar ook op waar de tokens zich bevinden. Door de ruimtelijke lay-out te behouden via adaptieve partitionering en conditionele verfijning, stelt AQuaUI GUI-agenten in staat om te opereren met aanzienlijk minder tokens, terwijl hoge fideliteit wordt behouden bij grounding- en navigatietaken. Deze aanpak biedt een praktische weg om inferentiekosten te verlagen en langere interactiegeschiedenissen mogelijk te maken voor GUI-agenten, met name op grotere, capabelere modellen.