🤖 AI

AQuaUI: Visual Token Reduction for GUI Agents with Adaptive Quadtrees

AQuaUI ist eine trainingsfreie Tokenreduktionsmethode zur Laufzeit für GUI-Agenten, die adaptive Quadtrees nutzt, um die nicht-uniforme räumliche Informationsdichte von Screenshots auszunutzen, und dabei erhebliche Beschleunigungen und Tokenreduktionen bei gleichzeitiger Aufrechterhaltung nahezu voller Leistung und zeitlicher Konsistenz über mehrstufige Interaktionen hinweg erzielt.

Ursprüngliche Autoren: Yuankai Li, Tinghui Zhu, Ha Min Son, Zhe Zhao, Xin Liu, Muhao Chen

Veröffentlicht 2026-05-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuankai Li, Tinghui Zhu, Ha Min Son, Zhe Zhao, Xin Liu, Muhao Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber leicht langsamen Roboter beizubringen, wie man einen Computer oder ein Telefon benutzt. Sie zeigen dem Roboter ein Bild des Bildschirms und sagen: „Klicken Sie auf die Schaltfläche 'Speichern'."

Das Problem ist, dass Computerbildschirme riesig und voller Details sind. Für den Roboter ist ein einzelner Screenshot nicht nur ein Bild; er wird in Tausende von winzigen Puzzleteilen zerlegt, die „Tokens" genannt werden. Wenn der Bildschirm hochauflösend ist, muss der Roboter 3.000 dieser Teile betrachten, nur um einen einfachen Bildschirm zu verstehen. Das ist so, als würde man einen Bibliothekar bitten, jede einzelne Seite einer 1.000-seitigen Enzyklopädie zu lesen, um das eine Wort „Apfel" zu finden. Es dauert ewig, kostet viel Energie, und der Roboter wird müde (läuft aus dem Speicher), bevor er sich an das gesamte Gespräch erinnern kann.

Die Lösung des Papiers: AQuaUI

Das Papier stellt ein neues Werkzeug namens AQuaUI (was für Adaptive Quadtrees for UI steht) vor. Betrachten Sie AQuaUI als einen superintelligenten Kundschafter, der dem Roboter vorausgeht, um das Bild zu bereinigen, bevor der Roboter es überhaupt sieht.

So funktioniert es, unter Verwendung einiger alltäglicher Analogien:

1. Der „leere Raum" versus der „beschäftigte Schreibtisch"

Die meisten Computerbildschirme sind in großen Abschnitten eigentlich ziemlich langweilig. Stellen Sie sich einen Bildschirm mit einem riesigen weißen Hintergrund (ein leerer Raum) und einem winzigen, komplexen Symbol in der Ecke (ein beschäftigter Schreibtisch) vor.

Der alte Weg: Der Roboter betrachtet jeden einzelnen Quadratzoll der weißen Wand und den beschäftigten Schreibtisch mit der gleichen Intensität. Er verschwendet Zeit damit, auf die leere Wand zu starren.
Der AQuaUI-Weg: AQuaUI betrachtet den Bildschirm und sagt: „Hey, dieser große weiße Bereich ist leer. Ich muss dem Roboter nicht jedes einzelne Pixel davon zeigen. Ich sende einfach ein 'repräsentatives' Pixel, um zu sagen: 'Das ist eine weiße Wand.' Aber für den beschäftigten Schreibtisch mit dem Symbol sagt es: 'Das ist wichtig! Ich sende dem Roboter eine detaillierte Karte nur dieses kleinen Bereichs.'"

2. Die „Baum"-Analogie (Der Quadtree)

Um dies zu tun, verwendet AQuaUI eine Methode namens Quadtree. Stellen Sie sich eine große Stadtkarte vor.

Sie zeichnen einen großen Quadratrahmen um die ganze Stadt.
Wenn der Bereich darin nur ein großer Park ist (leer), hören Sie dort auf. Sie müssen nicht genauer hinsehen.
Wenn der Bereich darin eine überfüllte Innenstadt mit Wolkenkratzern ist (komplex), teilen Sie dieses Quadrat in vier kleinere Quadrate auf.
Sie teilen die überfüllten Bereiche weiter auf, bis Sie winzige Quadrate haben, die die Details zeigen, aber Sie lassen die leeren Parks als ein großes Quadrat.

AQuaUI macht dies mit dem Bildschirm. Es baut einen „Baum" aus Quadraten auf. Für die leeren Teile behält es ein Token. Für die beschäftigten Teile behält es mehr. Dies reduziert die Anzahl der Teile, die der Roboter betrachten muss, um etwa 30 %, ohne wichtige Informationen zu verlieren.

3. Der Trick mit dem „bewegten Bild" (Conditional Quadtree)

Computerbildschirme sind nicht statisch; sie verändern sich. Wenn Sie eine Webseite nach unten scrollen, bewegt sich der obere Teil nach oben, und unten erscheint Neues.

Das Problem: Wenn der Roboter den neuen Bildschirm von Grund auf betrachtet, könnte er versehentlich die Details des oberen Teils wegwerfen, weil er im neuen Rahmen „anders" aussieht, obwohl es nur derselbe Inhalt ist, der sich bewegt hat.
Die AQuaUI-Lösung: AQuaUI merkt sich den vorherigen Bildschirm. Es ist wie ein Sicherheitsbeamter, der weiß: „Ich habe diese 'Speichern'-Schaltfläche in der oberen rechten Ecke vor einer Sekunde gesehen. Auch wenn sich der Bildschirm bewegt hat, weiß ich genau, wo sich diese Schaltfläche jetzt befindet." Es nutzt die Historie des Bildschirms, um die wichtigen Details konsistent zu halten, damit der Roboter nicht verwirrt wird, wenn sich der Bildschirm leicht verschiebt.

Warum dies wichtig ist (laut dem Papier)

Die Forscher testeten dies an den neuesten, fortschrittlichsten KI-Modellen (wie Qwen und GUI-Owl). Sie stellten fest, dass:

Geschwindigkeit: Der Roboter arbeitet schneller. Bei den größten Modellen war er bis zu 13 % schneller.
Intelligenter: Obwohl der Roboter weniger Teile des Bildes sah, wurde er nicht dümmer. Er erhielt immer noch fast 99 % der Zeit die richtigen Antworten im Vergleich zum Betrachten des vollständigen Bildes.
Kein Training erforderlich: Das Beste ist, dass Sie dem Roboter nicht beibringen müssen, wie er dies tut. Sie stecken AQuaUI einfach ein, und es funktioniert sofort.

Zusammenfassung:
AQuaUI ist wie ein intelligenter Editor für Computerbildschirme. Es sagt der KI: „Ignorieren Sie den leeren weißen Raum, konzentrieren Sie sich auf die Schaltflächen und den Text und erinnern Sie sich daran, was Sie vor einer Sekunde gesehen haben." Dies macht KI-Agenten schneller und kostengünstiger im Betrieb, sodass sie längere Gespräche und komplexere Aufgaben bewältigen können, ohne von zu vielen visuellen Daten überwältigt zu werden.

Technische Zusammenfassung: AQuaUI: Visuelle Token-Reduktion für GUI-Agenten mit adaptiven Quadtrees

Problemstellung

Large Multimodal Models (LMMs) haben sich zum Rückgrat für Graphical User Interface (GUI)-Agenten entwickelt, die hochauflösende Screenshots interpretieren, um Aufgaben auszuführen. Die Verarbeitung dieser Screenshots erzeugt jedoch eine massive Anzahl visueller Token, was zu hohen Rechenkosten, erhöhter Inferenz-Latenz und einer begrenzten Kapazität des Kontextfensters für den Gesprächsverlauf führt.

Bestehende Lösungen stoßen auf zwei primäre Einschränkungen:

Trainingsabhängigkeit: Viele Token-Reduktionsmethoden erfordern ein Nachtrainieren des Modells, was ihre Anwendbarkeit auf handelsübliche Agenten einschränkt.
Unangemessene Komprimierung: Methoden, die für natürliche Bilder entwickelt wurden (z. B. attention-basiertes Beschneiden), versagen oft bei GUIs, da sie die einzigartige räumliche Struktur von GUI-Screenshots ignorieren. GUIs weisen eine stark nicht uniforme Informationsdichte auf: Große Bereiche sind häufig homogen (Hintergründe, Ränder), während kritische Informationen in kleinen, strukturierten Bereichen konzentriert sind (Text, Symbole). Die Behandlung aller Token als gleich wichtig oder die ausschließliche reliance auf Attention-Karten kann wesentlichen räumlichen Kontext verwerfen oder die regelmäßige Anordnung von UIs nicht nutzen.

Methodik: AQuaUI

Die Arbeit schlägt AQuaUI vor, ein trainingsfreies Framework zur Laufzeit, das visuelle Token durch Ausnutzung des strukturellen Layouts von GUI-Screenshots reduziert. Die Methode besteht aus drei Kernkomponenten:

1. Adaptive Quadtree-Tokenisierung

Anstelle einer einheitlichen Patching-Methode konstruiert AQuaUI einen adaptiven Quadtree auf dem Eingangsscreenshot, um das Bild basierend auf der Informationsdichte zu partitionieren.

Gitterausrichtung: Da GUI-Abmessungen nicht immer Zweierpotenzen sind, wird das Bild in einen zentralen Bereich (der mit quadratischen Blöcken kachelbar ist) und Randbereiche zerlegt. Der Quadtree wird innerhalb jedes Blocks unabhängig aufgebaut.
Teilungskriterien: Knoten werden rekursiv basierend auf einer Bewertungsfunktion $s(n)$ aufgeteilt. Das Standardkriterium ist die gewichtete Grauwertvarianz ( $s(n) = w_n h_n \cdot \text{Var}(\text{grey}(n))$ ). Ein Knoten wird aufgeteilt, wenn $s(n) > 1000 \cdot \alpha$ . Dies stellt sicher, dass homogene Bereiche durch große Blätter (grob) dargestellt werden, während komplexe Bereiche in kleinere Zellen (fein) unterteilt werden.
Token-Auswahl: Für jeden finalen Blattknoten wird ein einzelnes repräsentatives Token ausgewählt (standardmäßig der zentrale Block des Blattes). Dieses Token wird zusammen mit seinen ursprünglichen räumlichen Koordinaten an das Sprachmodell übergeben.

2. Bedingte Quadtree-Verfeinerung

Um zeitliche Konsistenz bei mehrstufigen GUI-Interaktionen zu adressieren (wo aufeinanderfolgende Screenshots oft nahezu identisch sind), führt AQuaUI einen heuristischen Algorithmus ein, der den aktuellen Quadtree auf vorherige Screenshots innerhalb derselben Anfrage konditioniert.

Zustandsklassifikation: Der Algorithmus klassifiziert die Beziehung zwischen dem aktuellen Block und dem vorherigen Block in drei Modi:
- Statisch: Der Bereich ist nahezu identisch (Ähnlichkeit $\ge \tau_{static}$ ). Die vorherige Quadtree-Partition wird wiederverwendet.
- Verschoben: Der Bereich hat eine Scroll- oder Translationsbewegung erfahren. Der Algorithmus sucht nach einer Block-verschiebung $\delta$ , die die Ähnlichkeit über den überlappenden Bereich maximiert. Wenn eine gültige Verschiebung gefunden wird, werden die groben Blätter aus dem vorherigen Frame verschoben und wiederverwendet.
- Ersetzt: Wenn weder die statische noch die verschobene Bedingung erfüllt ist, wird ein neuer Quadtree von Grund auf neu konstruiert.
Feingranulare Erhaltung: Dieser Mechanismus stellt sicher, dass feingranulare Details, die in früheren Frames erhalten blieben, in späteren Frames nicht versehentlich aufgrund kleiner Verschiebungen zusammengeführt werden, wodurch die Kontinuität des Schlussfolgerns gewahrt bleibt.

3. Konsistenz der Positions-Kodierung

Ein kritischer technischer Beitrag ist die Bewahrung der räumlichen Positionen während der gesamten Pipeline. Die ausgewählten Token behalten ihre ursprünglichen Koordinaten der fusionierten Token bei. Diese Koordinaten werden in die Positions-Kodierungsmechanismen des Modells injiziert (z. B. M-RoPE), wodurch sichergestellt wird, dass das Modell die spärlichen Token in ihrem korrekten geometrischen Kontext interpretiert und nicht als ein komprimiertes Gitter.

Hauptbeiträge

Trainingsfreies Framework: AQuaUI ist eine Plug-and-Play-Methode, die auf beliebige nachgelagerte LMMs anwendbar ist, ohne dass ein Nachtrainieren des Modells erforderlich ist.
Ausnutzung der Struktur: Es nutzt adaptive Quadtrees, um die Token-Reduktion mit der inhärenten nicht uniformen Informationsdichte und räumlichen Regularität von GUIs abzugleichen und übertrifft generische Token-Pruning-Methoden.
Zeitliche Konsistenz: Der bedingte Quadtree-Algorithmus nutzt die Kontinuität zwischen aufeinanderfolgenden Screenshots, um feingranulare Partitionen über statische oder leicht verschobene Zustände hinweg zu erhalten, was für mehrstufige Navigation entscheidend ist.
Implementierung: Die Autoren haben AQuaUI auf State-of-the-Art-Modellen (Qwen2-VL, Qwen3-VL, ShowUI, GUI-Owl, MAI-UI) implementiert und es über mehrere Benchmarks hinweg validiert.

Experimentelle Ergebnisse

Die Autoren bewerteten AQuaUI auf Grounding-Benchmarks (UI-Vision, ScreenSpot-Pro, ScreenSpot-V2, OSWorld-G, MMBench-GUI) und Navigations-Benchmarks (AndroidControl, AndroidWorld).

Genauigkeit-Effizienz-Abwägung: AQuaUI erzielt konsistent bessere Genauigkeits-Latenz-Abwägungen im Vergleich zu Baselines wie ShowUIs UI-gesteuerter Token-Auswahl und zufälligem Token-Dropping.
- Auf Qwen3-VL-32B-Instruct erzielt AQuaUI eine 13,22%ige Beschleunigung und reduziert visuelle Token um 29,52%, während 99,06% der Leistung mit Voll-Token beibehalten werden.
- Auf Qwen2-VL-7B-Instruct reduziert es die Token um ca. 27% mit einem geringeren Genauigkeitsverlust (3,29 Punkte) im Vergleich zu ShowUI (5,95 Punkte).
Modellskalierbarkeit: Die Latenzvorteile werden mit zunehmender Modellgröße deutlicher. Bei größeren Backbones (8B, 32B) überwiegen die Einsparungen bei der Berechnung visueller Token den Overhead der Quadtree-Konstruktion, was zu Netto-Latenzgewinnen führt. Kleinere Modelle (2B) zeigen weniger Latenzverbesserungen aufgrund des festen Overheads der Reduktionslogik.
Ablationsstudien:
- Quadtree vs. Zufall: Zufälliges Token-Dropping führt zu einer signifikanten Genauigkeitsverschlechterung, was bestätigt, dass die adaptive Struktur essenziell ist.
- Bedingte Verfeinerung: Das Entfernen des bedingten Quadtree-Mechanismus führt zu einem konsistenten Rückgang der Erfolgsquoten bei Navigationsaufgaben mit langem Horizont (AndroidWorld), was seinen Wert bei der Aufrechterhaltung zeitlicher Konsistenz beweist.
- Bewertungsfunktionen: Eine auf Varianz basierende Aufteilung bietet stabilere Leistung, während eine auf Gradienten basierende Aufteilung eine höhere Kompression ermöglicht, jedoch auf Kosten der Stabilität unter aggressiven Einstellungen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass AQuaUI demonstriert, dass räumliche Redundanz in GUI-Screenshots zur Inferenzzeit effektiv ausgenutzt werden kann, ohne ein Nachtrainieren.

Die Autoren betonen, dass eine effiziente GUI-Wahrnehmung sich nicht nur darauf konzentrieren sollte, welche Token wichtig sind (ein häufiger Fokus bei der Komprimierung natürlicher Bilder), sondern auch wo sich die Token befinden. Durch die Bewahrung des räumlichen Layouts durch adaptive Partitionierung und bedingte Verfeinerung ermöglicht AQuaUI GUI-Agenten, mit deutlich weniger Token zu operieren, während eine hohe Genauigkeit bei Grounding- und Navigationaufgaben erhalten bleibt. Dieser Ansatz bietet einen praktischen Weg zur Reduzierung der Inferenzkosten und zur Ermöglichung längerer Interaktionsverläufe für GUI-Agenten, insbesondere bei größeren, leistungsfähigeren Modellen.