🤖 AI

AQuaUI: Visual Token Reduction for GUI Agents with Adaptive Quadtrees

AQuaUI est une méthode de réduction de tokens sans entraînement et au moment de l'inférence pour les agents d'interface graphique qui utilise des quadtrees adaptatifs pour exploiter la densité d'information spatiale non uniforme des captures d'écran, permettant d'obtenir des accélérations et une réduction de tokens significatives tout en maintenant des performances quasi complètes et une cohérence temporelle à travers des interactions multi-étapes.

Auteurs originaux : Yuankai Li, Tinghui Zhu, Ha Min Son, Zhe Zhao, Xin Liu, Muhao Chen

Publié 2026-05-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuankai Li, Tinghui Zhu, Ha Min Son, Zhe Zhao, Xin Liu, Muhao Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot très intelligent, mais légèrement lent, comment utiliser un ordinateur ou un téléphone. Vous montrez au robot une image de l'écran et dites : « Cliquez sur le bouton 'Enregistrer'. »

Le problème, c'est que les écrans d'ordinateur sont immenses et remplis de détails. Pour le robot, une seule capture d'écran n'est pas une simple image ; elle est décomposée en milliers de minuscules pièces de puzzle appelées « jetons ». Si l'écran est haute résolution, le robot doit examiner 3 000 de ces pièces juste pour comprendre un écran simple. C'est comme demander à un bibliothécaire de lire chaque page d'une encyclopédie de 1 000 pages pour trouver le seul mot « pomme ». Cela prend une éternité, coûte beaucoup d'énergie, et le robot s'épuise (épuise sa mémoire) avant même de pouvoir se souvenir de toute la conversation.

La solution du document : AQuaUI

Le document présente un nouvel outil appelé AQuaUI (qui signifie Arbres Quaternaires Adaptatifs pour les Interfaces Utilisateur). Imaginez AQuaUI comme un éclaireur ultra-intelligent qui précède le robot pour nettoyer l'image avant même que le robot ne la voie.

Voici comment cela fonctionne, en utilisant quelques analogies du quotidien :

1. La « Chambre Vide » contre le « Bureau Encombré »

La plupart des écrans d'ordinateur sont en réalité assez ennuyeux sur de grandes portions. Imaginez un écran avec un fond blanc géant (une chambre vide) et une petite icône complexe dans un coin (un bureau encombré).

L'ancienne méthode : Le robot examine chaque pouce carré du mur blanc et du bureau encombré avec la même intensité. Il perd du temps à fixer le mur vide.
La méthode AQuaUI : AQuaUI examine l'écran et dit : « Hé, cette grande zone blanche est vide. Je n'ai pas besoin de montrer au robot chaque pixel. Je vais juste envoyer un seul pixel 'représentatif' pour dire : 'Ceci est un mur blanc'. » Mais pour le bureau encombré avec l'icône, il dit : « Ceci est important ! J'enverrai au robot une carte détaillée de cette seule petite zone. »

2. L'analogie de l'« Arbre » (L'Arbre Quaternaire)

Pour faire cela, AQuaUI utilise une méthode appelée Arbre Quaternaire. Imaginez que vous avez une grande carte d'une ville.

Vous dessinez un grand carré autour de toute la ville.
Si la zone à l'intérieur n'est qu'un grand parc (vide), vous vous arrêtez là. Vous n'avez pas besoin de regarder de plus près.
Si la zone à l'intérieur est un centre-ville bondé avec des gratte-ciels (complexe), vous divisez ce carré en quatre plus petits carrés.
Vous continuez à diviser les zones bondées jusqu'à obtenir de tout petits carrés montrant les détails, mais vous laissez les parcs vides comme un seul grand carré.

AQuaUI fait cela avec l'écran. Il construit un « arbre » de carrés. Pour les parties vides, il conserve un seul jeton. Pour les parties encombrées, il en conserve davantage. Cela réduit le nombre de pièces que le robot doit examiner d'environ 30 % sans perdre aucune information importante.

3. L'astuce de l'« Image en Mouvement » (Arbre Quaternaire Conditionnel)

Les écrans d'ordinateur ne sont pas statiques ; ils changent. Si vous faites défiler une page web vers le bas, la partie supérieure monte et de nouveaux éléments apparaissent en bas.

Le problème : Si le robot examine le nouvel écran à partir de zéro, il pourrait accidentellement jeter les détails de la partie supérieure parce qu'ils semblent « différents » dans le nouveau cadre, même s'il s'agit du même contenu qui a simplement bougé.
La correction AQuaUI : AQuaUI se souvient de l'écran précédent. C'est comme un gardien de sécurité qui sait : « J'ai vu ce bouton 'Enregistrer' dans le coin supérieur droit la seconde dernière. Même si l'écran a bougé, je sais exactement où se trouve ce bouton maintenant. » Il utilise l'historique de l'écran pour maintenir la cohérence des détails importants, afin que le robot ne soit pas confus lorsque l'écran se déplace légèrement.

Pourquoi cela compte (selon le document)

Les chercheurs ont testé cela sur les modèles d'IA les plus récents et les plus avancés (comme Qwen et GUI-Owl). Ils ont constaté que :

Vitesse : Le robot travaille plus vite. Sur les plus grands modèles, il était jusqu'à 13 % plus rapide.
Plus intelligent : Même si le robot voyait moins de pièces de l'image, il ne devenait pas moins intelligent. Il donnait toujours les bonnes réponses dans près de 99 % des cas par rapport à la vision de l'image complète.
Aucun entraînement nécessaire : La meilleure partie est que vous n'avez pas besoin de réapprendre au robot comment faire cela. Vous branchez simplement AQuaUI, et cela fonctionne immédiatement.

En résumé :
AQuaUI agit comme un éditeur intelligent pour les écrans d'ordinateur. Il dit à l'IA : « Ignorez l'espace blanc vide, concentrez-vous sur les boutons et le texte, et rappelez-vous ce que vous avez vu il y a une seconde. » Cela rend les agents IA plus rapides et moins chers à exécuter, leur permettant de gérer des conversations plus longues et des tâches plus complexes sans être submergés par trop de données visuelles.

Résumé technique : AQuaUI : Réduction des jetons visuels pour les agents d'interface graphique avec des quadtrees adaptatifs

Énoncé du problème

Les modèles multimodaux de grande taille (LMM) sont devenus l'épine dorsale des agents d'interface graphique (GUI), qui interprètent des captures d'écran haute résolution pour exécuter des tâches. Cependant, le traitement de ces captures d'écran génère un nombre massif de jetons visuels, entraînant des coûts de calcul élevés, une latence d'inférence accrue et une capacité de fenêtre de contexte limitée pour l'historique des conversations.

Les solutions existantes présentent deux limitations principales :

Dépendance à l'entraînement : De nombreuses méthodes de réduction de jetons nécessitent le réentraînement du modèle, limitant leur applicabilité aux agents prêts à l'emploi.
Compression inappropriée : Les méthodes conçues pour les images naturelles (par exemple, l'élagage basé sur l'attention) échouent souvent sur les interfaces graphiques car elles ignorent la structure spatiale unique des captures d'écran de GUI. Les interfaces graphiques présentent une densité d'information hautement non uniforme : de grandes régions sont souvent homogènes (arrière-plans, marges), tandis que les informations critiques sont concentrées dans de petites zones structurées (texte, icônes). Traiter tous les jetons comme également importants ou se fier uniquement aux cartes d'attention peut entraîner la perte de contexte spatial essentiel ou échouer à exploiter la disposition régulière des interfaces utilisateur.

Méthodologie : AQuaUI

L'article propose AQuaUI, un cadre sans entraînement, exécuté au moment de l'inférence, qui réduit les jetons visuels en exploitant la disposition structurelle des captures d'écran de GUI. La méthode se compose de trois composants principaux :

1. Tokenisation par quadtree adaptatif

Au lieu d'un découpage uniforme, AQuaUI construit un quadtree adaptatif sur la capture d'écran d'entrée pour partitionner l'image en fonction de la densité d'information.

Alignement sur la grille : Comme les dimensions des interfaces graphiques ne sont pas toujours des puissances de deux, l'image est décomposée en une région centrale (tessellable avec des blocs carrés) et des marges de bordure. Le quadtree est construit indépendamment dans chaque bloc.
Critères de division : Les nœuds sont divisés récursivement en fonction d'une fonction de score $s(n)$ . Le critère par défaut est la variance pondérée par la surface en niveaux de gris ( $s(n) = w_n h_n \cdot \text{Var}(\text{grey}(n))$ ). Un nœud est divisé si $s(n) > 1000 \cdot \alpha$ . Cela garantit que les régions homogènes sont représentées par de grandes feuilles (grossières), tandis que les régions complexes sont divisées en cellules plus petites (fines).
Sélection de jetons : Pour chaque nœud feuille final, un seul jeton représentatif est sélectionné (par défaut, le bloc central de la feuille). Ce jeton, ainsi que ses coordonnées spatiales d'origine, est transmis au modèle de langage.

2. Raffinement conditionnel du quadtree

Pour aborder la cohérence temporelle dans les interactions GUI multi-étapes (où les captures d'écran consécutives sont souvent presque identiques), AQuaUI introduit un algorithme heuristique qui conditionne le quadtree actuel aux captures d'écran précédentes au sein de la même requête.

Classification d'état : L'algorithme classe la relation entre le bloc actuel et le bloc précédent en trois modes :
- Statique : La région est presque identique (similarité $\ge \tau_{static}$ ). La partition du quadtree précédente est réutilisée.
- Décalée : La région a subi un défilement ou une translation. L'algorithme recherche un décalage au niveau du bloc $\delta$ qui maximise la similarité sur la zone de chevauchement. Si un décalage valide est trouvé, les feuilles grossières de l'image précédente sont traduites et réutilisées.
- Remplacée : Si aucune des conditions statique ou décalée n'est remplie, un nouveau quadtree est construit à partir de zéro.
Préservation fine : Ce mécanisme garantit que les détails fins préservés dans les images précédentes ne sont pas accidentellement fusionnés dans les images ultérieures en raison de légers décalages, maintenant ainsi la continuité du raisonnement.

3. Cohérence du codage de position

Une contribution technique cruciale est la préservation des positions spatiales tout au long du pipeline. Les jetons sélectionnés conservent leurs coordonnées de jetons fusionnés d'origine. Ces coordonnées sont injectées dans les mécanismes de codage de position du modèle (par exemple, M-RoPE), garantissant que le modèle interprète les jetons clairsemés dans leur contexte géométrique correct plutôt que comme une grille compactée.

Contributions clés

Cadre sans entraînement : AQuaUI est une méthode plug-and-play applicable à n'importe quel LMM en aval sans nécessiter de réentraînement du modèle.
Exploitation structurelle : Il utilise des quadtrees adaptatifs pour aligner la réduction des jetons avec la densité d'information non uniforme inhérente et la régularité spatiale des interfaces graphiques, surpassant les méthodes génériques d'élagage de jetons.
Cohérence temporelle : L'algorithme de quadtree conditionnel exploite la continuité entre les captures d'écran consécutives pour préserver les partitions fines à travers des états statiques ou légèrement décalés, ce qui est crucial pour la navigation multi-étapes.
Implémentation : Les auteurs ont implémenté AQuaUI sur des modèles de pointe (Qwen2-VL, Qwen3-VL, ShowUI, GUI-Owl, MAI-UI) et l'ont validé sur plusieurs benchmarks.

Résultats expérimentaux

Les auteurs ont évalué AQuaUI sur des benchmarks de grounding (UI-Vision, ScreenSpot-Pro, ScreenSpot-V2, OSWorld-G, MMBench-GUI) et des benchmarks de navigation (AndroidControl, AndroidWorld).

Compromis Précision-Efficacité : AQuaUI atteint systématiquement de meilleurs compromis précision-latence par rapport aux bases de référence telles que la sélection de jetons guidée par l'interface utilisateur de ShowUI et l'abandon aléatoire de jetons.
- Sur Qwen3-VL-32B-Instruct, AQuaUI réalise une accélération de 13,22 % et réduit les jetons visuels de 29,52 % tout en conservant 99,06 % des performances des jetons complets.
- Sur Qwen2-VL-7B-Instruct, il réduit les jetons d'environ 27 % avec une baisse de précision plus faible (3,29 points) par rapport à ShowUI (5,95 points).
Évolutivité du modèle : Les avantages en termes de latence deviennent plus prononcés à mesure que la taille du modèle augmente. Pour les architectures plus grandes (8B, 32B), les économies de calcul des jetons visuels l'emportent sur la surcharge de la construction du quadtree, entraînant des gains nets de latence. Les modèles plus petits (2B) montrent une amélioration de la latence moins importante en raison de la surcharge fixe de la logique de réduction.
Études d'ablation :
- Quadtree vs Aléatoire : L'abandon aléatoire de jetons entraîne une dégradation significative de la précision, confirmant que la structure adaptative est essentielle.
- Raffinement conditionnel : La suppression du mécanisme de quadtree conditionnel entraîne une baisse constante des taux de réussite sur les tâches de navigation à long horizon (AndroidWorld), prouvant sa valeur pour maintenir la cohérence temporelle.
- Fonctions de score : La division basée sur la variance offre des performances plus stables, tandis que la division basée sur le gradient permet une compression plus élevée au prix d'une stabilité réduite dans des paramètres agressifs.

Importance et affirmations

L'article affirme qu'AQuaUI démontre que la redondance spatiale dans les captures d'écran de GUI peut être efficacement exploitée au moment de l'inférence sans réentraînement.

Les auteurs soulignent que la perception efficace des interfaces graphiques ne doit pas se concentrer uniquement sur quels jetons sont importants (un objectif courant dans la compression d'images naturelles) mais aussi sur où se trouvent les jetons. En préservant la disposition spatiale grâce au partitionnement adaptatif et au raffinement conditionnel, AQuaUI permet aux agents d'interface graphique de fonctionner avec nettement moins de jetons tout en maintenant une haute fidélité dans les tâches de grounding et de navigation. Cette approche offre une voie pratique pour réduire les coûts d'inférence et permettre des historiques d'interaction plus longs pour les agents d'interface graphique, en particulier sur les modèles plus grands et plus performants.