AQuaUI: Visual Token Reduction for GUI Agents with Adaptive Quadtrees
AQuaUI 是一种无需训练、在推理阶段进行令牌缩减的图形用户界面代理方法，它利用自适应四叉树来挖掘截图中的非均匀空间信息密度，从而在保持多步交互中近乎完整的性能与时间一致性的同时，实现显著的速度提升和令牌缩减。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个非常聪明但反应稍慢的机器人如何使用电脑或手机。你给机器人看一张屏幕截图，并说：“点击‘保存’按钮。”
问题在于，电脑屏幕巨大且细节繁多。对机器人而言，单张截图并非一张完整的图像，而是被分解为成千上万个称为“令牌”（tokens）的微小拼图块。如果屏幕分辨率很高，机器人仅为了理解一个简单的屏幕，就需要查看 3,000 个这样的拼图块。这就像要求图书管理员翻阅一本 1,000 页百科全书的每一页，只为找到“苹果”这一个词。这既耗时又耗费大量能量，而且机器人在记住整个对话之前就会耗尽资源（内存不足）。
论文提出的解决方案：AQuaUI
这篇论文介绍了一种名为AQuaUI（自适应 UI 四叉树，Adaptive Quadtrees for UI）的新工具。可以将 AQuaUI 想象成一个超级聪明的侦察兵，它在机器人看到图像之前，先对图像进行清理。
以下是其工作原理，借助一些日常类比：
1. “空房间”与“繁忙的书桌”
大多数电脑屏幕在大部分区域其实相当单调。想象一个屏幕，背景是大片白色（空房间），而角落有一个微小但复杂的图标（繁忙的书桌）。
- 旧方法：机器人以同样的强度查看白色墙壁的每一个平方英寸以及繁忙的书桌。它浪费时间在凝视空白的墙壁上。
- AQuaUI 方法：AQuaUI 查看屏幕后说：“嘿，这片大白色区域是空的。我不需要向机器人展示它的每一个像素。我只发送一个‘代表性’像素来表示‘这是一面白墙’。”但对于带有图标的繁忙书桌，它说：“这很重要！我会向机器人发送仅针对这一小片区域的详细地图。”
2. “树”的类比（四叉树）
为了实现这一点，AQuaUI 使用了一种称为四叉树（Quadtree）的方法。想象你有一张巨大的城市地图。
- 你在整个城市周围画一个大正方形。
- 如果正方形内部只是一片大公园（空旷），你就停在那里。你不需要看得更仔细。
- 如果正方形内部是拥有摩天大楼的拥挤市中心（复杂），你就将该正方形分割成四个更小的正方形。
- 你持续分割拥挤区域，直到得到能显示细节的微小正方形，但你让空旷的公园保持为一个大正方形。
AQuaUI 对屏幕执行此操作。它构建了一个由正方形组成的“树”。对于空旷部分，它保留一个令牌；对于繁忙部分，它保留更多令牌。这使得机器人需要查看的拼图块数量减少了约30%，同时没有丢失任何重要信息。
3. “动态画面”技巧（条件四叉树）
电脑屏幕并非静止的；它们会变化。如果你向下滚动网页，顶部内容会上移，底部会出现新内容。
- 问题：如果机器人从头开始查看新屏幕，它可能会因为顶部内容在新帧中看起来“不同”而意外丢弃其细节，即使那只是移动了的相同内容。
- AQuaUI 的修复：AQuaUI 会记住之前的屏幕。这就像一名保安，他知道：“上一秒我在右上角看到了那个‘保存’按钮。即使屏幕移动了，我也确切知道那个按钮现在在哪里。”它利用屏幕的历史记录来保持重要细节的一致性，这样当屏幕发生轻微移动时，机器人就不会感到困惑。
为什么这很重要（根据论文）
研究人员在最新、最先进的 AI 模型（如 Qwen 和 GUI-Owl）上测试了该方法。他们发现：
- 速度：机器人工作得更快。在最大的模型上，速度提升了高达13%。
- 更智能：尽管机器人看到的图像碎片更少，但它并没有变笨。与查看完整图像相比，它仍然在几乎 99% 的情况下给出了正确答案。
- 无需训练：最好的部分是，你不需要重新教导机器人如何执行此操作。你只需将 AQuaUI 接入，它即可立即生效。
总结：
AQuaUI 就像电脑屏幕的智能编辑器。它告诉 AI：“忽略空白的白色空间，专注于按钮和文本，并记住你一秒前看到的内容。”这使得 AI 代理运行得更快、成本更低，能够处理更长的对话和更复杂的任务，而不会被过多的视觉数据压垮。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。