Resumo Técnico: AQuaUI: Redução de Tokens Visuais para Agentes de GUI com Quadtree Adaptativa

Declaração do Problema

Os Modelos Multimodais Grandes (LMMs) tornaram-se a base para agentes de Interface Gráfica do Usuário (GUI), que interpretam capturas de tela de alta resolução para executar tarefas. No entanto, processar essas capturas de tela gera um número massivo de tokens visuais, levando a altos custos computacionais, aumento da latência de inferência e capacidade limitada da janela de contexto para o histórico de conversação.

As soluções existentes enfrentam duas limitações primárias:

1. Dependência de Treinamento: Muitos métodos de redução de tokens exigem o retreinamento do modelo, limitando sua aplicabilidade a agentes prontos para uso (off-the-shelf).
2. Compressão Inadequada: Métodos projetados para imagens naturais (por exemplo, poda baseada em atenção) frequentemente falham em GUIs porque ignoram a estrutura espacial única das capturas de tela de GUI. As GUIs exibem densidade de informação altamente não uniforme: grandes regiões são frequentemente homogêneas (fundos, margens), enquanto informações críticas estão concentradas em áreas pequenas e estruturadas (texto, ícones). Tratar todos os tokens como igualmente importantes ou confiar exclusivamente em mapas de atenção pode descartar o contexto espacial essencial ou falhar em explorar o layout regular das interfaces de usuário.

Metodologia: AQuaUI

O artigo propõe o AQuaUI, um framework sem treinamento, executado no momento da inferência, que reduz tokens visuais explorando o layout estrutural das capturas de tela de GUI. O método consiste em três componentes principais:

1. Tokenização de Quadtree Adaptativa

Em vez de particionamento uniforme, o AQuaUI constrói uma quadtree adaptativa na captura de tela de entrada para particionar a imagem com base na densidade de informação.

• Alinhamento de Grade: Como as dimensões da GUI nem sempre são potências de dois, a imagem é decomposta em uma região central (passível de ser dividida em blocos quadrados) e margens de fronteira. A quadtree é construída independentemente dentro de cada bloco.
• Critérios de Divisão: Os nós são divididos recursivamente com base em uma função de pontuação $s(n)$. O critério padrão é a variância ponderada por área em escala de cinza ($s(n) = w_n h_n \cdot \text{Var}(\text{grey}(n))$). Um nó é dividido se $s(n) > 1000 \cdot \alpha$. Isso garante que regiões homogêneas sejam representadas por folhas grandes (grossas), enquanto regiões complexas são divididas em células menores (finas).
• Seleção de Tokens: Para cada nó folha final, um único token representativo é selecionado (padrão: o bloco central da folha). Este token, juntamente com suas coordenadas espaciais originais, é passado para o modelo de linguagem.

2. Refinamento Condicional de Quadtree

Para abordar a consistência temporal em interações de GUI de múltiplos passos (onde capturas de tela consecutivas são frequentemente quase idênticas), o AQuaUI introduz um algoritmo heurístico que condiciona a quadtree atual às capturas de tela anteriores dentro da mesma solicitação.

• Classificação de Estado: O algoritmo classifica a relação entre o bloco atual e o bloco anterior em três modos:
  • Estático: A região é quase idêntica (similaridade $\ge \tau_{static}$). A partição da quadtree anterior é reutilizada.
  • Deslocado: A região sofreu uma rolagem ou translação. O algoritmo busca um deslocamento em nível de bloco $\delta$ que maximize a similaridade sobre a área sobreposta. Se um deslocamento válido for encontrado, as folhas grossas do quadro anterior são transladadas e reutilizadas.
  • Substituído: Se nenhuma das condições estática ou deslocada for atendida, uma nova quadtree é construída do zero.
• Preservação de Alta Granularidade: Este mecanismo garante que detalhes de alta granularidade preservados em quadros anteriores não sejam acidentalmente mesclados em quadros posteriores devido a pequenos deslocamentos, mantendo a continuidade do raciocínio.

3. Consistência de Codificação de Posição

Uma contribuição técnica crítica é a preservação das posições espaciais ao longo de todo o pipeline. Os tokens selecionados retêm suas coordenadas originais de tokens mesclados. Essas coordenadas são injetadas nos mecanismos de codificação de posição do modelo (por exemplo, M-RoPE), garantindo que o modelo interprete os tokens esparsos em seu contexto geométrico correto, em vez de como uma grade compactada.

Principais Contribuições

1. Framework Sem Treinamento: O AQuaUI é um método plug-and-play aplicável a qualquer LMM downstream sem exigir retreinamento do modelo.
2. Exploração Estrutural: Utiliza quadtree adaptativa para alinhar a redução de tokens com a densidade de informação não uniforme inerente e a regularidade espacial das GUIs, superando métodos genéricos de poda de tokens.
3. Consistência Temporal: O algoritmo de quadtree condicional aproveita a continuidade entre capturas de tela consecutivas para preservar partições de alta granularidade em estados estáticos ou levemente deslocados, crucial para navegação de múltiplos passos.
4. Implementação: Os autores implementaram o AQuaUI em modelos de última geração (Qwen2-VL, Qwen3-VL, ShowUI, GUI-Owl, MAI-UI) e validaram-no em múltiplos benchmarks.

Resultados Experimentais

Os autores avaliaram o AQuaUI em benchmarks de ancoragem (UI-Vision, ScreenSpot-Pro, ScreenSpot-V2, OSWorld-G, MMBench-GUI) e benchmarks de navegação (AndroidControl, AndroidWorld).

• Compromisso Precisão-Eficiência: O AQuaUI alcança consistentemente melhores compromissos precisão-latência em comparação com baselines como a seleção de tokens guiada por UI do ShowUI e a queda aleatória de tokens.
  • No Qwen3-VL-32B-Instruct, o AQuaUI alcança um aceleração de 13,22% e reduz os tokens visuais em 29,52%, mantendo 99,06% do desempenho de tokens completos.
  • No Qwen2-VL-7B-Instruct, reduz os tokens em ~27% com uma queda menor de precisão (3,29 pontos) em comparação ao ShowUI (5,95 pontos).
• Escalabilidade do Modelo: Os benefícios de latência tornam-se mais pronunciados à medida que o tamanho do modelo aumenta. Para backbones maiores (8B, 32B), as economias no cálculo de tokens visuais superam a sobrecarga da construção da quadtree, resultando em ganhos líquidos de latência. Modelos menores (2B) mostram menos melhoria de latência devido à sobrecarga fixa da lógica de redução.
• Estudos de Ablação:
  • Quadtree vs. Aleatório: A queda aleatória de tokens causa degradação significativa de precisão, confirmando que a estrutura adaptativa é essencial.
  • Refinamento Condicional: Remover o mecanismo de quadtree condicional leva a uma queda consistente nas taxas de sucesso em tarefas de navegação de longo horizonte (AndroidWorld), provando seu valor na manutenção da consistência temporal.
  • Funções de Pontuação: A divisão baseada em variância oferece desempenho mais estável, enquanto a divisão baseada em gradiente permite maior compressão às custas da estabilidade sob configurações agressivas.

Significado e Alegações

O artigo afirma que o AQuaUI demonstra que a redundância espacial em capturas de tela de GUI pode ser explorada efetivamente no momento da inferência sem retreinamento.

Os autores enfatizam que a percepção eficiente de GUI não deve focar meramente em quais tokens são importantes (um foco comum na compressão de imagens naturais), mas também onde os tokens estão localizados. Ao preservar o layout espacial por meio de particionamento adaptativo e refinamento condicional, o AQuaUI permite que agentes de GUI operem com significativamente menos tokens, mantendo alta fidelidade em tarefas de ancoragem e navegação. Esta abordagem oferece um caminho prático para reduzir custos de inferência e permitir históricos de interação mais longos para agentes de GUI, particularmente em modelos maiores e mais capazes.