Resumo Técnico: Memória Agente Executável para Agentes de GUI

1. Declaração do Problema

Agentes de GUI modernos, tipicamente alimentados por Modelos de Linguagem de Grande Escala (LLMs), operam sob um paradigma de interação centrado no modelo e passo a passo. Neste paradigma, um LLM deve re-interpretar a Interface do Usuário (UI) e re-decidir ações em cada tela. Essa abordagem é inerentemente frágil para tarefas de longo horizonte, porque pequenos erros perceptivos ou de raciocínio se acumulam, levando a ações alucinadas e desvios incorretos. Além disso, manter o progresso da tarefa dentro da janela de contexto é ineficiente, e a dependência de geração repetida introduz alta latência e custos de tokens.

Tentativas existentes de melhorar a robustez injetando conhecimento externo (por exemplo, padrões de fluxo de trabalho ou bancos de dados vetoriais) frequentemente permanecem pouco confiáveis. Esses métodos geralmente dependem da compreensão contextual do LLM para raciocinar sobre texto recuperado, falhando em aproveitar as informações estruturadas inerentes das trajetórias históricas. Consequentemente, eles lutam para reproduzir caminhos executáveis de forma confiável e incorrem em custos substanciais devido à geração passo a passo repetida e à recuperação.

2. Metodologia

O artigo propõe Memória Agente Executável (EAM), um framework que desloca o planejamento de GUI da geração livre para um processo robusto de recuperação e execução baseado em um Grafo de Conhecimento (KG) estruturado. O sistema compreende duas fases principais:

A. Construção Offline do Grafo de Conhecimento

O objetivo é construir uma representação persistente e estruturada da lógica de interação do ambiente ($G = (S, A, E)$), onde $S$ representa estados de GUI, $A$ representa ações e $E$ representa transições.

1. Exploração Autônoma: O sistema emprega uma estratégia de Busca em Profundidade (DFS) orientada a tarefas e consciente de estados. Um MLLM gera sub-objetivos candidatos com base em elementos interativos (âncoras) e avalia o progresso (Continuar, Retroceder ou Concluir). Isso garante uma cobertura abrangente das transições relevantes para a tarefa, formando naturalmente uma estrutura de árvore de prefixos.
2. Mineração de Conhecimento Consciente de Transição: Trajetórias coletadas são mescladas em um Grafo Acíclico Direcionado (DAG). Um mecanismo de filtragem de duas camadas (similaridade de embeddings seguido por verificação de Modelo de Linguagem e Visão) lida com a deduplicação de estados. Atributos semânticos (descrições de página e funções de ação) são extraídos das transições de estado para enriquecer o grafo.
3. Mineração de Grupos de Ação: Para comprimir rotinas de múltiplos passos, os autores propõem uma abordagem estatística inspirada na Codificação Byte Pair (BPE). Pares de ações adjacentes frequentes são iterativamente mesclados em novos nós de "grupo de ação", transformando o KG de operações atômicas em uma hierarquia de habilidades de alto nível reutilizáveis.

B. Raciocínio Online Aumentado por Conhecimento

Dada uma instrução do usuário, o agente extrai um caminho executável do KG usando uma Busca em Árvore de Monte Carlo (MCTS) Guiada por Valor.

1. MCTS Guiado por Modelo Q: Diferentemente de agentes generativos que mapeiam tokens para o grafo, este agente opera diretamente na topologia do grafo. Um modelo leve de função Q ($Q_\theta$) prevê a probabilidade de sucesso da tarefa para pares estado-ação. O algoritmo MCTS usa esse modelo Q para inicializar valores de nós e guiar a busca através do critério UCT, selecionando caminhos de alta recompensa do espaço de ações restrito.
2. Pipeline de Auto-treinamento: O modelo Q é refinado através de um processo iterativo:
   • Inicialização: Treinado via aprendizado de preferência em trajetórias de especialistas usando uma perda de classificação Bradley-Terry para estabelecer classificações iniciais de ações.
   • Refinamento Iterativo: O agente executa MCTS guiado pelo modelo Q atual para gerar árvores de busca. Valores Q-alvo são computados via backups de Bellman de baixo para cima (média sobre políticas aleatórias uniformes). O modelo é então atualizado usando perda de entropia cruzada binária com esses rótulos suaves, melhorando progressivamente sua capacidade de distinguir caminhos promissores.

3. Contribuições Teóricas

O artigo fornece garantias teóricas para o framework proposto:

• Consistência de Viés: Os autores estabelecem que o modelo Q aprendido é consistente em viés com a função de valor de referência ($Q_{\pi_u}$) no conjunto crítico de estados-ações necessários para a recuperação do caminho ótimo. O limite de erro diminui à medida que o número de amostras de treinamento aumenta.
• Complexidade de Amostra: Um limite de complexidade de amostra finita é derivado para o processo MCTS. A análise mostra que o número de simulações necessário para recuperar o caminho ótimo escala polinomialmente com o horizonte e o fator de ramificação, e inversamente com o quadrado da lacuna de ação efetiva. Crucialmente, à medida que o modelo Q melhora (reduzindo o viés), menos simulações MCTS são necessárias.

4. Resultados Experimentais

O método foi avaliado em três benchmarks: AndroidWorld, MobileMiniWob++ e DroidTask.

• Desempenho: O EAM supera significativamente as linhas de base mais avançadas. No AndroidWorld, alcança uma taxa de sucesso de 52,6%, superando o UI-TARS-7B SOTA (33,0%) em 19,6%. Também supera frameworks baseados em GPT-4o como M3A (40,5%) e alcança resultados comparáveis a agentes maiores e aprimorados por conhecimento como AppAgentX e GUI-Explorer, apesar de usar um modelo menor de 3B parâmetros para extração de caminhos.
• Eficiência: O EAM reduz os custos de tokens em aproximadamente 6× comparado ao GPT-4o (8,3K tokens vs. 50,8K por passo) e alcança uma latência média de 2,8 segundos. Essa eficiência decorre do framework "planejar-então-executar", que requer apenas uma única chamada em nuvem para filtrar o caminho recuperado, em vez de chamadas de API iterativas para cada passo.
• Estudos de Ablação:
  • Auto-treinamento: O auto-treinamento iterativo melhora consistentemente as taxas de sucesso em diferentes tamanhos de modelo (0,5B a 3B).
  • Grupos de Ação: Mesclar sequências frequentes em grupos de ação reduz significativamente a complexidade de busca e a latência.
  • Generalização: Um modelo Q treinado em um ambiente (AndroidWorld) melhora o desempenho em ambientes não vistos (DroidTask, MobileMiniWob++), sugerindo que o modelo captura padrões de navegação em GUI transferíveis.

5. Significado e Alegações

O artigo alega que o EAM representa uma mudança de paradigma para agentes de GUI ao tratar o Grafo de Conhecimento não meramente como uma fonte de recuperação para injeção em contexto, mas como uma máquina de estados executável.

• Confiabilidade: Ao fundamentar a tomada de decisão em um grafo estruturado de transições válidas, o EAM garante que o agente permaneça em caminhos executáveis, mitigando as alucinações comuns na geração livre.
• Eficiência: A combinação de compressão de grupos de ação e busca guiada por valor permite que modelos pequenos realizem tarefas de longo horizonte com baixa latência e custo, fechando a lacuna de raciocínio entre modelos de linguagem pequenos e LLMs de fronteira.
• Escalabilidade: As garantias teóricas e os resultados empíricos sugerem que essa abordagem é escalável e robusta, oferecendo um caminho viável para automação de GUI confiável e em tempo real sem os custos proibitivos dos métodos atuais de geração passo a passo baseados em nuvem.

Os autores reconhecem limitações relacionadas à suposição de um ambiente de UI relativamente estático, observando que atualizações significativas de aplicativos podem exigir mecanismos para evolução incremental do grafo, o que permanece uma direção para trabalho futuro.