Resumo Técnico: UI-KOBE

Declaração do Problema

Avanços recentes em agentes de GUI móvel demonstraram potencial significativo para automatizar tarefas, porém sistemas eficazes atualmente dependem fortemente de modelos de visão e linguagem (VLMs) de grande escala para compreensão de capturas de tela e planejamento de longo horizonte. Essa dependência apresenta dois desafios práticos primários:

1. Restrições de Implantação: Modelos de código aberto de grande porte exigem recursos computacionais substanciais, tornando difícil a implantação no dispositivo, enquanto modelos proprietários incorrem em custos elevados de API.
2. Limitações de Capacidade: Modelos menores adequados para implantação no dispositivo (por exemplo, na escala de 4B) frequentemente lutam com raciocínio e planejamento de longo horizonte quando encarregados da execução de GUI de ponta a ponta apenas a partir de capturas de tela. Isso impõe um fardo excessivo à sua capacidade limitada, levando a uma execução de tarefas pouco confiável.

Embora agentes leves ofereçam custos de inferência menores e melhor preservação de privacidade ao manter dados sensíveis locais, permitir que eles realizem tarefas complexas de GUI permanece um desafio aberto.

Metodologia: UI-KOBE

Os autores propõem o UI-KOBE (Exploração de Comportamento Orientada a Conhecimento), um framework projetado para desacoplar a aquisição de conhecimento do aplicativo da execução da tarefa. Em vez de depender exclusivamente do raciocínio de ponta a ponta em tempo de execução, o UI-KOBE constrói um grafo de conhecimento reutilizável e específico do aplicativo por meio de exploração autônoma, que então guia um agente leve durante a execução da tarefa.

1. Representação do Grafo

O UI-KOBE modela um aplicativo como um grafo direcionado $G_A = (V, E)$:

• Nós ($V$): Representam estados de UI semânticos distintos (por exemplo, uma "página de pesquisa" ou "página de configurações") em vez de capturas de tela individuais. Um nó inclui uma descrição semântica da página, um esquema de estado (valores dinâmicos visíveis), uma captura de tela de referência e elementos interativos. Essa abstração permite que diferentes capturas de tela com a mesma função funcional mapeiem para o mesmo nó.
• Arestas ($E$): Representam transições executáveis observadas entre estados de UI. Cada aresta armazena os nós de origem/alvo, a ação executada (JSON), uma instrução em linguagem natural e uma observação de destino. As arestas podem ser:
  • Transições: Movimento entre nós diferentes (por exemplo, da página de pesquisa para a página de resultados).
  • Laços próprios: Ações que modificam o estado da tela atual sem alterar o modelo de UI (por exemplo, atualizar um campo de consulta), registradas com um delta de esquema.

2. Exploração Autônoma

O framework emprega um loop iterativo observar-identificar-planejar-agir para construir o grafo:

• Observação e Identificação: O agente observa uma tela, gera uma descrição semântica e compara com os embeddings de nós existentes. Se uma correspondência for encontrada (verificada via comparação de capturas de tela para evitar erros semânticos), o nó é atualizado; caso contrário, um novo nó é criado.
• Planejamento e Execução de Ações: O agente seleciona interações não exploradas com base na página atual e nas transições existentes, fundamentando uma instrução em linguagem natural em uma única ação de dispositivo (toque, digitação, deslize).
• Registro de Transição: A transição resultante é registrada como uma aresta. O grafo é salvo incrementalmente para permitir a retomada após interrupções.
• Refinamento: Auditoria post-hoc mescla nós duplicados, sinaliza arestas pouco confiáveis e normaliza instruções concretas em modelos reutilizáveis (por exemplo, abstrair "Digite Starbucks" para "Inserir Consulta"). A reexploração orientada à cobertura garante que nós pouco explorados sejam visitados.

3. Agente Orientado por Grafo em Tempo de Execução

Em tempo de execução, um agente leve de GUI utiliza o grafo pré-construído como uma fonte de conhecimento externa para substituir o planejamento aberto por tomada de decisão guiada:

• Recuperação de Nós: Dada uma tarefa e uma captura de tela atual, o agente recupera nós candidatos via embedding visual e seleciona a melhor correspondência usando verificação semântica baseada em modelo.
• Tomada de Decisão: Uma vez identificado o nó atual, o agente seleciona a próxima ação de um conjunto restrito de opções suportadas pelo grafo:
  1. Conclusão da Tarefa: Encerrar a execução.
  2. Ações de Laço Próprio: Modificar o estado da tela atual.
  3. Transições Vizinhas: Mover para nós adjacentes.
  4. Ações Livres: Uma opção de fallback para ações não cobertas pelo grafo.
• Mecanismo de Fallback: Se a tela não puder ser correspondida a um nó ou a ação necessária estiver ausente, o agente invoca um planejador ingênuo para uma única etapa, garantindo robustez sem recorrer ao raciocínio completo de ponta a ponta.
• Memória: Um módulo de memória leve rastreia o progresso da tarefa (por exemplo, instruções concluídas, fatos extraídos) para prevenir ações redundantes e auxiliar na determinação da conclusão da tarefa.

Contribuições Principais

1. Mudança de Paradigma: Propõe desacoplar a aquisição de conhecimento do aplicativo da execução da tarefa, habilitando agentes de GUI móvel orientados por grafo para modelos leves.
2. Framework UI-KOBE: Introduz um método para construir grafos de conhecimento de aplicativos reutilizáveis por meio de exploração autônoma, apresentando definições principiantes de estados semânticos de UI (nós) e transições executáveis (arestas).
3. Agente Orientado por Grafo: Projeta um agente em tempo de execução que aproveita o contexto local do grafo para substituir o planejamento de ponta a ponta por tomada de decisão guiada, melhorando substancialmente a capacidade e a confiabilidade de pequenos agentes de GUI.

Resultados Experimentais

O framework foi avaliado em dois benchmarks: AndroidWorld (automação de tarefas interativas no Android) e A3 (tarefas realistas de aplicativos móveis online com estados de UI dinâmicos).

• Ganhos de Desempenho: O UI-KOBE melhorou consistentemente as taxas de sucesso das tarefas em diferentes escalas de modelo (Qwen3.5-4B, 9B e Plus).
  • No AndroidWorld, o UI-KOBE com um modelo 4B alcançou uma taxa de sucesso de 70,7%, superando significativamente a mesma base sem orientação por grafo (58,6%) e superando muitos agentes de modelo único maiores (por exemplo, UI-TARS-72B em 46,6%).
  • No A3, o UI-KOBE com um modelo 4B alcançou uma Taxa de Conquista de Estado Essencial (ESAR) de 71,5% e uma Taxa de Sucesso Geral (SR) de 61%, comparado a 43,7% de ESAR e 26% de SR para o modelo base 4B.
• Escalabilidade: Os benefícios estenderam-se a modelos maiores (9B e Plus), com o UI-KOBE + Qwen3.5-Plus alcançando as maiores taxas de sucesso geral (77,6% no AndroidWorld, 78% no A3), superando frameworks agênticos fortes como T3A.
• Eficiência de Custos: A construção do grafo incorreu em um custo único (média de US$ 6,2 e 3,2 horas por aplicativo), que é amortizado sobre execuções de tarefas repetidas.

Significado e Alegações

O artigo afirma que o UI-KOBE oferece um passo prático em direção a agentes de GUI no dispositivo eficientes, interpretáveis e conscientes da privacidade. Ao reduzir o fardo do planejamento de ponta a ponta, o framework permite que modelos leves realizem tarefas de GUI móvel com maior confiabilidade. A abordagem melhora a interpretabilidade ao fundamentar cada ação em estruturas de grafo explícitas e suporta reutilização entre tarefas sem exploração repetida. Os autores argumentam que o conhecimento de aplicativos reutilizável é uma direção promissora para construir agentes de GUI que sejam tanto implantáveis em dispositivos com recursos limitados quanto eficazes em cenários complexos e de longo horizonte.

Limitações

Os autores reconhecem várias limitações:

• Dependência de Versão: O grafo é dependente da versão do aplicativo e pode exigir reparo incremental ou reexploração se a UI mudar significativamente.
• Restrições de Implantação: Embora visando agentes no dispositivo, o sistema atual depende de um modelo de embedding externo para recuperação do grafo, impedindo uma implantação totalmente local.
• Escopo: Os experimentos são limitados a aplicativos móveis; a eficácia em sites e aplicativos de PC permanece não verificada.