Resumo Técnico: EvoGUI

Declaração do Problema

Modelos de linguagem-visão (VLMs) são cada vez mais implantados como o núcleo de raciocínio para agentes de Interface Gráfica de Usuário (GUI). No entanto, os paradigmas de avaliação existentes dependem fortemente de taxas de sucesso de tarefas de ponta a ponta. Os autores argumentam que essas métricas agregadas "emaranham" a compreensão da transição de estados com outras capacidades, como percepção, fundamentação (grounding), planejamento e recuperação. Consequentemente, uma alta taxa de sucesso não indica necessariamente que um modelo entende como ações específicas (ex: clicar, digitar) transformam os estados da interface. Embora trabalhos recentes em IA incorporada (embodied AI) e agentes móveis tenham introduzido modelos de mundo para avaliação diagnóstica, faltava um framework escalável, derivado de trajetórias, especificamente para a compreensão da transição de estados de GUI.

Metodologia: O Framework EvoGUI

O artigo apresenta o EvoGUI, um framework de diagnóstico que converte trajetórias de interação de GUI normalizadas em três sondagens complementares de Pergunta-Resposta Visual (VQA). Uma característica fundamental do EvoGUI é que ele não requer anotação de rótulos de tarefa adicional após a normalização inicial da trajetória; os rótulos são derivados mecanicamente da ordem registrada de capturas de tela e ações registradas.

O framework é instanciado como EvoGUI-Bench, construído a partir dos conjuntos de dados Mind2Web e WebLINX, gerando 3.000 instâncias em 120 domínios. O benchmark consiste em três tarefas diagnósticas:

1. T1: Ordenação Temporal (Coerência de Sequência)

   • Tarefa: Dados $K$ (3, 4 ou 5) capturas de tela da mesma trajetória apresentadas em ordem embaralhada, o modelo deve fornecer sua sequência cronológica original.
   • Métrica: Precisão de correspondência exata (exact-match accuracy).
   • Objetivo: Avalia a capacidade do modelo de reconhecer a estrutura temporal da evolução do estado.

2. T2: Predição Inversa de Ação/Valor (Atribuição Causal)

   • Tarefa: Dada uma dupla de capturas de tela consecutivas ($s_t, s_{t+1}$), o modelo prevê a ação do usuário (de $\{CLICK, TYPE, SELECT\}$) e, se aplicável, o valor exato (texto digitado ou opção selecionada) que causou a transição.
   • Métricas: Precisão de top-1 apenas de ação e precisão conjunta de ação/valor top-1.
   • Objetivo: Avalia se um modelo consegue explicar uma mudança de estado observada, distinguindo entre detectar uma mudança visual e recuperar o valor de entrada específico.

3. T3: Discriminação de Alcançabilidade de Passo Único (Julgamento de Viabilidade)

   • Tarefa: Dada uma tela inicial e duas telas candidatas (uma sendo o sucessor imediato registrado $s_{t+1}$ e a outra um distrator), o modelo deve identificar o sucessor correto.
   • Tipos de Distratores:
     • Trans-trajetória: Uma tela de uma trajetória diferente.
     • Mesmo domínio: Uma tela da mesma aplicação/domínio.
     • Salto longo (Long-skip): Uma tela posterior ($s_{t+n}$ onde $n \ge 3$) da mesma trajetória.
   • Métrica: Precisão pareada.
   • Objetivo: Avalia a capacidade do modelo de distinguir a transição imediata registrada de outros estados futuros plausíveis, testando especificamente se o modelo confunde "plausibilidade eventual" com "alcançabilidade imediata".

Protocolo de Avaliação:
Os autores avaliam 28 configurações de VLM (tanto de pesos abertos quanto de pesos fechados) em um cenário zero-shot. Para sintetizar os resultados entre tarefas com diferentes linhas de base de escolha aleatória, eles introduzem o Índice EvoGain, uma pontuação de melhoria normalizada sobre uma linha de base de escolha aleatória.

Principais Resultados

A avaliação de 28 modelos revela lacunas significativas na compreensão da transição de estado de GUI atual:

• Teto de Desempenho: O modelo mais forte, Gemini-3-Flash-Preview, atinge um EvoGain de 60,4%. Isso indica que resta um espaço substancial para melhoria, pois os melhores modelos estão longe da saturação.
• Escala e Especialização: A escala do modelo e a especialização em GUI não preveem o desempenho de forma confiável.
  • Modelos maiores (ex: Qwen3.5-397B) não superam consistentemente variantes menores (ex: Qwen3.5-122B).
  • O modelo especializado em GUI UI-TARS-1.5-7B atinge apenas 25,4% de EvoGain, classificando-se abaixo de vários modelos generalistas.
• Insights Específicos por Tarefa:
  • T1: Mesmo os melhores modelos cometem mais de 40% de erros na ordenação temporal exata, sugerindo que a recuperação da estrutura de múltiplas telas é um grande gargalo.
  • T2: O reconhecimento de ação é mais fácil do que a explicação completa da transição. Os modelos apresentam desempenho significativamente melhor na predição apenas de ação do que na predição conjunta de ação/valor, indicando dificuldades em recuperar valores específicos (OCR, vinculação de texto) em vez de apenas identificar o tipo de ação.
  • T3: Os modelos têm dificuldade com distratores de salto longo (long-skip). Embora a precisão pareada agregada seja alta, o desempenho cai ao distinguir o sucessor imediato de um estado posterior no mesmo fluxo de trabalho, sugerindo que os modelos capturam uma plausibilidade de fluxo de trabalho grosseira, mas falham na discriminação precisa ao nível de passo.
• Dependência Visual: Experimentos de controle (removendo a entrada visual) mostram que o desempenho de T1 e T3 colapsa para níveis próximos ao aleatório sem as capturas de tela, confirmando que as tarefas dependem de evidências visuais e não apenas de metadados ou priors de linguagem.

Significância e Alegações

Os autores posicionam o EvoGUI como um complemento de diagnóstico escalável à avaliação de agentes de ponta a ponta, em vez de um substituto.

• Desacoplamento de Capacidades: Ao isolar a compreensão da transição de estado da capacidade de planejamento e recuperação, o EvoGUI expõe falhas específicas (ex: incapacidade de ordenar telas ou recuperar valores digitados) que ficam ocultas pelas taxas de sucesso agregadas de tarefas.
• Eficiência de Anotação: O framework demonstra que benchmarks diagnósticos de alta qualidade podem ser construídos a partir de logs de trajetórias existentes sem o custo de novas anotações humanas, desde que os dados sejam normalizados.
• Limitações: Os autores observam modestamente que o EvoGUI é um diagnóstico de nível de transição. Ele não substitui a necessidade de testes de agentes implantados. A correlação entre o EvoGain e o sucesso no OSWorld é observada, mas baseia-se em uma amostra pequena (5 modelos) e protocolos de relatório mistos, sendo portanto indicativa em vez de preditiva. Além disso, o T3 mede a discriminação contra distratores amostrados, não a impossibilidade universal de alcançar uma tela em um único passo.

Em conclusão, o artigo estabelece que os atuais VLMs possuem uma margem significativa de melhoria na compreensão da dinâmica de interface e que essa capacidade não pode ser inferida apenas pela escala do modelo ou pelo desempenho generalista.