GUIDE: A Benchmark for Understanding and Assisting Users in Open-Ended GUI Tasks

Título: GUIDE: Um Benchmark para Compreender e Assistir Usuários em Tarefas de GUI Abertas

1. O Problema

Os agentes de Interface Gráfica de Usuário (GUI) atuais, tanto na pesquisa acadêmica quanto em serviços comerciais (como o Copilot da Microsoft), focam predominantemente na automação total. O paradigma existente assume que, dado um objetivo fixo, o agente deve executar uma sequência de cliques e teclas para completar a tarefa.

No entanto, essa abordagem ignora a intenção humana e a natureza de fluxos de trabalho abertos (open-ended). Em cenários reais, especialmente em ferramentas criativas e analíticas (como Photoshop, PowerPoint, Excel), os usuários:

• Valorizam a capacidade de explorar, iterar e refinar ideias.
• Frequentemente revisam suas intenções durante a tarefa.
• Precisam manter a agência (controle) sobre o processo.
• Passam por estados cognitivos complexos como confusão, frustração e tomada de decisão, que um agente puramente automatizado pode interpretar erroneamente como redundância ou erro.

Existe uma lacuna crítica: a falta de sistemas capazes de compreender o contexto cognitivo e comportamental do usuário para oferecer assistência proativa e colaborativa, em vez de apenas substituir o usuário.

2. Metodologia

Para abordar essa lacuna, os autores introduzem o GUIDE (GUI User Intent Detection Evaluation), um benchmark projetado para avaliar modelos de linguagem multimodal (MLLMs) na capacidade de perceber comportamento, inferir intenção e fornecer assistência.

A. Coleta de Dados (Dataset)

• Fonte: 120 demonstrações de usuários noviços (não especialistas) em 10 softwares diferentes (Photoshop, Figma, PowerPoint, Premiere Pro, Excel, etc.).
• Volume: 67,5 horas de gravações de tela.
• Tarefas: 40 tarefas abertas e orientadas a objetivos (ex: "crie um logotipo", "edite um vídeo curto"), projetadas para elicitar comportamentos naturais, incluindo erros, hesitação e exploração.
• Anotação: Cada sessão inclui gravação de tela e narração "pensar em voz alta" (think-aloud), capturando o raciocínio, intenções e estados mentais do usuário.

B. Taxonomia de Comportamento
Os autores desenvolveram uma taxonomia de 9 estados de comportamento do usuário, agrupados em 4 fases cognitivas:

1. Planejamento: Compreensão da tarefa e Ideação/Planejamento.
2. Execução: Exploração e Tomada de Decisão; Realização de Ações.
3. Resolução de Problemas: Frustração; Depuração (Debugging); Busca por Ajuda Externa.
4. Avaliação: Aguardando/Monitorando; Avaliação do resultado.

C. Tarefas do Benchmark
O GUIDE define três tarefas inter-relacionadas para avaliar os modelos:

1. Detecção de Estado Comportamental (Behavior State Detection): Classificar o segmento de vídeo em um dos 9 estados da taxonomia baseada apenas em pistas visuais.
2. Previsão de Intenção (Intent Prediction): Inferir o objetivo de curto prazo do usuário (o que ele está tentando alcançar naquele momento).
3. Previsão de Ajuda (Help Prediction):
   • Necessidade de Ajuda: Determinar se o usuário precisa de assistência (binário).
   • Conteúdo da Ajuda: Identificar o tipo de ajuda necessária (ex: explicar um recurso, sugerir uma alternativa, corrigir um erro).

D. Configuração Experimental

• Foram avaliados 8 modelos de última geração (MLLMs), incluindo Gemini-2.5, GPT-4o, Claude-4.5, Qwen e InternVL.
• Avaliação Zero-Shot: Os modelos foram testados sem ajuste fino (fine-tuning).
• Entrada: Apenas entrada visual (frames de vídeo), simulando cenários do mundo real onde o áudio do usuário não está disponível para o agente.
• Contexto: Testes realizados tanto em configurações "offline" (vídeo completo) quanto "online" (recebendo o vídeo progressivamente).

3. Principais Contribuições

1. Novo Paradigma de Avaliação: Desloca o foco da "automação de tarefas" para a "compreensão e assistência ao usuário", alinhando-se melhor com as necessidades de colaboração humano-AI.
2. Dataset Único: O primeiro benchmark de grande escala focado em usuários noviços em tarefas abertas, capturando a autenticidade da confusão e da exploração, ao contrário de datasets anteriores baseados em tutoriais de especialistas.
3. Taxonomia Cognitiva: Uma estrutura detalhada de estados de comportamento que mapeia a jornada cognitiva do usuário em interfaces complexas.
4. Análise de Contexto Estruturado: Demonstra empiricamente como fornecer contexto estruturado (estado comportamental e intenção inferida) melhora drasticamente a capacidade de um modelo de prever a necessidade de ajuda.

4. Resultados

A avaliação dos 8 modelos de ponta revelou desafios significativos, mas também caminhos promissores:

• Desempenho Geral Baixo: Os modelos lutaram para interpretar comportamentos sutis.
  • Precisão na Detecção de Estado Comportamental: Média máxima de 44,6% (Claude-4.5-Sonnet).
  • Precisão na Previsão de Conteúdo de Ajuda: Média máxima de 55,0%.
• Falhas Comuns: Os modelos tendem a interpretar sinais de luta (como cliques repetidos, hesitação ou "desfazer" ações) como "Execução de Ações" produtivas, falhando em detectar Frustração ou Depuração.
• Impacto do Contexto: A descoberta mais crítica foi que fornecer contexto estruturado ao modelo melhorou o desempenho drasticamente.
  • Ao fornecer o estado comportamental e a intenção ao modelo, a precisão na Previsão de Necessidade de Ajuda aumentou em até 50,2 pontos percentuais para o modelo de menor desempenho.
  • Isso destaca que a compreensão humana estruturada é fundamental para uma assistência eficaz.
• Contexto Temporal: Modelos que receberam o vídeo progressivamente (cenário online) mostraram melhorias consistentes à medida que viam mais do histórico, sugerindo que a memória de longo prazo e a evolução temporal são cruciais para a assistência proativa.

5. Significância e Conclusão

O trabalho GUIDE estabelece um marco fundamental para o desenvolvimento da próxima geração de agentes de GUI. Ele demonstra que:

• A automação cega é insuficiente para tarefas criativas e analíticas complexas.
• A verdadeira colaboração requer que o agente entenda o que o usuário está fazendo, por que está fazendo e quando ele precisa de ajuda.
• A integração de contexto estruturado (estados e intenções) é mais eficaz do que tentar inferir tudo apenas a partir de pixels brutos.

O benchmark e o dataset estão disponíveis publicamente, servindo como base para treinar e avaliar agentes que não apenas executam tarefas, mas que atuam como parceiros cognitivos, acelerando a exploração do usuário enquanto mantêm o controle humano sobre o processo criativo.