Resumo Técnico: Cobertura do Espaço de Ação Humana para Uso de Computador: Síntese de Dados e Benchmark

1. Declaração do Problema

Agentes de Uso de Computador (CUAs) visam automatizar o trabalho na tela, mas sua confiabilidade em interações complexas e de baixa frequência permanece precária, limitando a confiança do usuário. A análise de casos de falha em modelos avançados (por exemplo, GPT-5.4) revela um padrão de "cauda longa" nas operações de GUI: enquanto cliques simples são bem tratados, uma parcela desproporcional de falhas de tarefas decorre de interações complexas e diversas, como edição de tabelas, manipulação de texto, desenho em telas e anotação de imagens.

O artigo identifica dois gargalos primários que impedem a implantação de CUAs baseados em GUI:

1. Falta de Benchmarks: Os benchmarks existentes (por exemplo, ScreenSpot-Pro, UI-Vision) são predominantemente "centrados em cliques" e "centrados em widgets", focando em elementos padrão de GUI. Eles falham em avaliar interações complexas como arrastar, desenho à mão livre ou operações em modalidades não baseadas em widgets (tabelas, imagens naturais).
2. Escassez de Dados: Há uma significativa falta de dados de treinamento em grande escala para essas interações complexas. As pipelines de dados atuais herdam em grande parte os paradigmas de raspagem da web e árvores de acessibilidade, que produzem rótulos de clique para widgets, mas carecem da diversidade necessária para capacidades de fundamentação generalizáveis.

2. Metodologia

A. O Benchmark CUActSpot

Para abordar a lacuna de avaliação, os autores introduzem o CUActSpot, um benchmark projetado para refletir cenários reais de uso de computador além do simples clique.

• Modalidades: Cobre cinco modalidades distintas: GUI (widgets padrão), Texto (seleção, inserção), Tabela (operações de planilha, redimensionamento de células), Canvas (manipulação de objetos gráficos) e Imagem Natural (recorte de objetos, desenho de contornos).
• Tipos de Ação: Inclui clique (1 ponto), arrastar (2 pontos) e desenhar (N pontos), cobrindo tanto ações ordenadas (por exemplo, arrastar ao longo de uma seta) quanto desordenadas.
• Métricas de Avaliação: O benchmark emprega um sistema rigoroso de avaliação baseado em regras envolvendo:
  • Regiões Corretas: Coordenadas previstas devem cair dentro dessas áreas.
  • Regiões Proibidas: Previsões que caem aqui são imediatamente marcadas como incorretas para evitar manipulação da métrica.
  • Atributos de Classificação: Usados para ações sensíveis à ordem (por exemplo, arrastar do início ao fim).
• Construção: O benchmark consiste em 206 amostras curadas manualmente e diversas, abrangendo 33 tipos de tarefas detalhados, projetados para minimizar a dependência de conhecimento especializado em software e focar na capacidade de fundamentação.

B. Pipeline de Síntese de Dados Baseada em Renderizador

Para resolver o problema da escassez de dados, os autores propõem uma pipeline de geração de dados totalmente sintética que gera 50 milhões de amostras.

• Renderização: Para cada modalidade, ferramentas baseadas em código renderizam capturas de tela e extraem metadados precisos de coordenadas (caixas delimitadoras, pontos de controle, vértices).
  • GUI/Tabelas: Renderizadas via ferramentas web (Playwright, geração HTML/CSS) com estilos e estruturas aleatorizados.
  • Texto/Canvas: Renderizados usando bibliotecas de gráficos Python (PyQt5, Matplotlib) com fontes, formas e layouts aleatorizados.
  • Imagens Naturais: Derivadas do conjunto de dados SAM, com regiões anotadas usando algoritmos de extração de contorno.
• Síntese de Instruções: Um LLM avançado (OpenAI o3) é instruído a selecionar elementos salientes dos metadados renderizados, realizar cálculos intermediários de coordenadas e gerar instruções de operação complexas e rastreamentos de ação correspondentes (código PyAutoGUI).
• Diversidade: A pipeline garante alta diversidade em estilos visuais, estruturas de tarefas e tipos de interação, evitando o viés da escalabilidade de uma única modalidade.

C. Treinamento do Modelo

Os autores treinam o Phi-Ground-Any-4B, um Modelo Visão-Linguagem (VLM) de 4 bilhões de parâmetros baseado no Phi-3.5-VL.

• Estratégia de Treinamento: O modelo é pré-treinado/treinado intermediariamente nas 50 milhões de amostras sintéticas combinadas com dados do OpenCUA.
• Estudos de Ablação: Experimentos investigam o impacto da composição de dados, comparando especificamente a escalabilidade de uma única modalidade versus o aumento da diversidade de modalidades e tarefas.

3. Contribuições Principais

1. Benchmark CUActSpot: Um novo padrão de avaliação cobrindo cinco modalidades e tipos de ação complexos (arrastar, desenhar) que reflete melhor os requisitos reais de CUAs do que benchmarks anteriores centrados em cliques.
2. Pipeline de Síntese de Dados: Um framework escalável baseado em renderizador que gera 50 milhões de amostras de treinamento de alta qualidade para interações complexas de GUI sem depender de anotação manual.
3. Phi-Ground-Any-4B: Um modelo de código aberto que alcança desempenho state-of-the-art entre modelos com menos de 32 bilhões de parâmetros em benchmarks de interação complexa.
4. Insights Empíricos: A descoberta da "Escalabilidade da Diversidade", demonstrando que aumentar a diversidade de tipos de tarefas e modalidades é mais eficaz para a capacidade interativa geral do que simplesmente escalar o volume de dados dentro de uma única modalidade.

4. Resultados Experimentais

• Desempenho no Benchmark: No CUActSpot, o Phi-Ground-Any-4B supera todos os modelos de código aberto menores que 32 bilhões de parâmetros. Ele alcança uma pontuação geral de 44,4%, superando significativamente modelos como OpenCUA-7B (39,8%) e UI-TARS-1.5-7B (28,5%).
• Comparação com Modelos Comerciais: Embora o GPT-5.4 alcance uma pontuação mais alta (63,6%) no CUActSpot, o Phi-Ground-Any-4B permanece competitivo entre soluções de código aberto.
• Generalização: O modelo mostra forte generalização entre tarefas, completando com sucesso tarefas detalhadas não explicitamente presentes no conjunto de treinamento (por exemplo, editar texto dentro de conteúdo visual).
• Descobertas de Ablação:
  • Escalabilidade da Diversidade: Adicionar modalidades diversas (Texto, Tabela, Canvas, Imagem) ao conjunto de treinamento melhora consistentemente o desempenho em todos os benchmarks, enquanto a escalabilidade de uma única modalidade produz retornos decrescentes.
  • Sensibilidade do Benchmark: Modelos ajustados finamente em dados de software específicos (por exemplo, dados de aplicação do Phi-Ground) mostram ganhos em benchmarks tradicionais (ScreenSpot-Pro, UI-Vision), mas frequentemente sofrem quedas de desempenho no CUActSpot, destacando a mudança de distribuição e as limitações dos benchmarks atuais em medir a capacidade geral de fundamentação.
• Avaliação OSWorld: Quando usado como fundamentador em uma configuração de agente ponta a ponta (com GPT-5.4 como planejador), o Phi-Ground-Any-4B demonstra capacidades robustas de arrastar e soltar em tarefas complexas de planilha, superando modelos maiores em cenários específicos de fundamentação.

5. Significado e Alegações

O artigo afirma que o prior atual de "widget e clique" na pesquisa de fundamentação de GUI é insuficiente para a próxima geração de Agentes de Uso de Computador. Ao introduzir o CUActSpot e uma pipeline de síntese escalável, os autores fornecem à comunidade as ferramentas necessárias para avaliar e treinar modelos na "cauda longa" das interações humanas com computadores.

Os autores enfatizam que a diversidade de tarefas é um motor crítico para aprender capacidades de fundamentação generalizáveis, potencialmente mais do que a escala bruta de dados. Eles posicionam seu trabalho como um passo diagnóstico rumo a CUAs mais robustos, reconhecendo que, embora dados sintéticos permitam cobertura ampla, alinhar-se com distribuições do mundo real e lidar com cenários de longo horizonte e com estado permanecem desafios abertos para trabalhos futuros. O lançamento do benchmark, dados, código e modelos visa facilitar pesquisas adicionais nessa direção.