Resumo Técnico: Grounding de Agentes de Uso de Computador em Demonstrações Humanas (GROUNDCUA & GROUNDNEXT)

Declaração do Problema

O desenvolvimento de Agentes de Uso de Computador (CUAs) confiáveis, capazes de operar softwares em nome dos usuários, depende do grounding (ancoragem): a capacidade de mapear instruções em linguagem natural para elementos específicos da interface de usuário (UI) na tela. Embora existam grandes conjuntos de dados para interações web e móveis, recursos de alta qualidade para ambientes de desktop permanecem limitados. Aplicações de desktop apresentam desafios únicos, incluindo telas de alta resolução, layouts densos, elementos visualmente semelhantes e artefatos específicos do usuário que introduzem variabilidade não vista durante o treinamento. Os conjuntos de dados automatizados existentes frequentemente sofrem com sinais de acessibilidade incompletos, sub-representação de controles pequenos apenas com ícones e uma falta de anotações detalhadas necessárias para uma localização precisa. Consequentemente, os agentes frequentemente falham ao executar planos corretamente quando não conseguem identificar o botão, item de menu ou controle exato necessário.

Metodologia

1. O Conjunto de Dados GROUNDCUA

Para abordar a escassez de dados de desktop de alta qualidade, os autores introduzem o GROUNDCUA, um conjunto de dados de grande escala, anotado por humanos, derivado de demonstrações de especialistas.

• Coleta de Dados: O conjunto de dados compreende 56.000 capturas de tela de 87 aplicações de código aberto em 12 categorias (ex: Office, Desenvolvimento, CAD, Científico). Diferente de trabalhos anteriores que dependem de travessia automatizada ou geração de estado aleatório, os dados foram coletados por anotadores treinados realizando tarefas do mundo real (ex: editar planilhas, executar simulações).
• Processo de Anotação: Keyframes capturando o estado imediatamente antes das ações do usuário foram extraídos. Os anotadores forneceram 3,56 milhões de anotações verificadas por humanos, rotulando cada elemento visível com caixas delimitadoras (bounding boxes), nomes textuais e categorias. Aproximadamente 50% dos elementos foram atribuídos a categorias de alto nível (ex: Menu, Botão, Slider).
• Geração de Instruções: Aproveitando as anotações densas (caixas delimitadoras, OCR, contexto), os autores construíram um conjunto de dados de ajuste fino de instrução de 700K. As instruções foram geradas em três tipos para mimetizar a diversidade do mundo real:
  • Direta: Descrevendo atributos ou texto (ex: "Clique no botão 'Salvar'").
  • Funcional: Focando na ação (ex: "Abra uma nova aba").
  • Espacial: Usando posicionamento relativo (ex: "Clique no ícone à esquerda de 'Arquivos'").
• Escala e Diversidade: O conjunto de dados apresenta imagens de alta resolução (0,39M a 7,0M de pixels) e uma média de 64 anotações por captura de tela, significativamente mais denso que os benchmarks existentes. Inclui elementos finos como pequenos ícones e barras de ferramentas que frequentemente são perdidos por pipelines automatizados.

2. A Família de Modelos GROUNDNEXT

Os autores desenvolveram o GROUNDNEXT, uma série de modelos de visão-linguagem (3B e 7B parâmetros) baseados no Qwen2.5-VL-Instruct, treinados para mapear instruções para coordenadas de UI alvo.

• Estágio 1: Ajuste Fino Supervisionado (SFT): Os modelos foram treinados no conjunto curado de 700K pares instrução-imagem do GROUNDCUA. Tanto o codificador de visão quanto o modelo de linguagem foram ajustados finamente.
• Estágio 2: Aprendizado por Reforço (RL): Um estágio de pós-treinamento usando otimização Relative Leave-One-Out (RLOO).
  • Função de Recompensa: Uma recompensa discreta customizada baseada na distância normalizada entre a coordenada prevista e a caixa delimitadora da verdade fundamental (ground-truth). Previsões dentro da caixa recebem recompensas positivas, enquanto aquelas fora recebem penalidades escalonadas pela sua distância.
  • Dados: 10K novas amostras (distintas do conjunto SFT) foram usadas para RL para garantir a generalização.

Principais Contribuições

1. Conjunto de Dados GROUNDCUA: O maior conjunto de dados de grounding de desktop anotado por especialistas até o momento, apresentando 56K capturas de tela, 3,56M+ elementos e diversidade de alta resolução em 87 aplicações. Ele aborda a lacuna na supervisão densa e detalhada de desktop.
2. Modelos GROUNDNEXT: Uma família de modelos 3B e 7B treinados com um pipeline de dois estágios SFT+RL. Eles alcançam desempenho de estado da arte (SOTA) em benchmarks de desktop usando significativamente menos amostras de treinamento (700K SFT + 10K RL) em comparação com modelos anteriores treinados em milhões de amostras.
3. Eficiência e Generalização: O trabalho demonstra que dados de alta qualidade, impulsionados por especialistas, podem superar conjuntos de dados maiores e menos precisos. Os modelos mostram forte generalização cross-platform para ambientes móveis e web, apesar de terem sido treinados exclusivamente em desktop.

Resultados

Benchmarks

Os modelos foram avaliados em cinco benchmarks: ScreenSpot-Pro, OSWorld-G, UI-Vision, MMBench-GUI e ScreenSpot-v2.

• Desempenho SFT: O GROUNDNEXT-3B (SFT) alcançou uma pontuação média de 66,4 (incluindo UI-Vision) e 68,4 (excluindo UI-Vision), superando a próxima melhor baseline de 3B SFT (GUI-Actor-3B) por uma margem significativa (+12,1 pontos com UI-Vision). O GROUNDNEXT-7B (SFT) similarmente liderou o grupo de 7B SFT.
• Desempenho RL: Adicionar RL melhorou ainda mais os resultados. O GROUNDNEXT-3B (RL) atingiu 68,4 (Média) e o GROUNDNEXT-7B (RL) atingiu 70,5.
• Comparação: Apesar de usar menos de 1/10 das amostras SFT usadas por modelos como o JEDI (9M amostras), o GROUNDNEXT superou as baselines de SFT existentes e permaneceu competitivo com sistemas ajustados via RL.

Desempenho Agêntico (Verificado pelo OSWorld)

Avaliado em um cenário agêntico de múltiplos passos usando OpenAI o3 como planejador:

• GROUNDNEXT-3B (RL) alcançou uma pontuação geral de 50,6, superando significativamente outros modelos open-source de 3B (ex: OpenCUA-A3B com 17,7) e superando modelos maiores como o OpenCUA-72B (46,1) e APIs proprietárias como Qwen3-VL-Flash (41,6).
• Alcançou um desempenho comparável ao JEDI-7B (51,0), apesar de ser menos da metade do tamanho, demonstrando alta utilidade prática para sistemas com restrição de recursos.

Análise

• Qualidade de Dados vs. Quantidade: Treinar o mesmo modelo base em 100K amostras de vários conjuntos de dados (Aguvis, UGround, JEDI, etc.) mostrou que o GROUNDCUA gerou o maior desempenho, confirmando que a supervisão densa e de especialistas é mais eficaz do que a escala bruta.
• Ganhos de RL: O RL proporcionou melhorias modestas, mas consistentes. Modelos treinados no GROUNDCUA durante o SFT mostraram ganhos de RL menores do que aqueles treinados em outros datasets, sugerindo que os dados de SFT já eram altamente informativos.
• Cross-Domain: Os modelos se generalizaram bem para interfaces móveis e web (MMBench-GUI, ScreenSpot-v2), embora o desempenho em tarefas web tenha sido ligeiramente inferior ao de desktop, indicando a necessidade de integração futura de dados multi-domínio.

Significância e Alegações

O artigo afirma que datasets de alta qualidade, impulsionados por especialistas, são críticos para o avanço de agentes de uso de computador de propósito geral. A principal conclusão é que a qualidade e a densidade dos dados podem substituir o volume bruto de dados. Ao focar em anotações detalhadas e verificadas por humanos de interações reais de desktop, os autores demonstram que modelos menores podem alcançar um desempenho de grounding superior com treinamento eficiente.

O trabalho posiciona o GROUNDCUA e o GROUNDNEXT como recursos fundamentais para a comunidade de pesquisa aberta, visando desbloquear o grounding como uma capacidade central para agentes confiáveis e adaptáveis. Os autores enfatizam que, embora o design de recompensa de RL atual seja simples, as anotações densas no GROUNDCUA permitem o desenvolvimento futuro de sinais de recompensa mais precisos. Eles também destacam a importância das aplicações de código aberto no conjunto de dados para garantir uma cobertura ampla e em conformidade com licenças da funcionalidade de software do mundo real.