🤖 AI

DragOn: A Benchmark and Dataset for Drag-Based GUI Interactions

O artigo apresenta o DragOn, um benchmark e conjunto de dados abrangente composto por 286 mil capturas de tela e 3,5 milhões de tarefas em quatro domínios para abordar a escassez de dados de interação de GUI baseados em arrastar, demonstrando que o ajuste fino neste conjunto de dados aumenta significativamente o desempenho de modelos de linguagem-visão de última geração em tarefas complexas de uso de computador.

Autores originais: Nathan Bout, Maxime Langevin, Ronan Riochet

Publicado 2026-06-05

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nathan Bout, Maxime Langevin, Ronan Riochet

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a usar um computador. Até agora, temos sido muito bons em ensinar robôs a clicar em um botão. É como ensinar uma criança a apontar para uma foto e dizer: "Toque nisso!". Temos milhões de exemplos disso, e os robôs estão ficando muito bons nisso.

Mas existe uma habilidade muito mais difícil: arrastar.

Pense em arrastar como pegar uma caixa pesada e movê-la para um novo lugar, ou deslizar o dedo para rolar uma página, ou agarrar o canto de uma foto para torná-la maior ou menor. Essas ações exigem que o robô entenda não apenas onde tocar, mas como se mover do ponto A para o ponto B. Atualmente, os robôs são péssimos nisso. Eles são como crianças pequenas que conseguem apontar para um brinquedo, mas não conseguem descobrir como pegá-lo e carregá-lo pela sala.

O artigo apresenta uma nova ferramenta chamada DragOn para resolver esse problema. Veja como ela funciona, detalhado de forma simples:

1. O Problema: Uma Falta de Prática de "Arrastar"

Os autores observaram que, embora tenhamos enormes bibliotecas de dados para ensinar robôs a clicar, os dados para ensiná-los a arrastar são minúsculos — cerca de 10 a 100 vezes menores. Por causa disso, até os modelos de IA mais inteligentes (como os da OpenAI ou Anthropic) têm dificuldade com tarefas como destacar texto, redimensionar janelas ou mover controles deslizantes (sliders). Eles ficam confusos e frequentemente falham.

2. A Solução: "Renderização como Supervisão"

Para construir uma biblioteca massiva de exemplos de arrasto sem contratar milhares de humanos para clicar e arrastar manualmente, os autores inventaram um truque inteligente que chamam de "Renderização-como-Supervisão".

O Jeito Antigo: Imagine um humano olhando para uma tela, desenhando um retângulo ao redor de uma palavra e anotando as coordenadas. Isso é lento e caro.
O Jeito DragOn: Imagine que você tem uma planta mestre mágica de um documento (como um PDF ou uma planilha). O computador sabe exatamente onde cada letra e célula está porque ele mesmo construiu o documento. Em vez de olhar para a imagem e adivinhar, o computador simplesmente pergunta à planta mestre: "Onde está a palavra 'Olá'?" A planta mestre diz: "Está nestas coordenadas exatas".

O computador então "renderiza" (desenha) a imagem e rotula automaticamente os pontos de início e de fim da ação de arrasto com base nessa planta mestre. É como ter um GPS que conhece a localização exata de cada placa de rua antes mesmo de você dirigir pela estrada. Isso permitiu que eles criassem 3,5 milhões de tarefas de treinamento de forma muito rápida e barata.

3. O Conjunto de Dados: Quatro Novos Parquinhos

Eles não criaram apenas um tipo de tarefa de arrasto; construíram quatro diferentes "parquinhos" para os robôs praticarem:

Destaque de Texto: Arrastar sobre uma frase para selecioná-la (como destacar uma palavra em um livro didático).
Seleção de Células: Arrastar sobre uma grade em uma planilha para selecionar um bloco de números.
Redimensionamento de Elementos: Agarrar o canto de uma foto ou janela e puxar para torná-la maior ou menor.
Manipulação de Sliders: Agarrar uma barra de controle (como um controle de volume) e deslizá-la para a esquerda ou para a direita.

No total, eles criaram 286.000 capturas de tela para os robôs estudarem.

4. Os Resultados: A Prática Leva à Perfeição

Os autores testaram este novo conjunto de dados nos modelos de IA mais inteligentes do mundo.

A Linha de Base: Os melhores modelos de IA "prontos para uso" (como GPT e Claude) pontuaram abaixo de 30% nessas tarefas. Eles estavam, essencialmente, falhando mais vezes do que tendo sucesso.
O Avanço: Os autores pegaram um modelo de IA de código aberto e o treinaram especificamente com o novo conjunto de dados DragOn.
O Resultado: Este modelo treinado saltou para 35,3% de precisão. Embora isso possa não parecer um número enorme, foi uma melhoria massiva em relação ao modelo base (que estava em apenas 2,3%) e, na verdade, superou os modelos proprietários mais caros em três dos quatro tipos de tarefas.

O Resumo Final

O artigo afirma que, ao fornecer aos modelos de IA uma biblioteca massiva e de alta qualidade de exemplos de "arrastar" — criada usando um método inteligente e automatizado de planta mestre — podemos ensinar os modelos a lidar com tarefas de computador complexas muito melhor. Isso prova que os dados são a chave: mesmo um modelo padrão de código aberto pode superar os modelos comerciais mais caros se for treinado com o tipo certo de dados de prática.

Os autores esperam que este novo benchmark e conjunto de dados ajudem futuros robôs a se tornarem "usuários de computador" confiáveis que podem fazer mais do que apenas clicar; eles finalmente podem aprender a arrastar, soltar, redimensionar e deslizar exatamente como um humano faz.

Resumo Técnico: DragOn: Um Benchmark e Conjunto de Dados para Interações de GUI Baseadas em Arrastar (Drag)

Declaração do Problema

Embora os Modelos de Linguagem-Visão (VLMs) tenham alcançado progressos significativos no "click-grounding" (mapeamento de instruções de linguagem natural para coordenadas únicas de tela), eles têm dificuldade com o "drag-grounding". O drag-grounding requer a saída de um par de coordenadas para executar interações contínuas, como arrastar e soltar, deslizar (swipes), destacar (highlighting) e redimensionar. Os conjuntos de dados existentes para essas interações são uma ordem de magnitude menores que os corpora de click-grounding e são amplamente dominados por tarefas de destaque de texto. Consequentemente, os modelos de estado da arte atuais apresentam um desempenho insatisfatório em interações baseadas em arrastar complexas e onipresentes encontradas em fluxos de trabalho de GUI do mundo real, como seleção de células de planilhas, redimensionamento de elementos e manipulação de controles deslizantes (sliders).

Metodologia

Renderização como Supervisão (Rendering-as-Supervision)

A principal contribuição metodológica é um princípio denominado "renderização como supervisão". Em vez de depender de anotação humana ruidosa, OCR ou rotulagem baseada em VLM, os autores constroem dados de verdade fundamental (ground-truth) explorando a própria geometria do renderizador.

Mecanismo: Um renderizador determinístico ( $R$ ) mapeia uma fonte estruturada ( $S$ ) para uma imagem ( $I$ ). Um mapa de rótulos ( $\pi$ ) extrai caixas delimitadoras (bounding boxes) no espaço de pixels diretamente da estrutura da fonte ou via perturbações controladas.
Vantagens: Esta abordagem produz anotações com precisão de pixel a uma fração do custo dos métodos tradicionais e suporta granularidade arbitrária (de caracteres a intervalos de múltiplos parágrafos) sem os erros associados ao OCR.
Implementação: Dois tipos de mapas de rótulos são usados:
1. Analítico: Computa diretamente as caixas delimitadoras a partir das coordenadas da fonte (ex: coordenadas de spans de PDF, unidades EMU de PPTX, geometria HTML).
2. Baseado em Sonda (Probe-Based): Executa o renderizador duas vezes; uma fonte perturbada (ex: uma célula preenchida com uma cor distinta) é renderizada para localizar visualmente o alvo, após o que a fonte original é renderizada novamente para o screenshot final.

O Conjunto de Dados DragOn

Os autores instanciam este princípio em quatro domínios heterogêneos:

Destaque de Texto (Text Highlighting): Derivado de artigos da Wikipedia convertidos para DOCX estilizado e, posteriormente, para PDF. A granularidade varia de caracteres a parágrafos.
Seleção de Células (Cell Selection): Planilhas sintéticas geradas a partir de DataFrames do Pandas, renderizadas via LibreOffice Calc. Inclui seleções de intervalo e redimensionamento de bordas.
Redimensionamento de Elementos (Element Resizing): Slides de PowerPoint do corpus Zenodo 10K. A geometria é extraída de XML (unidades EMU) e mapeada para o espaço de pixels.
Manipulação de Controle Deslizante (Slider Manipulation): Páginas HTML geradas proceduralmente com vários contextos interativos (ex: players de mídia, painéis de configurações).

Escala: O conjunto de dados compreende 286.000 screenshots de treinamento e 3,5 milhões de tarefas de treinamento, juntamente com uma suíte de avaliação de 2.000 exemplos mantida fora do conjunto de treino (dividida em validação pública e teste privado). Esta escala é uma a duas ordens de magnitude maior que os corpora anteriores específicos de drag.

Principais Contribuições

Princípio de Renderização como Supervisão: Um método formalizado para construir dados de grounding de GUI usando a geometria do renderizador como um oráculo, reduzindo erros e custos de construção.
Conjunto de Dados DragOn: Um corpus unificado e de grande escala cobrindo quatro domínios distintos de drag, expandindo significativamente os dados disponíveis para treinamento e avaliação de capacidades de drag-grounding.
Benchmark e Baselines: Uma avaliação abrangente de modelos proprietários (GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.7), modelos de pesos abertos (Qwen, Kimi, Holo) e um modelo ajustado (fine-tuned) no conjunto de dados DragOn.

Resultados Experimentais

Os autores avaliaram os modelos em um conjunto de teste de 2.000 exemplos. As principais descobertas incluem:

Desempenho de Modelos de Fronteira: Modelos proprietários (GPT, Claude) e modelos de pesos abertos geralmente pontuam abaixo de 30% no total. O desempenho varia significativamente por domínio:
- Mais forte: Manipulação de slider (até 57,2% para Claude Opus 4.7) e seleção de células.
- Mais fraco: Destaque de texto (frequentemente abaixo de 10%) e redimensionamento de elementos (frequentemente abaixo de 20%).
Baselines de Pesos Abertos: Modelos padrão de pesos abertos (ex: Qwen3.5-35B) apresentam desempenho pobre (2,3%), embora variantes maiores (Qwen3.5-397B) se aproximem dos níveis proprietários (21,5%).
Impacto do Fine-Tuning: Um modelo Qwen3.5-35B ajustado no conjunto de dados DragOn alcançou uma taxa de sucesso total de 35,3%. Isso representa uma melhora absoluta de 33 pontos sobre o modelo base e supera todos os modelos de fronteira avaliados em pelo menos 7,6 pontos.
Especificidade de Domínio: O modelo ajustado liderou em três dos quatro domínios (destaque de texto, manipulação de slider, redimensionamento de elementos), mas ficou ligeiramente atrás do Claude Opus 4.7 em seleção de células.
Análise de Tolerância: Para redimensionamento de elementos, o desempenho melhora significativamente sob tolerância espacial relaxada (ex: de 32,0% em limiares estritos para 57,2% com 15% de tolerância), sugerindo que os erros são frequentemente deslocamentos de pequena magnitude em vez de erros qualitativos de grounding.

Significância e Alegações

O artigo afirma que o drag grounding permanece um problema desafiador e não saturado para os atuais VLMs, mesmo para os sistemas fechados mais fortes. A principal significância do trabalho reside em demonstrar que o treinamento direcionado pode melhorar substancialmente o desempenho dos modelos em tarefas de uso de computador downstream.

Os autores postulam que o benchmark e o conjunto de dados DragOn fornecem a infraestrutura necessária para avançar o desenvolvimento de agentes autônomos confiáveis capazes de realizar interações de GUI contínuas e complexas. Ao mostrar que um modelo de código aberto ajustado em seus dados pode superar os modelos de fronteira proprietários, o artigo sugere que a qualidade dos dados e a especificidade do domínio são alavancas críticas para melhorar as capacidades agênticas, potencialmente estreitando a lacuna entre sistemas abertos e proprietários em cenários de uso de computador.