Resumo Técnico: Superando a Ancoragem Esparsa com Supervisão Completa de Análise de Tela

Declaração do Problema

Agentes de Uso de Computador Modernos (CUAs) requerem uma percepção estruturada da tela para ancorar instruções e executar ações de forma confiável. Isso envolve identificar elementos de interface do usuário (UI) visíveis, suas localizações e seu conteúdo textual. No entanto, os modelos mais avançados atuais dependem fortemente de conjuntos de dados de ancoragem "esparso" (por exemplo, Mind2Web, ScreenSpot) que anotam apenas o único elemento relevante para uma etapa específica de uma tarefa. Essa supervisão esparsa deixa a maioria dos elementos na tela sem rótulos, forçando os modelos a aprender atalhos que podem falhar em formar um estado de tela completo. Consequentemente, esses modelos lutam com robustez, generalização para novos layouts e cenários fora da distribuição. Além disso, a implantação prática frequentemente exige inferência de baixa latência em dispositivos, o que é difícil de alcançar com Modelos de Visão-Linguagem (VLMs) fundacionais massivos.

Metodologia

1. Conjunto de Dados: ScreenParse

Os autores introduzem o ScreenParse, um conjunto de dados em grande escala projetado para análise completa de tela. Diferentemente de conjuntos de dados anteriores que oferecem anotações esparsas, o ScreenParse fornece anotações densas para todos os elementos de UI visíveis em 771.000 capturas de tela da web, totalizando 21 milhões de elementos.

• Escopo de Anotação: Cada elemento é anotado com uma caixa delimitadora, um tipo semântico de uma taxonomia de 55 classes (cobrindo links, botões, texto, contêineres, etc.) e texto associado.
• Hierarquia: O conjunto de dados preserva a hierarquia do Modelo de Objeto de Documento (DOM), anotando tanto elementos atômicos quanto elementos contêiner semanticamente significativos (por exemplo, barras de navegação, cartões).
• Pipeline de Geração (Webshot): Para superar o custo da anotação humana, os autores desenvolveram o Webshot, um pipeline totalmente automatizado e escalável:
  1. Rastreamento e Renderização: 1 milhão de URLs exclusivas são rastreadas e renderizadas usando Playwright em uma viewport padronizada (1440x900).
  2. Extração de DOM: O pipeline extrai a árvore DOM, filtrando elementos visíveis e removendo artefatos degenerados ou fora da tela.
  3. Refinamento por VLM: Um VLM (Qwen3-VL-8B) refina os rótulos de classe derivados do DOM brutos contra uma taxonomia de 55 classes.
  4. Filtragem de Qualidade: Um módulo "VLM como juiz" pontua a qualidade da anotação (cobertura, falsos positivos, duplicação, localização) para filtrar páginas de baixa qualidade.

2. Modelo: ScreenVLM

Usando o ScreenParse, os autores treinam o ScreenVLM, um Modelo de Visão-Linguagem compacto com 316 milhões de parâmetros.

• Arquitetura: Adapta a arquitetura Granite Docling (baseada no Idefics3), acoplando um codificador de visão SigLIP-2 com um decodificador autorregressivo Granite leve de 165 milhões de parâmetros.
• Representação (ScreenTag): O modelo gera uma sequência estruturada, semelhante a XML, chamada ScreenTag. Este formato serializa elementos como tags tipadas seguidas por tokens de localização discretizados (grade 0–500) e texto opcional, permitindo a decodificação autorregressiva do estado completo da tela.
• Objetivo de Treinamento: Para abordar o problema em que a perda de entropia cruzada padrão é dominada por tokens de texto, os autores introduzem uma perda ponderada consciente de estrutura. Essa perda aumenta o peso dos tokens críticos para a estrutura (tags e coordenadas de localização) em relação aos tokens de texto, garantindo que o modelo priorize layout e tipagem precisos sobre mera transcrição.

Contribuições Principais

1. Conjunto de Dados ScreenParse: Um conjunto de dados em escala web com anotações densas e completas para 21 milhões de elementos de UI em 55 classes, gerado por um pipeline automatizado.
2. Pipeline Webshot: Um framework escalável e totalmente automatizado para coletar e refinar anotações densas de análise de tela sem intervenção humana.
3. ScreenVLM: Uma arquitetura VLM compacta que alcança análise densa de alta fidelidade, superando modelos fundacionais muito maiores.
4. Perda Consciente de Estrutura: Um objetivo de treinamento inovador que melhora a fidelidade dos layouts previstos ao priorizar tokens estruturais.
5. Evidência de Transferibilidade: Demonstração de que a supervisão densa de tela fornece priores estruturais transferíveis que beneficiam não apenas o ScreenVLM, mas também VLMs fundacionais existentes e analisadores baseados em detectores quando ajustados finamente no ScreenParse.

Resultados Experimentais

Desempenho Intra-Domínio (ScreenParse)

O ScreenVLM supera substancialmente VLMs fundacionais maiores em métricas de análise densa:

• PageIoU: O ScreenVLM alcança 0,606, superando significativamente o Qwen3-VL-8B (0,294) e o InternVL3-2B (0,111).
• Label PageIoU: O ScreenVLM atinge 0,197, comparado a 0,051 para o Qwen3-VL-2B.
• Eficiência: O ScreenVLM é ~6 vezes menor (316M parâmetros) e ~4 vezes mais rápido em vazão do que VLMs na escala de 2B, tornando-o adequado para implantação de baixa latência.

Transferência Fora de Distribuição

• GroundCUA: O ScreenVLM mantém desempenho forte (PageIoU 0,251) neste benchmark diversificado e multiplataforma, superando modelos fundacionais com prompts (por exemplo, Qwen3-VL-8B em 0,060).
• ScreenSpot: Em benchmarks de ancoragem esparsa (Web/PC/Mobile), o ScreenVLM mostra forte cobertura de pixels (PixCov), embora o recall ao nível de elemento (Recall@50) caia nas divisões PC/Mobile, indicando uma lacuna de domínio entre UIs web e nativas.

Impacto em Outros Modelos

O ajuste fino de VLMs fundacionais existentes (Qwen3-VL-2B, InternVL3-2B) e analisadores baseados em detectores (OmniParser, YOLO, RT-DETR) no ScreenParse produz melhorias consistentes e substanciais em todos os benchmarks. Por exemplo, o ajuste fino do InternVL3-2B no ScreenParse melhora seu PageIoU no ScreenParse de 0,111 para 0,509. Isso sugere que a supervisão densa de tela fornece priores estruturais generalizáveis para compreensão de UI.

Estudo de Ablação

A perda ponderada consciente de estrutura melhora significativamente o desempenho. Comparado à entropia cruzada padrão, a variante consciente de estrutura melhora o PageIoU no ScreenParse em 2,4% e no GroundCUA em 11,1%, com os maiores ganhos observados em cenários fora de distribuição (por exemplo, o Recall do ScreenSpot PC melhorou em 72,1%).

Significado e Alegações

O artigo argumenta que tratar a análise completa de tela como um objetivo central de treinamento é um remédio natural para as limitações da ancoragem esparsa. Os autores afirmam que:

1. Supervisão densa é superior: Permite que os modelos formem um estado de tela holístico, que é um pré-requisito para planejamento robusto a jusante e execução de ações.
2. Escalabilidade é alcançável: O pipeline Webshot demonstra que anotações densas de alta qualidade podem ser geradas em escala sem rotulagem humana.
3. Transferibilidade é fundamental: Os priores estruturais aprendidos a partir da análise densa de tela são transferíveis, melhorando tanto analisadores especializados quanto VLMs fundacionais gerais.
4. Eficiência é crítica: Modelos compactos treinados em dados densos podem superar modelos fundacionais maiores enquanto são viáveis para aplicações em dispositivos com baixa latência.

Os autores reconhecem limitações, observando que o ScreenParse é predominantemente centrado na web, deixando uma lacuna de domínio para aplicativos nativos de desktop/móvel, e que o ruído residual da extração de DOM permanece um desafio. Trabalho futuro é proposto para expandir a análise densa para UIs nativas e aproveitar esses modelos como espinhas dorsais visuais para agentes de visão-linguagem-ação.