Resumo Técnico: Aprendizado de Grounding em GUI com Raciocínio Espacial a partir de Feedback Visual

Declaração do Problema

O grounding em Interfaces Gráficas de Usuário (GUI) é a tarefa de mapear uma instrução em linguagem natural para uma coordenada de pixel específica em uma tela para executar uma ação (por exemplo, um clique). Embora os Modelos Visão-Linguagem (VLMs) recentes tenham avançado, eles frequentemente falham em prever coordenadas numéricas precisas em GUIs de alta resolução com layouts complexos. Essa falha decorre da falta de alinhamento semântico espacial: o modelo luta para mapear implicitamente sua compreensão de um elemento visual para tokens de coordenadas discretas.

As abordagens existentes normalmente enquadram o grounding em GUI como um problema de previsão de uma única etapa, onde o modelo gera coordenadas diretamente a partir de uma captura de tela. Uma limitação crítica desse paradigma é a ausência de um loop de feedback visual. O modelo é supervisionado apenas na saída numérica final e não recebe informações sobre onde sua previsão realmente aterrissa na tela. Consequentemente, o modelo falha em desenvolver um alinhamento robusto entre suas previsões numéricas e suas posições correspondentes na tela, levando a capacidades pobres de raciocínio espacial.

Metodologia: GUI-CURSOR

Para abordar essas limitações, os autores propõem o GUI-CURSOR, que reformula o grounding em GUI de uma tarefa estática de uma única etapa para uma tarefa dinâmica e interativa de busca.

1. Ambiente de Busca Interativa

Em vez de prever uma coordenada final imediatamente, o modelo controla um cursor virtual na imagem da GUI. O processo opera como uma sequência de etapas:

• Observação: Em cada etapa $t$, o modelo observa a captura de tela da GUI com o cursor em sua posição atual $(x_t, y_t)$.
• Raciocínio e Ação: O modelo gera uma resposta contendo um processo de pensamento (analisando o alvo, a localização atual do cursor e as relações espaciais) seguido de uma ação. A ação é ou uma nova coordenada $(x_{t+1}, y_{t+1})$ para mover o cursor ou um comando STOP se o cursor estiver corretamente posicionado.
• Feedback Visual: O ambiente renderiza o cursor na nova posição e fornece uma captura de tela atualizada para a próxima etapa. Esse feedback visual explícito permite que o modelo verifique suas previsões e refine incrementalmente sua compreensão espacial.

2. Treinamento com Aprendizado por Reforço

O modelo é treinado usando Otimização de Política Relativa em Grupo (GRPO) dentro desse ambiente interativo. O objetivo de treinamento depende de uma função de recompensa baseada em trajetória ($R_T$) personalizada, projetada para guiar tanto a precisão final quanto o comportamento de busca.

A função de recompensa consiste em:

• Recompensa de Posição ($r_p$): Uma recompensa densa baseada na distância entre a posição final do cursor e a caixa delimitadora do alvo, considerando tanto a proximidade da borda quanto a centralidade dentro da caixa.
• Penalizações de Trajetória: Para evitar estratégias degeneradas (por exemplo, parar imediatamente sem se mover, mover para frente e para trás, ou afastar-se do alvo), os autores introduzem quatro penalidades específicas:
  • Penalidade de Parada Falsa ($r_{FS}$): Penaliza parar quando o cursor está fora do alvo.
  • Penalidade de Movimento Falso ($r_{FM}$): Penaliza continuar a mover após o cursor já ter entrado na caixa do alvo.
  • Penalidade de Direção Falsa ($r_{FD}$): Penaliza movimentos que aumentam a distância até o alvo em comparação com a previsão inicial.
  • Penalidade de Posição Repetida ($r_{RP}$): Penaliza prever a mesma coordenada mais de uma vez.

3. Foco Centrado no Cursor (CCF)

Para lidar com imagens de alta resolução de forma eficiente sem incorrer em custos computacionais proibitivos, os autores introduzem uma estratégia de duas etapas:

• Treinamento: As imagens são redimensionadas para uma resolução gerenciável (por exemplo, 1920×1080).
• Inferência: Para imagens maiores que a resolução de treinamento, o modelo primeiro realiza uma previsão grosseira na imagem completa. Em seguida, ele recorta uma região centralizada nessa previsão (mantendo a resolução de treinamento) e realiza movimentos de alta granularidade dentro dessa visão focada. Isso equilibra a eficiência do treinamento com a precisão da inferência.

Contribuições Principais

1. Reformulação do Grounding em GUI: O artigo muda o paradigma da previsão estática de coordenadas para um processo dinâmico e interativo, onde o modelo aprende o alinhamento coordenada-espacial através de feedback visual.
2. Modelo GUI-CURSOR: A introdução de um modelo de grounding em GUI treinado via aprendizado por reforço em um ambiente interativo, utilizando uma função de recompensa densa e consciente da trajetória que impõe comportamentos de busca racionais.
3. Raciocínio Espacial Aprimorado: A avaliação abrangente demonstra que aprender grounding em GUI movendo um cursor melhora não apenas a precisão do grounding, mas também as capacidades gerais de raciocínio espacial, que se generalizam para domínios fora da distribuição.

Resultados Experimentais

Os autores avaliaram o GUI-CURSOR em vários benchmarks, incluindo ScreenSpot-Pro, OSWorld-G, UI-Vision e ScreenSpot-v2, usando os modelos base Qwen2.5-VL-7B e UI-TARS-1.5-7B.

• Desempenho de Grounding: O GUI-CURSOR superou consistentemente bases fortes (incluindo métodos de ajuste fino supervisionado como SeeClick, UGround e métodos baseados em RL como GTA1). Notavelmente, no desafiador benchmark ScreenSpot-Pro, o GUI-CURSOR (baseado no UI-TARS-1.5-7B) superou o modelo líder GTA1 em 8,1%, apesar de usar significativamente menos amostras de treinamento (8K vs. 64K).
• Tarefas Agentes: Em avaliações online de agentes no OSWorld, o GUI-CURSOR alcançou taxas de sucesso mais altas com menos etapas de ação em comparação com o GTA1, demonstrando eficácia em cenários realistas e diversos.
• Raciocínio Espacial:
  • Teste Cursor-em-Caixa: Um teste personalizado revelou que VLMs padrão (mesmo os ajustados finamente) lutam com classificação espacial simples (determinar se um cursor está dentro de uma caixa) e exibem fortes vieses centrais. O GUI-CURSOR, sem treinamento explícito nesta tarefa de classificação, alcançou pontuações F1 significativamente mais altas, sugerindo que sua capacidade de grounding é fundamentada em uma compreensão espacial mais robusta.
  • Generalização: Em benchmarks como SPHERE e SpatialMQA, o GUI-CURSOR mostrou melhorias no raciocínio e na combinação de habilidades, indicando que o paradigma de treinamento interativo aprimora as capacidades de raciocínio espacial além do domínio da GUI.
• Eficiência: O modelo aprende a realizar adaptativamente mais etapas apenas em exemplos difíceis (por exemplo, alvos pequenos), resolvendo 95% das instâncias dentro de duas etapas.

Significado e Alegações

O artigo alega que o significado principal deste trabalho reside em demonstrar que loops de feedback visual são essenciais para alinhar previsões numéricas com a realidade espacial em VLMs. Ao reformular o grounding como uma tarefa de busca, o modelo aprende a "pensar" sobre relações espaciais e corrigir sua trajetória, em vez de depender de um único chute.

Os autores afirmam que essa abordagem:

1. Resolve o problema de alinhamento semântico espacial inerente à previsão de uma única etapa.
2. Melhora a eficiência dos dados, alcançando resultados state-of-the-art com menos amostras de treinamento.
3. Cultiva uma capacidade de raciocínio espacial mais robusta que se generaliza para tarefas fora da distribuição, sugerindo que a capacidade de buscar alvos interativamente é um componente fundamental da compreensão espacial em agentes multimodais.

O trabalho conclui que aprender grounding em GUI movendo um cursor é uma estratégia superior para desenvolver agentes que podem navegar e interagir efetivamente com interfaces digitais complexas.