Resumo Técnico: VISTA (View-Consistent Self-Verified Training) para GUI Grounding

1. Definição do Problema

O GUI grounding envolve o mapeamento de uma instrução em linguagem natural e uma captura de tela para uma coordenada de clique precisa. Embora trabalhos recentes tenham aplicado o Group Relative Policy Optimization (GRPO) a esta tarefa utilizando recompensas baseadas em regras de "ponto-dentro-da-caixa" (point-in-box), os autores identificam um modo de falha crítico: a degeneração de recompensa.

No GRPO padrão, um grupo de rollouts é amostrado a partir de uma única visualização fixa de captura de tela. Isso leva a dois cenários problemáticos:

1. Grupos de Falha Total (All-Fail Groups): Em instâncias difíceis, todos os rollouts amostrados erram o alvo, resultando em um grupo de recompensa zero.
2. Grupos de Sucesso Total (All-Success Groups): Em instâncias fáceis, todos os rollouts acertam o alvo, resultando em um grupo de recompensa total.

Em ambos os casos, a média do grupo ($\mu$) e o desvio padrão ($\sigma$) colapsam, gerando uma vantagem relativa ($A$) de zero para todas as amostras. Isso elimina o sinal de aprendizado. Os autores observam que, no GRPO de visualização fixa, menos de 5% dos grupos de treinamento são "informativos" (contendo uma mistura de sucessos e falhas). Além disso, como as coordenadas de GUI estão fortemente acopladas à geometria da captura de tela, uma previsão correta em uma visualização pode estar incorreta após um corte (crop), mesmo que o alvo permaneça visível. O GRPO padrão falha em expor essas sensibilidades geométricas porque não varia a visualização de entrada dentro de um grupo de comparação.

2. Metodologia: VISTA

O artigo propõe o VISTA (View-Consistent Self-Verified Training), um framework baseado em GRPO projetado para construir grupos de comparação informativos e estabilizar a geração de coordenadas. Ele consiste em dois componentes primários:

A. Rollout de Grupo Consistente com a Visualização (View-Consistent Group Rollout)

Em vez de amostrar múltiplos completamentos a partir de uma única captura de tela fixa, o VISTA constrói cada grupo GRPO a partir de múltiplas visualizações de alvo preservado da mesma instância de GUI.

• Cortes com Preservação de Alvo (Target-Preserving Crops): Para uma dada tarefa $(I, q, B)$, o sistema gera $K$ visualizações recortadas. Cada corte é garantido para conter totalmente a caixa delimitadora (bounding box) do alvo $B$.
• Remapeamento Exato: As coordenadas da caixa do alvo são geometricamente remapeadas para o novo quadro de coordenadas do corte.
• Construção do Grupo: O modelo gera $n$ completamentos por visualização (onde $K \times n = G$, o tamanho total do grupo).
• Benefício: Isso garante que o grupo contenha entradas semanticamente equivalentes (mesma instrução e alvo), mas capturas de tela geometricamente diferentes. Isso aumenta a probabilidade de observar resultados mistos (alguns acertos, alguns erros) dentro de um único grupo, restaurando assim as vantagens relativas não nulas.

B. Âncora Trans-Visualização Auto-Verificada (Self-Verified Cross-View Anchor)

Embora os rollouts de múltiplas visualizações melhorem a exploração, eles podem introduzir instabilidade na geração de coordenadas, particularmente em visualizações ambíguas. Para abordar isso sem retornar ao ajuste fino supervisionado (SFT) incondicional, o VISTA introduz uma âncora auto-verificada.

• Ativação Condicional: Uma resposta de um oráculo (o centro da caixa remapeada do alvo) só é introduzida como um sinal de treinamento se a política atual já tiver produzido pelo menos um rollout de recompensa máxima dentro do grupo.
• Exclusão da Linha de Base (Baseline Exclusion): A resposta do oráculo é excluída do cálculo da média do grupo ($\mu_m$) e do desvio padrão ($\sigma_m$). Ela é tratada como um sinal supervisionado separado.
• Mecanismo:
  • Se o grupo é "auto-verificado" (contém um rollout bem-sucedido do modelo), a âncora é ativada com uma vantagem positiva derivada da linha de base apenas do modelo.
  • Se o grupo é de "falha total" (nenhum rollout do modelo tem sucesso), a âncora não é ativada. Isso evita que o modelo aprenda com um oráculo quando ainda não demonstrou a capacidade de resolver a instância, evitando o colapso do sinal de aprendizado em imitação incondicional.

C. Objetivo de Treinamento

A função de perda final combina o objetivo de GRPO com recorte (clipped) padrão para os rollouts gerados pelo modelo com uma perda supervisionada ponderada pela vantagem para a âncora (quando ativa):
$$\mathcal{L}_{VISTA} = -\frac{1}{G+1} \left[ \sum \ell_{clip} + \lambda_a \ell_{anchor} \right] + \beta \mathcal{L}_{KL}$$
A perda da âncora é computada apenas se o grupo for auto-verificado, garantindo que o sinal supervisionado estabilize o treinamento apenas quando a política já demonstrou competência.

3. Principais Contribuições

1. Rollout de Grupo Consistente com a Visualização: Uma estratégia de construção de grupo inovadora que amostra a partir de múltiplas visualizações que preservam o alvo da mesma instância, em vez de uma única visualização fixa. Isso aumenta significativamente a fração de grupos informativos (de <5% para ~20%) e restaura a variância da recompensa.
2. Âncora Trans-Visualização Auto-Verificada: Um mecanismo de estabilização condicional que injeta orientação do oráculo apenas quando o modelo já obteve sucesso em pelo menos uma visualização dentro do grupo. Isso evita que a âncora desvie a linha de base do GRPO ou supervisione grupos de "falha total" não informativos.
3. Validação Abrangente: Experimentos extensos em cinco benchmarks (ScreenSpot-Pro, ScreenSpot-V2, MMBench-L2, OSWorld-G-R, OSWorld-G) e múltiplas escalas de modelos (4B a 30B+).

4. Resultados Experimentais

O artigo relata melhorias consistentes em backbones Qwen3-VL (4B, 8B, 30B-A3B) e modelos inicializados com Qwen3.5.

• Desempenho no ScreenSpot-Pro: O VISTA melhora significativamente a precisão neste benchmark desafiador, que apresenta alvos pequenos e interfaces densas.
  • Qwen3-VL 4B: Melhorou de 55.5 para 63.4.
  • Qwen3-VL 8B: Melhorou de 52.7 para 65.8.
  • Qwen3-VL 30B-A3B: Melhorou de 53.7 para 67.0.
  • Qwen3.5 35B-A3B: Melhorou de 71.7 para 72.9 (comparado ao GRPO padrão).
• Robustez: O VISTA demonstra maior precisão na pior visualização (worst-view accuracy) e menores taxas de inversão de predição (prediction flip rates) em comparação ao GRPO padrão, indicando melhor estabilidade sob perturbações geométricas.
• Estudos de Ablação:
  • Remover o corte consistente com a visualização (usando GRPO padrão) reduz o desempenho.
  • Remover o portão de auto-verificação (usando injeção de oráculo incondicional) degrada severamente o desempenho (por exemplo, reduzindo o ScreenSpot-Pro de 64.3 para 57.8 em uma ablação), confirmando a necessidade da ativação condicional.
  • A combinação de ambos os componentes produz os melhores resultados.

5. Significância e Alegações

O artigo afirma que o VISTA aborda um gargalo fundamental na aplicação de GRPO para GUI grounding: a falta de vantagens relativas informativas devido à degeneração de recompensa invariante à visualização.

• Mudança no Foco do Design: Os autores argumentam que a chave para melhorar o GUI grounding com RL não é apenas como recompensar um clique, mas como construir o grupo de comparação. Ao variar a geometria da visualização enquanto preserva a semântica, o VISTA força a política a aprender a geração de coordenadas robusta em vez de memorizar localizações de pixels específicas.
• Estabilidade sem Imitação: A âncora auto-verificada permite que o modelo se beneficie da orientação da verdade fundamental (ground-truth) sem transformar o processo de RL em aprendizado de imitação incondicional, o que pode suprimir a exploração.
• Generalização: O método mostra-se eficaz através de diferentes escalas de modelos e backbones, sugerindo que a construção de grupos consistentes com a visualização é um sinal de treinamento generalizável para tarefas de GUI grounding.

Os autores concluem que o VISTA melhora tanto a precisão quanto a robustez, particularmente em instâncias difíceis onde o GRPO padrão falha em fornecer um sinal de aprendizado. Eles reconhecem limitações em relação a conjuntos de dados de ação/recusa mistos e a sensibilidade da otimização a cortes agressivos, sugerindo trabalhos futuros em agendamento adaptativo.