Building Autonomous GUI Navigation via Agentic-Q Estimation and Step-Wise Policy Optimization

Título: Construção de Navegação Autônoma em GUI via Estimativa Agentic-Q e Otimização de Política Passo a Passo

1. O Problema

Os Modelos de Linguagem Multimodal (MLLMs) avançaram significativamente na criação de agentes autônomos para Interfaces Gráficas de Usuário (GUI). No entanto, a aplicação em cenários reais enfrenta três desafios principais:

1. Custos Elevados de Curadoria de Dados: A criação de trajetórias de interação de alta qualidade (que capturam estados, raciocínio e ações) depende fortemente de anotação humana especializada, tornando o processo caro e demorado.
2. Supervisão Esparsa e Atrasada: Em tarefas de GUI, o feedback (recompensa) geralmente só está disponível no final da trajetória (sucesso ou falha da tarefa). Isso cria um problema de crédito atribuído, onde é difícil saber quais passos intermediários contribuíram para o resultado final.
3. Otimização Instável e Acoplada ao Ambiente: Métodos existentes de Aprendizado por Reforço (RL), como RL com Recompensas Verificáveis (RLVR), exigem que a otimização da política permaneça acoplada ao ambiente de execução. Como ambientes de GUI (navegadores, sites) são não estacionários (mudam frequentemente), isso leva a uma baixa eficiência de treinamento e instabilidade.

2. Metodologia

Os autores propõem um novo framework centrado no MLLM, composto por dois componentes principais: Estimativa Agentic-Q e Otimização de Política Passo a Passo (SWPO). O processo segue três estágios (ilustrado na Figura 2 do artigo):

A. Pré-processamento e Inicialização (Cold Start)

• Estratégia de Detecção e Reinicialização: Para lidar com ambientes não estáveis (ex: sites que mudam, verificações humanas), o sistema detecta falhas ambientais e reinicia a tarefa, garantindo que os dados de treinamento reflitam o desempenho do modelo e não falhas externas.
• Aprendizado Supervisionado (SFT): O modelo base (Ovis2.5-9B) é ajustado finamente com dados de navegação web e fundamentação (grounding) para adquirir capacidades básicas de interação.

B. Estimativa Agentic-Q

• Objetivo: Treinar um modelo $Q_\theta$ que estime o valor de cada ação individual dentro de uma trajetória, não apenas o resultado final.
• Propagação de Supervisão: Em vez de anotar manualmente cada passo, o resultado final (sucesso/falha) é propagado para trás para cada passo intermediário da trajetória. Isso cria um rótulo de "retorno" ($G_i$) para cada passo, tratado como um problema de classificação binária.
• Técnicas de Estabilização:
  • Janela Deslizante (Sliding Window): Limita o histórico de interações visto pelo modelo Q para os passos mais recentes, evitando que o contexto longo cause instabilidade ou colapso de entropia.
  • Foco na Ação (Action-Focus): Durante o treinamento do Q, a parte de "pensamento" (thought) é mascarada, forçando o modelo a focar na ação em si e no estado visual.

C. Otimização de Política Passo a Passo (SWPO)

• Mecanismo: Utiliza o modelo Agentic-Q treinado para fornecer recompensas intermediárias (contínuas ou binárias) a cada passo, permitindo a otimização da política sem depender do ambiente de execução em tempo real.
• Algoritmos Adaptados: O framework adapta métodos de RL sem crítico (critic-free) como GRPO, RLOO e REINFORCE++, modificando-os para o contexto passo a passo:
  • Filtragem de Retorno no Nível da Ação: Se todas as ações candidatas forem idênticas ou se os retornos previstos forem muito concentrados (baixa variância), a amostra é descartada para evitar otimização enviesada.
  • Ponderação Adaptativa por Grupo: Atribui pesos maiores a grupos de tarefas mais difíceis (baseado no inverso do retorno médio), garantindo que o modelo aprenda mais com tarefas complexas.
• Desacoplamento: Como o modelo Q fornece a supervisão, a atualização da política é desacoplada do ambiente de GUI, permitindo treinamento estável e eficiente.

3. Principais Contribuições

1. Framework Agentic-Q: Uma nova abordagem para estimar o valor de ações individuais em GUIs, resolvendo o problema da supervisão esparsa sem custos de anotação humana massiva.
2. Otimização Desacoplada: A capacidade de treinar agentes de GUI de forma eficiente, removendo a dependência direta de ambientes não estacionários durante a fase de otimização da política.
3. Geração de Dados Auto-gerada: Todo o treinamento (coleta de trajetórias e otimização) é realizado pelo próprio agente, eliminando a necessidade de dados de especialistas caros.
4. Novas Técnicas de Estabilização: Introdução de janelas deslizantes e focos de ação para prevenir o colapso de entropia e melhorar a generalização.

4. Resultados Experimentais

O framework foi testado no modelo Ovis2.5-9B (9 bilhões de parâmetros) em benchmarks de fundamentação (ScreenSpot) e navegação (WebVoyager, Online-Mind2Web).

• Desempenho Geral: O modelo Ovis2.5-9B com o framework proposto superou modelos de escala similar (como Qwen3-VL-8B e UI-TARS 1.5-7B) e competiu ou superou modelos proprietários muito maiores (GPT-4o, Claude 3.7/4 Sonnet).
• Navegação Web:
  • No WebVoyager, houve um ganho de 9.14 a 10.11 pontos em relação à versão SFT inicial.
  • No Online-Mind2Web (dados fora da distribuição de treinamento), o modelo alcançou 64.0% de sucesso, superando significativamente o SFT (52.67%) e superando modelos maiores como o UI-TARS 72B.
• Fundamentação (Grounding): O modelo manteve ou melhorou ligeiramente sua capacidade de localizar elementos na tela (ScreenSpot), atingindo 92.45% de precisão no ScreenSpot v2.
• Eficiência: Redução significativa no número de passos necessários para completar tarefas (ex: de 22.15 para 13.57 passos), indicando uma navegação mais deliberada e eficiente.
• Generalização e "Travessia de Limites": O modelo demonstrou a capacidade de reconhecer quando uma tarefa é impossível em um site específico e mudar estrategicamente para uma solução alternativa (ex: sair do site da Apple e usar o Google para encontrar um preço de produto descontinuado).

5. Significância

Este trabalho representa um avanço crucial na viabilidade de agentes de GUI autônomos para uso no mundo real. Ao resolver os problemas de custo de dados e instabilidade de treinamento, o método permite que modelos de tamanho médio (9B) atinjam desempenho de ponta, rivalizando com modelos fechados massivos. A capacidade de desacoplar a otimização do ambiente e de gerar seus próprios dados de treinamento torna a escalabilidade desses agentes muito mais prática e econômica, abrindo caminho para assistentes pessoais autônomos robustos que podem operar em qualquer interface gráfica sem necessidade de re-treinamento constante para cada mudança de site.