Resumo Técnico: Modelagem de Recompensa Agêntica via VAGEN

1. Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR - Reinforcement Learning with Verifiable Rewards) é um framework crítico para o avanço de agentes de Interface Gráfica de Usuário (GUI). No entanto, os paradigmas existentes de modelagem de recompensa enfrentam limitações complementares que dificultam o treinamento escalável e preciso:

• Métodos Baseados em Regras: Embora precisos para tarefas específicas, eles dependem de scripts projetados manualmente (ex: testes de unidade) que carecem de escalabilidade. Eles falham ao lidar com tarefas abertas ou tarefas com múltiplas soluções válidas e exigem um esforço humano proibitivo.
• LLM-as-a-Judge (Verificação Passiva): Estes métodos utilizam Grandes Modelos de Linguagem (LLMs) para analisar trajetórias de tarefas (screenshots e texto de raciocínio). Embora escaláveis, são inerentemente passivos, incapazes de revisitar estados intermediários específicos de forma autônoma. Mais criticamente, sofrem de observabilidade parcial de estado; eles dependem de evidência visual que pode perder estados latentes do sistema (ex: mudanças no sistema de arquivos, processos em segundo plano) cruciais para determinar o sucesso da tarefa.
• Interação Ativa com o Ambiente: Abordagens recentes introduzem um agente verificador para sondar o ambiente, mitigando problemas de observabilidade. No entanto, esses métodos frequentemente dependem excessivamente de sondagem, ignorando evidências diretas já presentes na trajetória. Isso leva à ineficiência, pois o verificador pode realizar interações redundantes mesmo quando a trajetória contém pistas suficientes.

O desafio central é unificar a eficiência da análise de trajetória com o rigor da interação ativa com o ambiente sem incorrer em custos computacionais excessivos.

2. Metodologia: O Framework VAGEN

Os autores propõem o VAGEN (Verification via Agentic Trajectory-Grounded Environment Interaction), um framework que emprega um agente verificador aumentado por ferramentas, governado por um Mecanismo de Verificação Progressiva.

2.1 Filosofia Central

O VAGEN opera sob uma filosofia de design "da superfície ao latente" e "do barato ao caro". Ele prioriza a extração de evidências diretas da trajetória registrada antes de recorrer a interações custosas com o ambiente. Isso é sustentado pela observação de que as tarefas de GUI frequentemente seguem uma propriedade de "fácil de verificar, difícil de resolver": um agente verificador pode frequentemente confirmar a conclusão da tarefa com menos etapas e taxas de sucesso mais altas do que o agente ator necessário para resolver a tarefa.

2.2 Componentes Principais

1. Agente Verificador Aumentado por Ferramentas ($\pi_e$):
   O verificador é equipado com quatro ferramentas essenciais:

   • Check Screenshot (Verificar Screenshot): Recupera screenshots específicos da trajetória do ator para inspeção visual.
   • Execute Shell (Executar Shell): Executa comandos de shell para verificar estados latentes do sistema (ex: atributos de arquivos).
   • Execute Python (Executar Python): Executa código Python para verificações lógicas complexas.
   • Computer Use (Uso do Computador): Interage diretamente com o ambiente GUI (compartilhando o espaço de ação do ator) para sondar sinais.
   • Nota: Em ambientes móveis (AndroidWorld), as ferramentas de shell e Python são excluídas devido a limitações de interface.

2. Consolidação de Memória de Trajetória:
   Para reduzir o ruído, um LLM resume a trajetória do ator, filtrando o raciocínio subjetivo (que pode conter alucinações) e retendo apenas observações factuais de estado e ações atômicas. Isso cria um histórico de operação conciso $H$ para o verificador.

3. Mecanismo de Verificação Progressiva:
   O processo de verificação desenrola-se em três estágios sequenciais, permitindo a interrupção precoce se evidências suficientes forem encontradas:

   • Estágio 1: Avaliação Estática: O agente avalia o screenshot terminal e o resumo da operação sem ferramentas. Se houver evidência clara, ele emite uma recompensa e confiança imediatamente.
   • Estágio 2: Retrospecção Visual: Se o estado terminal for ambíguo, o agente invoca a ferramenta Check Screenshot para inspecionar screenshots intermediários históricos, construindo um conjunto de evidência visual indireta.
   • Estágio 3: Sondagem Proativa: Se a evidência visual for insuficiente (ex: para mudanças de sistema não visuais), o agente transita para interação ativa usando Execute Shell, Execute Python ou Computer Use para consultar estados latentes.

2.3 Estratégias de Escalonamento em Tempo de Teste (Test-Time Scaling)

• Escalonamento Somente Leitura (Verificador): Para escalar a verificação sem o alto custo de restauração do estado do ambiente, o verificador é restrito a um espaço de ação de apenas leitura. Isso permite que múltiplas amostras de verificação sejam executadas serialmente em uma única instância de ambiente sem resetar.
• Escalonamento Guiado por Recompensa (Ator): O VAGEN guia o agente ator via amostragem de rejeição Best-of-N. O verificador avalia $N$ trajetórias amostradas, e aquela com a maior confiança entre as predições bem-sucedidas é selecionada.

3. Principais Contribuições

1. Mudança de Paradigma: O artigo identifica e defende um paradigma de verificação interativa fundamentada na trajetória, unificando a análise passiva de trajetória com a interação ativa com o ambiente para abordar as limitações dos métodos existentes.
2. Framework VAGEN: A introdução de um agente verificador aumentado por ferramentas utilizando um Mecanismo de Verificação Progressiva que equilibra eficiência e rigor ao priorizar evidências da trajetória antes da sondagem ambiental.
3. Validação Empírica: Experimentos extensos demonstrando que o VAGEN supera tanto os basais passivos (LLM-as-a-Judge) quanto os ativos (ProRe) em precisão e eficiência, enquanto guia efetivamente o treinamento de RL e o escalonamento em tempo de teste.

4. Resultados Experimentais

O framework foi avaliado nos benchmarks OSWorld-Verified (desktop) e AndroidWorld (mobile).

• Precisão de Verificação: O VAGEN alcançou desempenho de estado da arte, superando basais como ProRe e ZeroGUI. No OSWorld-Verified com verdade fundamental de avaliação humana, o VAGEN alcançou 92,9% de precisão (vs. 87,3% para ProRe) em uma configuração balanceada por classe, e 93,4% em uma configuração desbalanceada.
• Eficiência: O VAGEN demonstrou um trade-off favorável entre desempenho e eficiência. Exigiu menos imagens de entrada e tokens de saída comparado ao ProRe e alcançou a verificação com menos passos médios (17,4 vs. 25,2 para ProRe no OSWorld).
• Aprendizado por Reforço: Quando usado como sinal de recompensa para treinamento de RL online (GRPO) com UI-TARS-1.5-7B, o VAGEN melhorou a taxa de sucesso do ator para 34,3%, superando o basal mais forte (ProRe) em 3,8 pontos.
• Escalonamento em Tempo de Teste: O VAGEN mostrou eficiência de amostra superior no escalonamento Best-of-N, igualando o desempenho de outros métodos em $N=8$ com apenas $N=5$ amostras. O escalonamento de somente leitura melhorou ainda mais a precisão do verificador sem resets de ambiente.

5. Significância e Alegações

O artigo afirma que o VAGEN fornece uma solução robusta para o problema de "observabilidade parcial de estado" na modelagem de recompensa de agentes GUI. Ao fundamentar a verificação na trajetória primeiro e escalar para a interação com o ambiente apenas quando necessário, o VAGEN evita a ineficiência dos métodos de sondagem pura, enquanto supera a cegueira dos juízes LLM passivos.

Os autores enfatem que esta abordagem permite sinais de recompensa binários confiáveis, essenciais para RLVR, que são atualmente difíceis de obter em escala. O framework é apresentado como um verificador plug-in capaz de melhorar tanto o treinamento de agentes GUI quanto seu desempenho em tempo de inferência através de melhor orientação de recompensa e amostragem de rejeição. Os resultados sugerem que a propriedade "fácil de verificar, difícil de resolver" é uma base viável para a verificação de agentes escalável em ambientes digitais complexos.