Resumo Técnico: ENVS: Busca Verificada Nativa de Ambiente para Agentes de GUI de Longo Horizonte

1. Declaração do Problema

O artigo aborda o desafio de treinar agentes multimodais para controlar softwares reais através de Interfaces Gráficas do Usuário (GUIs). Embora os modelos de fundação tenham avançado na compreensão de interfaces, executar sequências precisas de ações de mouse e teclado em ambientes de desktop ao vivo permanece difícil. Os principais gargalos são:

• Feedback Esparso e Atrasado: Em ambientes como o OSWORLD, o feedback é tipicamente um sinal binário de sucesso/falha apenas ao final de uma trajetória. Uma trajetória falha não revela qual ação intermediária específica causou a falha.
• Alto Custo de Rollouts: Obter feedback requer a execução de ações em Máquinas Virtuais (VMs) ao vivo, o que é computacionalmente caro e lento.
• Ineficiência do RL Online: Abordagens atuais, como o ARPO (Otimização de Política de Reforço Adaptativa) e métodos de busca em árvore como o SEEA-R1, frequentemente acoplam a descoberta de trajetórias com a atualização da política. Isso leva a problemas onde tarefas fáceis dominam o sinal de gradiente, trajetórias longas são sobre-representadas e a alocação global de massa de gradiente entre tarefas e comprimentos de trajetória é difícil de controlar.

2. Metodologia: ENVS

Os autores propõem a Busca Verificada Nativa de Ambiente (ENVS), um framework de tempo de treinamento que desacopla a descoberta de trajetórias da otimização da política. Em vez de usar aprendizado por reforço (RL) online, o ENVS constrói um conjunto de dados supervisionado, verificado e equilibrado antes do início do treinamento.

Pipeline Principal

1. Busca com Gatilho de Desacordo Comportamental:
   • O sistema busca dentro de VMs OSWORLD ao vivo usando uma política base congelada.
   • Em cada etapa, ele amostra $K$ ações candidatas e as reduz a "impressões digitais comportamentais" grosseiras (ex: tipo de ação + coordenadas discretizadas ou texto).
   • Os candidatos são agrupados por impressão digital. O sistema explora os top $k$ buckets com maior concordância (ações majoritárias) enquanto poda ações minoritárias. Isso garante que a busca foque em caminhos comportamentalmente distintos em vez de ruído de tokens.
2. Busca Limitada por VM:
   • Ao contrário da busca Monte Carlo Tree Search (MCTS) clássica, que assume simulações baratas, o ENVS opera em desktops ao vivo onde revisitar estados é custoso.
   • Ele substitui a seleção adaptativa (UCB/PUCT) por gatilhos de custo explícitos: orçamentos de ramificação por tarefa, limites por etapa e cortes rígidos de etapas. Não utiliza funções de valor aprendidas.
3. Verificação e Filtragem de Ambiente:
   • Uma vez que uma trajetória atinge um nó folha, o oráculo da tarefa OSWORLD atribui um prêmio binário ($R(\tau) \in \{0, 1\}$).
   • Trajetórias falhas são descartadas. Trajetórias bem-sucedidas são decompostas em exemplos supervisionados por etapa $(x, o_{\le t}, a_t)$, convertendo o sucesso terminal esparso em supervisão densa de nível de ação.
4. Balanceamento Global de Supervisão:
   • O conjunto de dados coletado é naturalmente desequilibrado (tarefas fáceis geram muitos sucessos; tarefas difíceis geram poucos).
   • O ENVS aplica um esquema de reponderação antes do treinamento. O peso $w_i$ para a tarefa $i$ é calculado como:
     $$w_i = \text{clip}\left(\frac{(1 - SR_i)^\beta}{T_i}, w_{\max}\right)$$
     onde $SR_i$ é a taxa de sucesso da busca e $T_i$ é o número de etapas. Isso desloca a massa de gradiente para tarefas difíceis e normaliza pelo comprimento da trajetória, evitando que tarefas fáceis dominem o sinal de treinamento.

Benchmark OSWORLD-NOISY

Para avaliar a robustez, os autores introduzem o OSWORLD-NOISY, um benchmark dinâmico que injeta interrupções de desktop recuperáveis (ex: pop-ups, mudanças de foco, diálogos de fundo) durante a execução da tarefa.

• Restrições: As perturbações são "não-sabotadoras"; elas não tocam em arquivos relevantes para a tarefa nem entregam input para a janela alvo, garantindo que as tarefas permaneçam solucionáveis.
• Agendamento: Durante o treinamento, a intensidade do ruído escala com as taxas de sucesso das tarefas (tarefas mais difíceis recebem menos ruído). A avaliação utiliza um cronograma fixo e determinístico de perturbações retidas.

3. Principais Contribuições

• Framework ENVS: Um pipeline de busca-e-filtro que usa o próprio ambiente para verificar trajetórias bem-sucedidas, convertendo-as em dados supervisionados globalmente equilibrados. Isso separa a descoberta da otimizção, permitindo controle explícito sobre a alocação de gradiente.
• OSWORLD-NOISY: Um novo benchmark para testar a robustez de agentes de GUI contra interrupções de desktop realistas e recuperáveis, preservando as tarefas originais enquanto adiciona perturbações dinâmicas.
• Eficiência e Robustez: Demonstrando que a busca verificada pode alcançar maior precisão com significativamente menos computação do que o RL online, preservando capacidades de raciocínio visual.

4. Resultados Experimentais

Os experimentos foram conduzidos em um pool de 300 tarefas do OSWORLD (86 treináveis, 214 retidas) usando o modelo base UI-TARS-1.5-7B.

• Desempenho Limpo: O ENVS alcançou 30.3% pass@8 no OSWORLD limpo, superando o modelo base (22.7%) e o ARPO (26.7%).
• Robustez ao Ruído: No OSWORLD-NOISY, o ENVS atingiu 29.0% pass@8, superando significativamente o modelo base (20.3%) e o ARPO ruidoso (21.7%). Notavelmente, o ARPO ruidoso degradou em tarefas limpas, enquanto o ENVS manteve alto desempenho em ambas as condições.
• Eficiência de Computação: O ENVS exigiu 138–153 GPU-horas comparado a 184–192 GPU-horas para baselines ARPO equivalentes. Essa eficiência decorre de coletar trajetórias verificadas uma única vez e reutilizá-las para o Ajuste Fino Supervisionado (SFT), enquanto o ARPO requer novos rollouts on-policy para cada etapa de treinamento.
• Eficiência de Dados: Usando apenas 30% dos dados de busca coletados, o ENVS alcançou 27.0% pass@8, igualando ou superando o ARPO treinado no conjunto de dados completo.
• Retenção de Capacidade: O treinamento em ambientes ruidosos melhor preservou habilidades auxiliares de raciocínio visual. Por exemplo, no benchmark OSWORLD-G Refusal, o ENVS ruidoso pontuou 16.7% comparado a 1.9% para o ENVS limpo, sugerindo que interrupções fornecem supervisão útil para percepção e recuperação.

5. Significância e Alegações

O artigo afirma que o ENVS oferece uma vantagem estrutural sobre o RL online ao desacoplar a descoberta de trajetórias das atualizações de política. Isso permite:

1. Controle Global de Gradiente: A capacidade de limitar tarefas fáceis sobre-representadas e aumentar o peso de tarefas de sucesso raro, abordando a "degeneração binomial" e o desequilíbrio de gradiente inerentes ao RL online.
2. Preservação de Entropia: Diferente do RL online que frequentemente sofre de colapso de entropia (estreitamento das distribuições de ação), o ENVS mantém uma entropia de ação mais alta ao treinar em trajetórias diversas e verificadas, levando a uma melhor generalização.
3. Treinamento de Baixo Custo: Ao amortizar as interações caras com o ambiente em um conjunto de dados verificado, o ENVS reduz os custos de computação enquanto melhora o desempenho.
4. Robustez via Interrupção: Os resultados sugerem que perturbações dinâmicas não são apenas um teste de estresse, mas uma fonte de supervisão que ajuda os agentes a aprender a retomar o foco, esperar e recuperar, sem sacrificar a conclusão de tarefas limpas.

Os autores concluem que o treinamento nativo de ambiente pode tornar o treinamento de agentes mais barato e reutilizável, embora notem limitações quanto à natureza sintética do ruído e aos requisitos de infraestrutura específicos (VMs paralelas, resets confiáveis) do ambiente OSWORLD.