Resumo Técnico: Escalando Agentes para Uso de Computador via Juiz de Comportamento

Declaração do Problema

Agentes de uso de computador (CUAs - Computer-Use Agents) prometem automatizar tarefas digitais cotidianas em diversos sistemas operacionais. No entanto, seu desempenho em problemas complexos de longo horizonte permanece pouco confiável. O desafio central não reside apenas em resolver etapas individuais, mas em sustentar a correção ao longo de dezenas ou centenas de interações. Pequenos erros se acumulam com o tempo, o feedback é frequentemente atrasado e o ruído ambiental (como mudanças na interface do usuário ou latência) leva a uma alta variância nos resultados.

Embora trabalhos anteriores tenham tentado escalar o desempenho dentro de um único rollout (ex: Best-of-N passo a passo), essas abordagens renderam ganhos limitados em tarefas de longo horizonte. Uma alternativa é o "escalonamento amplo" (wide scaling) — gerar múltiplos rollouts em paralelo e selecionar o melhor. No entanto, essa abordagem enfrenta um gargalo fundamental: a avaliação. As trajetórias dos agentes são densas em informações, multimodais e frequentemente admitem múltiplas soluções válidas. Determinar confiavelmente qual de várias trajetórias de longo horizonte está correta é difícil porque a maioria dos detalhes é irrelevante para o sucesso da tarefa, e a avaliação automática roteirizada tem dificuldade com a nuance das tarefas de uso de computador.

Metodologia: Juiz de Comportamento (BJudge)

Para enfrentar o gargalo de avaliação e permitir um escalonamento amplo eficaz, os autores introduzem o Behavior Judge (BJudge). Este framework transforma trajetórias densas e brutas de agentes em representações compactas e interpretáveis para facilitar a seleção principiológica entre candidatos.

1. O Paradigma de Escalonamento Amplo

Diferente do escalonamento de rollout único, o BJudge gera múltiplas trajetórias candidatas ($\tau$) usando um conjunto de políticas base $\{\pi_m\}$. Essas políticas podem incluir diferentes modelos ou decodificação estocástica do mesmo modelo para capturar diversidade. O objetivo é selecionar a trajetória $\hat{\tau}$ que maximiza a recompensa da tarefa $R(\tau, I)$.

2. Geração de Narrativa de Comportamento

O primeiro componente chave é o Gerador de Narrativa de Comportamento. Em vez de alimentar o juiz diretamente com capturas de tela e ações brutas, o sistema converte cada transição $(s_i, a_i, s_{i+1})$ em uma "narrativa de comportamento" ($\phi_i$).

• Extração de Fatos: Um Modelo de Linguagem Visual (VLM) analisa o estado antes e depois de uma ação para derivar fatos que descrevem o que o agente realmente fez e como isso afetou o ambiente.
• Aumento Visual: Para garantir a precisão, particularmente em interações de ponteiro (cliques, arrastos), o gerador sobrepõe marcadores na captura de tela pré-ação e extrai recortes ampliados da captura pós-ação. Isso ajuda a verificar mudanças em nível de pixel e reduz alucinações sobre se uma ação teve sucesso.
• Construção da Narrativa: A narrativa final $\tilde{\tau}$ consiste no estado inicial, na sequência de fatos derivados e no estado final. Isso filtra detalhes irrelevantes enquanto preserva resumos de ação-efeito relevantes para a tarefa.

3. Avaliador de Comportamento Comparativo

O segundo componente é o Evaliador de Comportamento Comparativo. Em vez de classificar trajetórias de forma independente, este módulo realiza uma comparação direta das narrativas de comportamento.

• Mecanismo: Um avaliador VLM é instruído a comparar todas as narrativas candidatas simultaneamente usando um formato de pergunta de múltipla escolha (MCQ) de rodada única.
• Vantagem: Esta abordagem permite que o juiz cite e contraste fatos específicos entre os candidatos, permitindo uma seleção mais informada do que o ranking independente. É projetado para ser eficiente em termos de tokens e mais rápido do que comparações de torneio de múltiplas rodadas.

4. Estrutura Agêntica Melhorada (Agent S3)

Para suportar o BJudge, os autores introduzem o Agent S3, uma estrutura de linha de base melhorada construída sobre o Agent S2. As principais mudanças arquiteturais incluem:

• Política Plana (Flat Policy): Remoção do planejamento hierárquico em favor de uma política plana que pode replanejar a qualquer momento com base na instrução atual e no histórico, aproveitando as fortes capacidades de manutenção de contexto dos modelos de fundação modernos.
• Agente de Codificação Integrado: Um agente de codificação especializado é nativamente integrado ao espaço de ação do agente de GUI. Ele pode ser invocado para edições programáticas (ex: operações de arquivos em massa, parsing estruturado) quando mais eficiente do que a manipulação direta de GUI. Ele opera em um loop interno limitado com uma VM em ambiente isolado (sandboxed), fornecendo feedback de execução para a política de GUI.

Principais Contribuições

1. Paradigma de Escalonamento Amplo: O artigo estabelece que a seleção cuidadosa de múltiplos rollouts paralelos melhora substancialmente a robustez e a cobertura para CUAs, desde que exista um mecanismo de seleção eficaz.
2. Framework de Juiz de Comportamento: Um sistema inovador que converte trajetórias densas em narrativas de comportamento compactas e utiliza avaliação comparativa para selecionar a solução ideal, abordando o gargalo de avaliação do escalonamento amplo.
3. Novo Estado da Arte (SoTA): Ao combinar o BJudge com a linha de base Agent S3, os autores alcançam um novo SoTA no benchmark OSWorld.
4. Generalização: O método demonstra forte generalização zero-shot para diferentes sistemas operacionais (Windows e Android).

Resultados Experimentais

Desempenho no OSWorld

No benchmark OSWorld (361 tarefas, limite de 100 passos), o método proposto atinge uma taxa de sucesso de 72,6%.

• Isso representa uma melhoria absoluta de 9,2% sobre o SoTA anterior (63,4%).
• Supera o desempenho de nível humano relatado de 72,36%.
• Usando um ensemble de GPT-5 e Opus 4.5, o sistema mostra que o escalonamento eficaz pode elevar as capacidades do agente além dos marcos humanos nessas tarefas.

Eficiência e Ablação

• Eficiência do Agent S3: Comparado ao hierárquico Agent S2, o Agent S3 reduz as chamadas de LLM por tarefa em 52,3% e o tempo de conclusão da tarefa em 62,4%, enquanto melhora a taxa de sucesso em 13,8%.
• Ablação de Representação: As narrativas de comportamento superam significativamente outras representações. Comparado a uma linha de base de "Apenas Captura de Tela" (56,0%) e uma linha de base de "Resumo de Trajetória" (55,0%), as Narrativas de Comportamento alcançaram uma taxa de sucesso de 60,2% (com GPT-5 Mini), um ganho absoluto de 3,4%.
• Estratégia de Seleção: O BJudge supera métodos de ranking independente adaptados (como o WebJudge) em vários orçamentos de rollout, demonstrando que a avaliação comparativa é necessária para uma seleção escalável.

Generalização

• WindowsAgentArena: O BJudge (N=3) obteve uma melhoria de 6,4% sobre a linha de base Agent S3 (56,6% vs 50,2% em 100 passos).
• AndroidWorld: O BJudge (N=3) obteve uma melhoria de 3,5% sobre a linha de base Agent S3 (71,6% vs 68,1%).

Ensemble de Modelos

Experimentos com ensembles de mistura de modelos revelaram que a diversidade é a chave para a cobertura de tarefas. A combinação de GPT-5 e Claude Opus 4.5 rendeu a maior taxa de sucesso (71,6%), enquanto a mistura mais diversa (incluindo todos os modelos testados) alcançou a maior cobertura de tarefas (Pass@N) de 80,5%.

Significância e Alegações

O artigo alega que a principal barreira para escalar agentes de uso de computador não é a geração de soluções, mas a avaliação e seleção dessas soluções. Ao introduzir o Behavior Judge, os autores fornecem um framework prático que permite que o escalonamento amplo seja eficaz.

Os autores enfatizam que o escalonamento eficaz requer compreensão e seleção de trajetórias estruturadas. Simplesmente gerar mais rollouts sem um mecanismo robusto para compará-los gera retornos decrescentes. O BJudge resolve isso abstraindo trajetórias ruidosas e densas em narrativas de comportamento de alto nível, permitindo que o sistema identifique o caminho correto mesmo em ambientes complexos de longo horizonte.

Os resultados destacam que, com o framework correto, os CUAs podem não apenas igualar, mas superar o desempenho humano em tarefas complexas de automação de desktop, sugerindo um caminho viável para fluxos de trabalho digitais automatizados e confiáveis. O artigo observa que esses resultados dependem de ambientes controlados (máquinas virtuais), onde rollouts independentes são possíveis, reconhecendo que a implantação direta em desktops de usuários reais apresenta desafios adicionais de isolamento de estado.