🤖 AI

SeekJudge: A Practical Reward Framework for Reinforcement Learning in Computer-Use Agents

O artigo apresenta o SeekJudge, um framework de recompensa prático baseado em modelos que utiliza quatro agentes especializados em funções e um backbone de 9B destilado que iguala ou supera a supervisão baseada em regras no treinamento de agentes de uso de computador, oferecendo julgamentos ao nível de passo, custos menores e escalabilidade para tarefas de longo horizonte.

Autores originais: Yang Wan, Zhenhao Zhang, Jierui Wang, Linchao Zhu

Publicado 2026-07-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yang Wan, Zhenhao Zhang, Jierui Wang, Linchao Zhu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a navegar em um mundo de videogame, mas em vez de apertar botões em um controle, o robô tem que clicar, digitar e rolar em uma tela de computador real, exatamente como um humano faria. Este é o mundo dos "agentes de uso de computador". Por muito tempo, cientistas tentaram ensinar esses robôs mostrando-lhes um objetivo — como "reservar um hotel" — e verificando se eles tiveram sucesso. A forma antiga de verificar era como usar um checklist rígido: se o robô clicasse no botão certo no momento certo, ele ganhava um ponto; se clicasse no errado, ganhava zero. Mas os computadores são bagunçados e mudam o tempo todo. Um checklist poderia dizer "você falhou" porque o robô clicou em um botão que parecia ligeiramente diferente do que estava no checklist, mesmo que o robô tivesse terminado o trabalho perfeitamente. É como um professor reprovar um aluno por escrever a palavra "cor" em vez de "cores", mesmo que a redação fosse brilhante.

Para corrigir isso, pesquisadores começaram a usar modelos de IA para atuar como juízes, esperando que eles pudessem entender o espírito da tarefa em vez de apenas as regras estritas. No entanto, esses juízes de IA frequentemente se confundem quando precisam olhar para um filme inteiro das ações do robô de uma só vez. É como tentar encontrar um erro de digitação específico em um romance de 500 páginas lendo o livro inteiro em um segundo; os detalhes importantes se perdem no ruído. A grande questão tornou-se: Como construir um juiz que seja inteligente o suficiente para entender objetivos humanos, barato o suficiente para rodar milhares de vezes enquanto o robô aprende e rápido o suficiente para lidar com histórias longas e complicadas sem ter uma dor de cabeça?

Entra o SeekJudge, um novo framework que atua como uma equipe de quatro detetives especializados trabalhando juntos para resolver um mistério, em vez de um único detetive sobrecarregado tentando fazer tudo sozinho. Os pesquisadores descobriram que, quando você força uma IA a olhar para muitas capturas de tela de uma tela de computador ao mesmo tempo, ela começa a alucinar ou perde os detalhes mais importantes. É como pedir a alguém para identificar um suspeito em uma multidão de 100 pessoas; eles podem se distrair com o chapéu brilhante de um estranho e perder o verdadeiro criminoso. Mas, se você mostrasse a eles apenas uma foto do suspeito, eles o identificariam instantaneamente.

O SeekJudge resolve isso dividindo o trabalho. Primeiro, dois "batedores" (chamados de agentes Condense e Ground) percorrem rapidamente a longa jornada do robô e escrevem um resumo curto e fácil de ler sobre o que aconteceu, passo a passo. Em seguida, um "detetive" (o agente Seek) lê esse resumo e decide: "Hum, preciso ver a foto do passo 42 para ter certeza". Ele então chama um quarto agente, o agente Analyze, para olhar apenas aquela captura de tela específica e responder a uma pergunta precisa sobre ela. Esse ciclo de ida e volta continua até que o detetive esteja confiante o suficiente para dar um veredito final.

O artigo mostra que essa abordagem de "buscar e analisar" é um divisor de águas. Quando testaram o SeekJudge, ele foi o primeiro juiz baseado em IA a ter um desempenho tão bom quanto, ou até melhor que, os antigos verificadores de regras rígidas ao ajudar robôs a aprender novas tarefas. Na verdade, ao ser usado para treinar um robô, os robôs aprenderam mais rápido e tiveram mais sucesso com o SeekJudge do que com os métodos tradicionais.

O que é realmente legal é o quão eficiente isso é. Como a IA olha para apenas uma imagem de cada vez em vez de uma pilha inteira, ela não precisa de um computador massivo e caríssimo para rodar. Os pesquisadores descobriram que seu sistema custa uma fração minúscula do que outros juízes de IA custam — centenas de vezes mais barato do que usar um modelo gigante de código fechado. É como a diferença entre contratar uma equipe de especialistas locais que olham para uma pista por alguns dólares, versus contratar um detetive celebridade que cobra uma fortuna para ler todo o arquivo do caso de uma só vez.

A equipe também construiu um novo "campo de treinamento" chamado CUAStepBench, que é uma coleção de 278 tarefas de computador diferentes onde humanos rotularam cuidadosamente cada um dos passos da jornada do robô. Isso ajudou a treinar sua equipe de "detetives" para serem incrivelmente aguçados. Eles provaram que, ao decompor o problema em encontrar o momento certo (localização) e depois ler os detalhes (extração), eles podiam lidar com tarefas muito mais longas e complexas do que os métodos anteriores.

Em suma, o SeekJudge não tenta ser um olho onisciente e superinteligente; em vez disso, ele atua como uma equipe inteligente e eficiente que sabe exatamente quando dar zoom no detalhe mais importante. Isso torna possível treinar robôs que usam computadores no mundo real, onde as tarefas são longas, as telas mudam e manuais de regras estritos simplesmente não funcionam. O artigo sugere que essa abordagem pode ser a chave para criar assistentes de IA que possam realmente nos ajudar em nossas tarefas diárias de computador, desde reservar voos até organizar arquivos, sem precisar de um supercomputador para corrigir seus deveres de casa.

Resumo Técnico: SeekJudge

Declaração do Problema

A avaliação e o treinamento de Agentes de Uso de Computador (CUAs) em tarefas de interface gráfica de usuário (GUI) de longo horizonte enfrentam um gargalo crítico: determinar se uma trajetória gerada cumpre uma instrução humana. Historicamente, isso tem dependido da avaliação baseada em regras, que sofre de três limitações fundamentais:

Desalinhamento com a Intenção Humana: As regras têm dificuldade em enumerar todas as soluções válidas, particularmente para tarefas abertas (ex: desenhar um quadro) onde os resultados aceitáveis são ilimitados.
Fragilidade e Manutenção: As regras dependem do acesso ao estado interno (layout, APIs) ou respostas predefinidas, tornando-as frágeis a atualizações de aplicativos, mudanças de versão ou deriva de conteúdo online.
Problemas de Escalabilidade: Sistemas baseados em regras são frequentemente limitados a softwares offline; cobrir serviços online ao vivo incorre em altos custos de manutenção.

Embora juízes baseados em modelos tenham surgido como uma alternativa, as estruturas existentes muitas vezes falham em alcançar a adoção em larga escala no Aprendizado por Reforço (RL) devido a uma "diluição de evidência decisiva". Ao alimentar trajetórias inteiras (muitas imagens) em uma única passagem direta (forward pass), esses modelos frequentemente alucinam em detalhes menores ou confiam excessivamente nos autorrelatos do agente, falhando em isolar a captura de tela específica que determina o veredito. Além disso, as soluções existentes muitas vezes carecem de granularidade ao nível de passo, eficiência de custo ou capacidade de escalar para trajetórias muito longas dentro de uma única janela de contexto.

Metodologia: A Estrutura SeekJudge

O SeekJudge aborda esses problemas decompondo a tarefa de julgamento em localização (identificar a imagem que contém a evidência decisiva) e extração (ler essa evidência com alta fidelidade). Ele implementa isso via uma estrutura multiagente que compartilha um único modelo de backbone de 9 bilhões de parâmetros.

Arquitetura Central

A estrutura emprega quatro agentes especializados em funções:

Agente de Condensação (Condense Agent): Lê pares de capturas de tela (pré e pós-ação) para gerar uma linha do tempo de texto compacta descrevendo transições de estado ( $T$ entradas).
Agente de Fundamentação (Ground Agent): Lê a captura de tela pós-ação e a ação bruta (ex: coordenadas) para identificar o elemento de UI atingido, gerando entradas de ação fundamentadas ( $A$ entradas).
Agente de Busca (Seek Agent): O controlador de estado. Ele lê a linha do tempo condensada e consulta iterativamente o agente de Análise. Ele decide se a evidência acumulada é suficiente para emitir um veredito. Se não, ele seleciona um passo específico e um ID de imagem para inspecionar, formula uma pergunta focada e anexa a resposta ao seu contexto.
Agente de Análise (Analyze Agent): Uma ferramenta sem estado que responde a uma única pergunta focada sobre uma captura de tela específica, retornando apenas o detalhe decisivo.

Este loop de Busca–Análise (Seek–Analyze) garante que o modelo processe evidências de alta fidelidade uma imagem por vez, evitando a diluição de contexto vista em abordagens de múltiplas imagens em passagem única.

Treinamento e Construção de Dados

Destilação Calibrada por Sementes (Seed-Calibrated Distillation): Para treinar o modelo de backbone de 9B único, os autores utilizam um pipeline onde um modelo forte de código fechado (DeepSeek) atua como professor. Uma "Etapa de Semente" utiliza busca de prompts para alinhar os critérios do professor e os prompts de busca com anotações humanas. Esses dados são então usados para destilar as quatro funções no modelo unificado de 9B.
Supervisão Densa: Em vez de rótulos binários, a estrutura produz sete pontuações de dimensão ao nível da trajetória (0–100) e nove rótulos de classe ao nível do passo. Eles são mapeados para recompensas escalares para treinamento de RL via um pequeno regressor de gradiente aumentado (gradient-boosted regressor).
CUAStepBench: Um novo benchmark construído com 278 tarefas em 177 aplicações (Web, OS, Android, iOS, macOS). Ele apresenta vereditos de trajetórias humanas pareados com rótulos densos e post-hoc ao nível do passo, preenchendo uma lacuna em benchmarks existentes que carecem de cobertura multiplataforma ou granularidade ao nível do passo.

Otimizações de Engenharia para RL

Para tornar as recompensas baseadas em modelos práticas para RL online, o SeekJudge introduz:

Servidor de Estado Zero com Sobreposição de Rollout: O servidor agenda operações não dependentes (Condensação/Fundamentação) durante o tempo de execução de ação do ambiente (janelas ociosas de GPU). O cliente de RL transmite capturas de tela de forma assíncrona sem manter o estado da recompensa, reduzendo a latência e o tempo de bloqueio.
Computação Adaptativa: O agente de Busca emite chamadas de extração apenas conforme necessário, o que significa que trajetórias fáceis exigem menos rodadas do que as complexas.

Principais Resultados

Desempenho de Aprendizado por Reforço (RL)

Superando a Supervisão Baseada em Regras: Em objetivos de teste mantidos (held-out) através de três domínios (Chrome, Impress, OS), as políticas treinadas com o SeekJudge alcançaram taxas de sucesso de teste que igualaram ou superaram aquelas treinadas com supervisão nativa baseada em regras. Por exemplo, no domínio Impress com UI-TARS 1.5 7B, o SeekJudge alcançou uma taxa de sucesso de teste de 36,81% comparada aos 30,43% da supervisão baseada em regras.
Superioridade sobre Outros Juízes de Modelo: O SeekJudge superou as estruturas de juízes de modelo existentes (CUAJudge, OS-Themis) tanto em recompensas de treinamento quanto em taxas de sucesso de teste, mesmo quando essas estruturas utilizavam modelos maiores ou de código fechado.

Avaliação Offline

Precisão do Benchmark: No CUAStepBench, o modelo especializado SeekJudge-9B alcançou um F1 de trajetória de 74,5% e um F1 de nível de passo de 38,1%, superando a base Qwen3VL-8B e ultrapassando baselines de código fechado como CUAJudge (GPT-5-mini) em F1 de trajetória.
Eficiência de Contexto: O SeekJudge mantém um contexto por chamada significativamente menor (4–6× menor que os concorrentes) porque processa imagens sequencialmente em vez de em massa. Isso permite que ele lide com trajetórias muito mais longas sem atingir os limites de contexto.

Custo e Eficiência

Redução de Custo: O SeekJudge é centenas de vezes mais barato que grandes modelos de código fechado. A Figura 7 indica que, para 5.000 trajetórias, o SeekJudge custa uma fração do preço de baselines como Codex (GPT-5.5).
Ruído de Múltiplas Imagens: Experimentos confirmaram que adicionar imagens não decisivas a uma única passagem direta degrada o desempenho (o F1 cai de 0,68 para 0,61 conforme o número de imagens aumenta), validando a necessidade da abordagem de extração localizada do SeekJudge.

Significância e Alegações

O artigo afirma que o SeekJudge representa um substituto prático de substituição direta (drop-in replacement) para a supervisão baseada em regras na supervisão de RL de uso de computador. Sua significância reside em:

Preencher a Lacuna: É o primeiro modelo de recompensa que iguala ou excede a supervisão nativa baseada em regras em configurações de RL online, superando a histórica lacuna de desempenho.
Escalabilidade: Ao desacoplar a localização da extração, ele permite a avaliação de tarefas de longo horizonte que excedem as janelas de contexto de juízes de passagem única.
Granularidade: Fornece julgamentos ao nível de passo essenciais para a atribuição de crédito em trajetórias longas, um recurso ausente em muitos modelos de recompensa existentes.
Praticidade: Através de otimizações arquiteturais (pré-busca assíncrona, contexto pequeno) e eficiência de custo, torna as recompensas baseadas em modelos viáveis para loops de treinamento de RL em larga escala, estendendo as capacidades dos agentes para ambientes onde as regras não podem ser instrumentadas (ex: serviços online ao vivo).

Os autores enfatizam que, embora a estrutura dependa de um modelo de 9B especializado, seus princípios de design (decomposição de localização/extração) e otimizações de engenharia são generalizáveis, oferecendo um caminho para a avaliação de agentes escalável e alinhada com humanos.