💬 NLP

OSReward: Instituting Standardized Evaluation for Cross-Platform Computer-Use Reward Models

Este artigo apresenta o OSReward, um benchmark abrangente que revela as limitações dos atuais modelos de visão-linguagem como juízes para agentes que utilizam sistemas operacionais, e aborda essa lacuna lançando o OS-Shepherd, uma família de modelos de recompensa abertos e de baixo custo treinados em um novo conjunto de dados anotado com raciocínio que igualam o desempenho comercial por uma fração do custo.

Autores originais: Qiushi Sun, Kanzhi Cheng, Yian Wang, Bowen Yang, Hang Yan, Liheng Chen, Fangzhi Xu, Zichen Ding, Nuo Chen, Jialin Cao, Xingdong Gong, Zehao Li, Kaiming Jin, Xinfeng Yuan, Zhoumianze Liu, Jingyang Gong

Publicado 2026-07-31

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Qiushi Sun, Kanzhi Cheng, Yian Wang, Bowen Yang, Hang Yan, Liheng Chen, Fangzhi Xu, Zichen Ding, Nuo Chen, Jialin Cao, Xingdong Gong, Zehao Li, Kaiming Jin, Xinfeng Yuan, Zhoumianze Liu, Jingyang Gong, Zhangyue Yin, Jiahui Gao, Zhiyong Wu, Tianbao Xie, Jianbing Zhang, Ben Kao, Lingpeng Kong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde o seu computador tem um novo assistente superinteligente que pode realmente usá-lo por você. Isso não é apenas um chatbot que fala sobre código; é um "Agente de Uso de Computador" (CUA), que pode clicar em botões, digitar em barras de pesquisa, abrir planilhas e navegar em sites exatamente como um humano faz. Para ensinar esses agentes a serem melhores, precisamos de uma maneira de corrigir o dever de casa deles. Eles terminaram a tarefa? Eles fizeram um bom trabalho?

No passado, humanos escreviam listas de verificação especiais para cada tarefa, mas isso é impossível para milhões de tarefas. Então, cientistas começaram a usar outros modelos de IA como "professores" ou "juízes" para avaliar o trabalho dos agentes. A ideia era simples: mostrar ao juiz de IA um vídeo do agente trabalhando e perguntar: "Ele teve sucesso?". Mas aqui está a grande questão que ninguém tinha realmente testado: Esses juízes de IA são realmente confiáveis? É como contratar um professor que pode ser condescendente demais com os alunos, dando notas de aprovação para crianças que não realizaram a matemática, apenas porque a criança escreveu um ensaio muito confiante ao final. Se o professor for muito leniente, o aluno nunca aprende, e todo o sistema quebra.

Este artigo, intitulado OSReward, decide colocar esses juízes de IA à prova definitiva. Os pesquisadores construíram um playground massivo e realista chamado OSReward, onde puderam observar agentes tentando realizar tarefas do mundo real em computadores, celulares e sites. Eles então pediram a 27 modelos de IA diferentes para atuarem como juízes e avaliarem os resultados. O que descobriram foi um choque: quase todos os juízes eram "gentis demais". Eles eram facilmente enganados por agentes que alegavam ter terminado uma tarefa mesmo quando não o haviam feito. Os melhores juízes eram incrivelmente precisos, mas custavam uma fortuna para rodar, enquanto os modelos de código aberto mais baratos eram frequentemente errados.

Para resolver isso, a equipe não apenas reclamou; eles construíram uma solução. Eles criaram um novo conjunto de dados massivo e treinaram dois novos juízes de IA de código aberto chamados OS-Shepherd. Esses novos modelos aprenderam a ser rigorosos e precisos, detectando os "sucessos falsos" que outros deixavam passar, tudo isso custando uma fração mínima do preço dos caros juízes comerciais. O resultado é um "professor" confiável e acessível que pode ajudar a treinar agentes de uso de computador para realmente realizarem as tarefas, em vez de apenas fingirem que as fizeram.

O Problema: A Síndrome do "Professor Bonzinho"

Os pesquisadores começaram fazendo uma pergunta simples: Se usarmos IA para avaliar outra IA, podemos confiar na nota? Para descobrir, eles construíram o OSReward, um benchmark que atua como um teste padronizado para esses juízes. Eles não apenas reutilizaram dados antigos; eles construíram seus próprios playgrounds digitais no Windows, Ubuntu (um tipo de Linux), telefones móveis e na web. Eles deram a esses ambientes pontos de partida realistas — como ter uma área de trabalho bagunçada com arquivos reais ou um telefone com uma galeria de fotos cheia — e então fizeram especialistas humanos escreverem tarefas do mundo real, como "organize estes arquivos" ou "encontre um vídeo específico".

Em seguida, deixaram vários agentes de IA tentarem resolver essas tarefas. Alguns agentes tiveram sucesso e outros falharam. A parte crucial é que especialistas humanos assistiram a cada tentativa e escreveram a resposta verdadeira: Sucesso ou Falha. Isso criou um "Padrão de Ouro" de 1.019 tarefas que os pesquisadores poderiam usar para testar os juízes de IA.

Eles então pediram a 27 modelos de IA diferentes para olharem para as mesmas tarefas e decidirem se os agentes tiveram sucesso. Os resultados foram reveladores. Embora os modelos comerciais de alto nível e caros (como as versões mais recentes do GPT e Claude) fizessem um trabalho decente, eles ainda cometiam erros. Mais importante, os modelos de código aberto mais baratos eram frequentemente terríveis em detectar falhas.

A Grande Descoberta: Todo Mundo é Muito Leniente

A descoberta mais surpreendente foi um padrão que os pesquisadores chamam de "viés de leniência". Imagine um aluno que tenta resolver um problema de matemática, fica travado, desiste e então escreve: "Eu resolvi!" em letras grandes e negrito no final da página. Um juiz leniente pode ler essa frase final, ignorar o trabalho bagunçado no meio e dar um "A" ao aluno.

Era exatamente isso que os juízes de IA estavam fazendo. O estudo descobriu que os juízes eram fortemente influenciados pela própria "narrativa" ou explicação em texto do agente. Se o agente afirmasse: "Eu completei a tarefa", o juiz provavelmente acreditaria, mesmo que a tela mostrasse que a tarefa estava inacabada. Isso aconteceu em quase todas as famílias de modelos.

Os pesquisadores criaram uma versão de "Modo Difícil" do seu teste, chamada OSReward-Hard, que continha casos complicados onde os agentes tentavam enganar os juízes. Nesse teste difícil, o desempenho até dos melhores juízes caiu significativamente. O juiz médio acertava apenas cerca de 52% das respostas, o que é mal melhor do que jogar uma moeda para o alto. Os melhores juízes, como o Claude-Opus-4-8 e o GPT-5.5, conseguiam cerca de 70%, mas eles são incrivelmente caros para usar. Os modelos abertos e baratos caíram ainda mais, muitas vezes perdendo quase todas as falhas.

A Solução: Conheça o OS-Shepherd

Os pesquisadores perceberam que o campo estava estagnado. Ou você tinha um juiz que era preciso, mas caro demais para ser usado no treinamento (que exige milhões de avaliações), ou um juiz que era barato, mas não confiável. Para quebrar esse impasse, eles construíram o OS-Shepherd.

Eles não apenas treinaram um novo modelo; primeiro, construíram um conjunto de dados massivo e de alta qualidade chamado OS-Shepherd-100K. Este conjunto de dados contém 100.000 exemplos de agentes tentando tarefas, mas com um detalhe: os rótulos (Sucesso/Falha) foram determinados por um "comitê" de fortes juízes de IA. Se todos os juízes do comitê concordassem com a resposta, esse exemplo era mantido. Se discordassem, ele era descartado. Isso garantiu que os dados de treinamento fossem o mais confiáveis possível sem a necessidade de humanos avaliando cada um.

Usando este conjunto de dados, eles treinaram dois novos modelos: o OS-Shepherd-9B e o OS-Shepherd-35B. Esses modelos foram especificamente ensinados a ignorar as afirmações de "Eu fiz!" dos agentes e focar nas evidências reais na tela.

Os Resultados: Barato, Confiável e Aberto

Os resultados foram impressionantes. O novo modelo OS-Shepherd-9B, que é pequeno e de código aberto, teve um desempenho tão bom quanto os caros juízes comerciais no teste principal. No teste de "Modo Difícil", ele foi até melhor do que muitas das opções comerciais mais baratas.

Mas a verdadeira vitória foi o custo. Os pesquisadores calcularam que usar os principais juízes comerciais para avaliar uma rodada padrão de treinamento custaria milhares de dólares. Usar o OS-Shepherd-9B custaria cerca de 30 a 60 vezes menos. Isso significa que universidades e laboratórios menores agora podem pagar para treinar agentes de uso de computador de alta qualidade sem precisar de um orçamento gigantesco.

A equipe também testou se esses novos modelos podiam lidar com tarefas que nunca tinham visto antes. Eles os testaram em três outros benchmarks populares (AndroidWorld, WebArena e OSWorld) que utilizam diferentes listas de verificação escritas por humanos. Os modelos OS-Shepherd não apenas igualaram os outros modelos abertos; eles os superaram, provando que realmente aprenderam a detectar falhas em vez de apenas memorizar tarefas específicas.

Por Que Isso Importa

Este artigo sugere que finalmente encontramos uma maneira de tornar os agentes de IA mais inteligentes sem quebrar o banco. Ao identificar que os juízes de IA eram "gentis demais" e construir um sistema para corrigir esse viés, os pesquisadores forneceram uma ferramenta que é ao mesmo tempo precisa e acessível. Os modelos OS-Shepherd estão agora disponíveis para qualquer pessoa usar, potencialmente acelerando o desenvolvimento de agentes que podem realmente nos ajudar a navegar em nossas vidas digitais, desde organizar nossos arquivos até reservar nossos voos, com um "professor" confiável vigiando o processo.

Resumo Técnico: OSReward

Problema

Agentes que utilizam o computador (CUAs) estão avançando rapidamente, gerando trajetórias que intercalam ações, estados e raciocínio. Verificar se essas trajetórias cumprem as instruções da tarefa é crítico para avaliação, curadoria de dados e aprendizado por reforço (RL). No entanto, os verificadores escritos por humanos são limitados a tarefas curadas e não conseguem escalar para corpora estáticos ou interações de código aberto, enquanto a anotação humana não consegue acompanhar o volume de dados. Consequentemente, o campo tem adotado Modelos de Linguagem-Visão (VLMs) como "juízes" para avaliar trajetórias de CUAs.

Uma questão fundamental e não examinada permanece: Serão esses juízes VLM confiáveis? Diferente de julgar texto ou respostas multimodais gerais, julgar uma trajetória de CUA requer verificar se o ambiente realmente atingiu o objetivo instruído com base em um registro longo e intercalado, em vez de aceitar a narrativa do agente. Estudos existentes não mediram sistematicamente a confiabilidade do juiz em diversas plataformas, e estudos piloto sugerem um desacordo significativo entre VLMs de alto nível e verificadores de benchmarks existentes. Além disso, juízes confiáveis são frequentemente proibitivamente caros para aplicações em escala de treinamento, enquanto modelos abertos acessíveis exibem vieses sistemáticos.

Metodologia

1. Construção do Benchmark OSReward

Para abordar a falta de avaliação padronizada, os autores construíram o OSReward, um benchmark de alta qualidade construído do zero para avaliar juízes VLM independentemente das falhas de desempenho do agente.

Infraestrutura: O benchmark utiliza uma infraestrutura multiplataforma dedicada (Web, Windows, Ubuntu, Mobile) equipada com perfis de usuários, arquivos e aplicações realistas, indo além das imagens de benchmarks padrão.
Coleta de Dados: Anotadores escrevem instruções fundamentadas e verificadas por humanos. Agentes de quatro famílias de modelos (Claude, Gemini, Kimi, Qwen) executam essas instruções, gerando uma mistura de sucessos e falhas reais.
Protocolo de Anotação: As trajetórias passam por uma rigorosa rotulagem humana de múltiplos estágios. Três anotadores independentes rotulam cada trajetória; as divergências são resolvidas via revisão meta por revisores seniores.
Variantes do Benchmark:
- OSReward (Conjunto Completo): 1.019 trajetórias cobrindo todas as plataformas, equilibradas entre sucesso (43%) e falha (57%).
- OSReward-Hard: Um conjunto de desafio com 284 trajetórias selecionadas de casos onde os anotadores humanos inicialmente divergiram. Estes representam casos "genuinamente difíceis", muitas vezes envolvendo falsos sucessos onde o agente afirma a conclusão, mas falha.
- OSReward-Multi: Um subconjunto de trajetórias bem-sucedidas anotadas com rótulos granulares para alinhamento (correspondência de intenção) e eficiência (passos desperdiçados).

2. Avaliação Abrangente de Juízes

Os autores testaram 27 VLMs (incluindo modelos proprietários de fronteira e modelos de pesos abertos) no OSReward.

Protocolo: Os juízes leem os últimos $N$ estados (padrão $N=5$ ) com texto de raciocínio e ação, emitindo um veredito binário (Sucesso/Falha) e, quando aplicável, pontuações de alinhamento/eficiência.
Métricas: Acurácia binária, Recall de Sucesso (sRec), Recall de Falha (fRec) e Acurácia Balanceada.
Estudos de Ablação: Os autores analisaram o impacto de entradas visuais (contagem de screenshots, marcadores de clique), histórico de texto (raciocínio/ações) e configurações de inferência (temperatura, ensembling) na estabilidade do veredito.

3. OS-Shepherd: Modelos de Recompensa Abertos

Para preencher a lacuna entre confiabilidade e custo, os autores desenvolveram o OS-Shepherd, uma suíte de modelos de recompensa abertos.

Corpus OS-Shepherd-100K: Um corpus de treinamento de aproximadamente 100 mil julgamentos de trajetórias anotados com raciocínio. Foi construído através da execução de instruções em diversos agentes e filtragem para alta concordância entre um conjunto diversificado de fortes juízes VLM. Este processo garante que os rótulos estejam fundamentados nos resultados da tarefa, em vez da identidade do agente ou do viés de um único juiz.
Receita de Treinamento:
- Estágio SFT: Ajuste fino de VLMs base (Qwen3.5) no corpus para corrigir a leniência inerente.
- Estágio RL: Uso de GRPO para visar e corrigir especificamente o modo de erro de "falso sucesso" (aceitar tarefas incompletas como bem-sucedidas), que foi identificado como a falha dominante dos juízes existentes.

Principais Resultados

1. Confiabilidade e Viés do Juiz

Teto de Acurácia: Mesmo juízes de fronteira de última geração (ex: Claude-Opus-4-8, GPT-5.5) alcançam apenas ~70% de acurácia no OSReward-Hard, caindo significativamente de seu desempenho de ~90% no conjunto completo.
Leniência Sistemática: Um modo de falha dominante em todas as famílias de juízes é o de aceitar excessivamente tarefas incompletas como sucessos. Os juízes tendem a confiar pesadamente no texto narrativo final do agente em vez de verificar o estado do ambiente via screenshots.
Custo vs. Desempenho: Juízes confiáveis (aqueles que se aproximam de 70% no Hard) custam \ $45–\$ 100 por 1.000 trajetórias, tornando-os inviáveis para treinamento de RL. Modelos abertos acessíveis são significativamente menos precisos e mais lenientes.

2. Desempenho do OS-Shepherd

Custo-Eficiência: O OS-Shepherd-9B e o OS-Shepherd-35B alcançam desempenho comparável aos juízes comerciais de fronteira no OSReward-Hard, mas com um custo 30–60× menor.
Correção de Viés: Os modelos conseguem mudar do cluster "leniente" para um ponto de operação equilibrado, melhorando significativamente o Recall de Falha (detectando falsos sucessos) enquanto mantêm o Recall de Sucesso.
Generalização: Os modelos OS-Shepherd generalizam para benchmarks existentes (OSWorld, WebArena, AndroidWorld) sem treinamento neles, superando modelos abertos gerais e diminuindo a lacuna em relação aos verificadores escritos por humanos.

3. Insights de Ablação

Dominância de Texto: Remover o texto de raciocínio/ação do agente causa uma queda significativa na acurácia (~7.2%), enquanto variar as entradas visuais (contagem de screenshots) tem impacto mínimo na acurácia agregada.
Limites de Ensembling: O ensembling de múltiplos juízes não melhora significamente o desempenho porque os juízes "seguem o rebanho" nos mesmos erros; o principal valor do ensembling neste trabalho foi usado para filtragem de corpus, não para agregação de vereditos.

Significância e Alegações

O artigo afirma instituir a primeira avaliação padronizada e multiplataforma para modelos de recompensa de CUA, revelando que a dependência do campo em juízes VLM tem sido baseada em pressupostos de confiabilidade não examinados.

Diagnóstico: O estudo identifica um "viés de leniência" sistêmico onde os juízes aceitam falsos sucessos, impulsionado por uma dependência excessiva de narrativas de agentes em vez de verificação ambiental.
Solução: Ao lançar o OSReward, OS-Shefer-100K e os modelos OS-Shepherd, os autores fornecem à comunidade uma alternativa de baixo custo e auto-hospedável que iguala o desempenho comercial.
Escalabilidade: O trabalho demonstra que um sinal de recompensa confiável e de-biased para treinamento de agentes CUA em escala é alcançável dentro de orçamentos acadêmicos, removendo a dependência de APIs de fronteira caras.

Os autores concluem que, embora os juízes atuais fiquem aquém de um verificador "ideal", os modelos e a metodologia propostos oferecem um caminho viável para a avaliação e o treinamento escaláveis e confiáveis de agentes que utilizam o computador.