Resumo Técnico: OpenComputer

Declaração do Problema

A escalabilidade de agentes de uso de computador está atualmente limitada por dois desafios críticos: o alto custo de construção de ambientes de desktop realistas e reproduzíveis, e a dificuldade de verificar o sucesso da tarefa em estados complexos de software. A criação tradicional de tarefas exige o design manual de objetivos do usuário e inicialização do ambiente (por exemplo, preenchimento de arquivos, configuração de definições), o que é tedioso e não padronizado. Além disso, a avaliação frequentemente depende de "LLM como juiz" ou inspeção visual de capturas de tela, o que falha em detectar erros sutis em estados subjacentes de aplicativos, metadados de arquivos ou efeitos colaterais persistentes que não são visualmente aparentes. Os benchmarks existentes são em grande parte curados por humanos, limitados em escala e frequentemente carecem de sinais de recompensa confiáveis e verificáveis por máquina.

Metodologia: O Framework OpenComputer

OpenComputer é um framework fundamentado em verificador, projetado para sintetizar mundos de software verificáveis para agentes de uso de computador. Ele trata a verificação não como uma etapa de avaliação a jusante, mas como o princípio organizador para a construção do ambiente e da tarefa. O framework consiste em quatro componentes rigidamente acoplados:

1. Verificadores de Estado Específicos por Aplicativo

OpenComputer constrói uma pilha de verificação onde cada aplicativo suportado é emparelhado com um módulo verificador sintético em Python executado dentro de um sandbox.

• Canais de Inspeção: Os verificadores utilizam os canais de inspeção específicos do aplicativo mais confiáveis disponíveis, como protocolos de depuração de navegador (CDP), D-Bus, bancos de dados de perfil baseados em SQLite, APIs de acessibilidade (AT-SPI) e análise direta de arquivos (por exemplo, para Inkscape, VS Code ou Blender).
• Construção de Endpoints: O sistema gera subcomandos de CLI com saídas JSON que expõem superfícies de estado estruturadas (conteúdo, preferências, histórico, metadados).
• Protocolo de Teste: Os verificadores passam por um loop estrito de depuração-correção-repetição com testes unitários e de integração para garantir que inspecionem confiavelmente o estado real do software, em vez de dependerem de correspondência heurística.

2. Camada de Verificação Autoevolutiva

Para abordar erros residuais nos verificadores (por exemplo, suposições de esquema frágeis ou cobertura incompleta), OpenComputer implementa um loop de autoevolução:

• Calibração: Um pequeno conjunto de tarefas fáceis a médias é executado por um agente forte em um sandbox.
• Diagnóstico de Discordância: Um avaliador LLM e o verificador programático produzem independentemente vereditos sobre o estado final. Discordâncias atribuídas a erros do verificador (em vez de falhas do agente) são identificadas.
• Refinamento: O código do verificador, os endpoints ou a documentação são refinados com base nesse feedback. Este processo itera até que o verificador se alinhe com o julgamento de referência ou que um orçamento seja esgotado.

3. Pipeline de Geração de Tarefas

As tarefas são sintetizadas através de um processo consciente do verificador:

• Proposta: O sistema propõe objetivos de usuário realistas sem condicionamento em verificadores existentes para garantir diversidade.
• Filtragem: As propostas são filtradas por complexidade e gerabilidade de dados, priorizando fluxos de trabalho de múltiplos passos.
• Fundamentação: As tarefas são fundamentadas na pilha de verificação. Se um estado for inspecionável mas carecer de um endpoint, um novo endpoint é gerado.
• Síntese: O sistema materializa a tarefa gerando arquivos, configurações e perfis necessários, produzindo uma instância de tarefa $\tau = (x, e, c)$ onde $x$ é a instrução, $e$ é a inicialização do ambiente e $c$ são os critérios de sucesso verificáveis por máquina.

4. Harness de Avaliação

O harness executa agentes em sandboxes de desktop frescos, registrando trajetórias completas de captura de tela-ação. O sucesso é computado executando os comandos de verificação da tarefa contra o estado final do software. A recompensa é a fração de verificações aprovadas ($R = N_{pass}/N_{total}$), permitindo crédito parcial enquanto mantém condições de sucesso exatas e verificáveis por máquina.

Contribuições Principais

1. Framework OpenComputer: Um sistema fundamentado em verificador para gerar automaticamente mundos de software realistas, descrições de tarefas e verificadores sem construção manual.
2. Validação de Confiabilidade: Evidência empírica mostrando que verificadores codificados manualmente se alinham mais estreitamente com a adjudicação humana do que a avaliação LLM como juiz, particularmente para estados de aplicativo de granularidade fina.
3. Benchmark de Grande Escala: Um lançamento compreendendo 33 aplicativos de desktop e 1.000 tarefas finalizadas abrangendo navegadores, ferramentas de escritório, software criativo, ambientes de desenvolvimento e aplicativos de comunicação.

Resultados Experimentais

Os autores avaliaram agentes de fronteira e de código aberto no benchmark OpenComputer:

• Desempenho de Fronteira: GPT-5.4 alcançou o maior desempenho com uma taxa de sucesso total de tarefa de 68,3% e uma recompensa média de 88,4%. Claude-Sonnet-4.6 (64,4%) e Kimi-K2.6 (58,8%) seguiram. Apesar de alto progresso parcial, a conclusão confiável de ponta a ponta permanece difícil.
• Lacuna de Código Aberto: Modelos de código aberto exibiram quedas significativas de desempenho em comparação com suas pontuações relatadas em benchmarks existentes como OSWorld. Por exemplo, GUI-OWL-1.5-8B caiu de uma pontuação de 52,3% no OSWorld para 5,7% no OpenComputer.
• Eficiência: GPT-5.4 foi o mais eficiente, com média de 19,0 passos por tarefa, parcialmente devido à sua capacidade de combinar operações e evitar longos rastros de raciocínio na saída.
• Alinhamento de Verificação: Em uma comparação de 120 tarefas, verificadores codificados manualmente corresponderam a vereditos humanos 94,1% das vezes, comparado a 79,2% para um juiz LLM. O verificador foi particularmente superior na detecção de erros em logs de terminal, painéis colapsados e metadados precisos de arquivos que capturas de tela perdem.
• Impacto da Autoevolução: A camada de verificação autoevolutiva reparou 89,4% dos erros do lado do verificador em tarefas de calibração, melhorando o acordo humano-verificador de 85,2% para 94,1%.

Significado e Alegações

O artigo alega que OpenComputer fornece uma infraestrutura fundamental para escalar a pesquisa de uso de computador ao acoplar mundos de software realistas com feedback verificável por máquina. Os autores argumentam que:

• Verificação é Crítica: A síntese escalável para agentes deve ser acoplada a inspeção confiável em vez de avaliações de proxy fracas como juízes LLM ou capturas de tela.
• Limitações Atuais: Mesmo agentes de fronteira lutam com a conclusão de ponta a ponta em fluxos de trabalho de desktop realistas, expondo uma lacuna na automação robusta de computadores.
• Utilidade Futura: O framework suporta não apenas avaliação, mas também pipelines de treinamento (por exemplo, SFT, RL) ao fornecer recompensas auditáveis e fundamentadas. Ele serve como um ponto de partida controlado para estudar a confiabilidade do agente e modos de falha em ambientes de software complexos.

Os autores reconhecem limitações relacionadas a tarefas que exigem julgamentos visuais ou geométricos (por exemplo, layout espacial no Draw.io) que não podem ser totalmente reduzidos a verificações programáticas; tais tarefas são excluídas do benchmark principal para manter a reprodutibilidade, mas são lançadas para futuras pesquisas de verificação híbrida.