🤖 AI

SCALECUA: Scaling Computer Use Agents with Verifiable Task Synthesis and Efficient Online RL

O ScaleCUA é um framework unificado que leva agentes de uso de computador de código aberto ao desempenho de estado da arte ao abordar a escassez de dados e a ineficiência de treinamento por meio do VeriGen para síntese de tarefas verificáveis, do Frontier Sampling para alocação otimizada de amostras e da Segmentação de Contexto Visual para aceleração do treinamento.

Autores originais: Bowen Lv, Xiao Liu, Yanyu Ren, Hanyu Lai, Bohao Jing, Hanchen Zhang, Yanxiao Zhao, Shuntian Yao, Jie Tang, Yuxiao Dong

Publicado 2026-07-14

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Bowen Lv, Xiao Liu, Yanyu Ren, Hanyu Lai, Bohao Jing, Hanchen Zhang, Yanxiao Zhao, Shuntian Yao, Jie Tang, Yuxiao Dong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a usar um computador exatamente como um humano faz. O robô tem que olhar para a tela, clicar em botões, digitar em terminais e descobrir como instalar softwares ou organizar arquivos. Este é o mundo dos Agentes de Uso de Computador (CUAs).

Por muito tempo, ensinar esses robôs foi como tentar aprender um novo videogame sem um placar. Você pode jogar, mas não sabe se realmente venceu até que um humano assista a tudo e diga: "Bom trabalho!" ou "Tente novamente". Isso torna o aprendizado super lento e caro porque você não pode simplesmente rodar milhares de jogos ao mesmo tempo se precisar de um humano para avaliar cada um deles.

Apresentamos o SCALECUA, um novo framework que atua como um acampamento de treinamento superpotencializado e autocorretivo para esses agentes robóticos. Ele resolve dois grandes problemas: encontrar tarefas de prática suficientes que tenham uma condição de "vitória" clara e tornar o processo de treinamento rápido o suficiente para realmente funcionar.

O Problema do Placar: Entre com o VERIGEN

O primeiro obstáculo era que a maioria das tarefas de computador não possui um sinal integrado de "Fim de Jogo, Você Venceu". Para resolver isso, os pesquisadores construíram o VERIGEN.

Pense no VERIGEN como uma equipe de três treinadores robôs trabalhando em um parquinho virtual gigante de computadores (containers Docker).

O Proponente sugere uma tarefa, como "Instale este tema específico para o seu computador".
O Juiz verifica se as instruções fazem sentido e se a "condição de vitória" é lógica.
O Verificador tenta de fato realizar a tarefa no computador virtual para ver se ela é possível e se a "condição de vitória" realmente é acionada.

Se a tarefa falhar em qualquer uma dessas verificações, ela é descartada. Se passar, ela se torna uma tarefa de treinamento verificada. A parte mais legal? Essa equipe de treinadores trabalha em paralelo. Eles podem rodar mais de 100 desses treinadores ao mesmo tempo, interagindo com mais de 100 computadores virtuais simultaneamente.

O resultado? Eles geraram mais de 24.000 tarefas verificadas e quase 3.000 tarefas de alta qualidade especificamente para treinamento. Este é um salto massivo comparado aos métodos anteriores, que frequentemente dependiam de listas minúsculas de tarefas escritas manualmente.

A Estratégia de Treinamento: Amostragem de Fronteira

Uma vez que você tem uma montanha de tarefas, como escolher quais delas praticar? Um erro comum é escolher tarefas aleatoriamente. Mas imagine que você esteja aprendendo a andar de bicicleta:

Se você escolher uma tarefa que é muito fácil (andar em terreno plano), você não aprende nada.
Se você escolher uma tarefa que é muito difícil (andar descendo um penhasco íngreme), você cai e fica desanimado.
O ponto ideal é a "fronteira de aprendizado" — as tarefas que você está apenas começando a entender.

O SCALECUA usa uma estratégia inteligente chamada Amostragem de Fronteira (Frontier Sampling). Ele mantém uma pontuação contínua de quão bem o robô está se saindo em cada tarefa. Em seguida, ele foca seu tempo de prática nas tarefas onde o robô está pairando logo em torno de uma taxa de sucesso de 50%. Isso garante que o robô esteja sempre testando seus limites sem ficar preso em desafios impossíveis ou entediado com tarefas fáceis.

O Truque de Velocidade: Segmentação de Contexto Visual

Aqui está a parte complicada: tarefas de computador podem levar muito tempo. Uma única tarefa pode envolver 47 etapas (como o exemplo no artigo onde o robô instala um tema). Se você tentar se lembrar de cada captura de tela da etapa 1 até a etapa 47, seu cérebro (ou a memória do computador) ficará sobrecarregado, e o treinamento ficará extremamente lento.

Os pesquisadores resolveram isso com a Segmentação de Contexto Visual. Imagine que você está lendo uma história longa, mas em vez de manter o livro inteiro aberto, você mantém apenas as últimas páginas visíveis em sua mesa. Você lembra o enredo das páginas anteriores como um resumo, mas olha apenas para as páginas recentes para tomar sua próxima decisão.

Esta técnica mantém uma "janela deslizante" das capturas de tela mais recentes (cerca de 5 a 8 imagens) enquanto resume as mais antigas como texto. Isso mantém a memória do robô fresca e rápida. O artigo descobriu que isso tornou o processo de treinamento 2,83 vezes mais rápido do que a forma antiga de tentar lembrar de cada etapa de uma só vez, sem fazer o robô esquecer como resolver o problema.

Os Resultados: Funcionou?

A equipe testou este novo sistema em um modelo chamado Qwen3.5-9B (um modelo de linguagem visual de 9 bilhões de parâmetros).

No OSWorld (um benchmark para tarefas gerais de desktop), o robô alcançou uma taxa de sucesso de 68,7%.
No ScienceBoard (um benchmark para softwares científicos complexos), ele atingiu 54,0%.

Esses números são significativos. O artigo observa que este modelo de 9 bilhões de parâmetros superou outros modelos de código aberto que eram quatro vezes maiores (como o EvoCUA de 32 bilhões de parâmetros). Também superou alguns modelos proprietários, sugerindo que o método de treinamento importa tanto quanto o tamanho do cérebro do robô.

O Que Isso Não Faz

É importante saber o que este artigo não afirma.

Não é uma varinha mágica para todos os computadores ainda. Os testes foram realizados em desktops baseados em Ubuntu (um tipo específico de computador Linux). Os autores admitem que ainda não testaram isso no Windows ou macOS, portanto, não sabemos se funciona lá.
Tem um limite de tempo. Os episódios de treinamento foram limitados a 50 turnos de interação. Embora isso cubra a maioria das tarefas, os autores sugerem que pode não ser suficiente para fluxos de trabalho ultra-longos e complexos que levam centenas de etapas.
Não é um problema resolvido. O artigo apresenta isso como um novo framework que estabelece um "estado da arte" entre agentes de código aberto, mas reconhece que a generalização para outros sistemas e escalas ainda é um trabalho futuro.

Em resumo, o SCALECUA é uma receita inteligente para ensinar robôs a usar computadores, gerando seus próprios testes de prática, focando no nível de dificuldade "na medida certa" e lembrando apenas o suficiente do passado para manter a velocidade. Ele mostra que, com as ferramentas de treinamento certas, até um cérebro robótico menor pode superar outros muito maiores.

Resumo Técnico: SCALECUA

Declaração do Problema

Agentes de Uso de Computador (CUAs - Computer Use Agents) representam uma abordagem transformadora para automatizar fluxos de trabalho digitais ao operar diretamente em pixels de tela e elementos de interface do usuário (UI), em vez de APIs estruturadas. Embora avanços recentes em aprendizado por reforço online com recompensas verificáveis (RLVR) mostrem promessa para escalar as capacidades dos CUAs, o campo enfrenta dois gargalos críticos:

Escassez de Dados Verificáveis: Ao contrário de tarefas de matemática ou código, tarefas de GUI carecem de mecanismos integrados para pontuar estados finais de forma determinística. Gerar tarefas que sejam simultaneamente verificáveis (via juízes executáveis) e adequadamente difíceis (nem triviais, nem inalcançáveis) em escala é fundamentalmente desafiador.
Ineficiência de RL Online: O treinamento de RL atual para interações de GUI de múltiplos turnos sofre de ineficiências tanto na amostragem quanto no treinamento. A seleção uniforme de tarefas frequentemente resulta em grupos de rollouts onde todas as tarefas ou têm sucesso ou falham, não fornecendo sinal de aprendizado. Além disso, as estratégias de treinamento enfrentam um trade-off: o treinamento ao nível de trajetória acumula excesso de tokens visuais, retardando a inferência; enquanto a decomposição passo a passo infla o número de itens de treinamento, retardando as atualizações de parâmetros.

Metodologia

Os autores introduzem o SCALECUA, um framework unificado projetado para escalar o RL online para CUAs, abordando simultaneamente a geração de dados e a eficiência de treinamento. O framework consiste em três componentes principais:

1. VERIGEN: Síntese de Tarefas Verificáveis

Para superar a escassez de dados, os autores propõem o VERIGEN, um framework de ponta a ponta para gerar tarefas de RL verificáveis.

Loop de Feedback Multi-Agente: O VERIGEN emprega três agentes de LLM independentes (Propositor, Juiz e Verificador) interagindo com ambientes Docker vivos. O Propositor gera tarefas e verificadores; o Juiz realiza revisões semânticas estáticas; e o Verificador executa "testes de execução" (dry runs) para verificar dinamicamente a alcançabilidade da tarefa e a correção do juiz.
Síntese Guiada por Trajetória: O sistema refina iterativamente o conjunto de tarefas analisando as trajetórias de rollout do modelo. Tarefas que falharam são decompostas em subtarefas menores com base no ponto de desvio mais precoce, enquanto tarefas bem-sucedidas são agrupadas e compostas em tarefas de múltiplos objetivos mais difíceis.
Escalabilidade: Uma sonda de interação Docker compartilhada permite que mais de 100 trabalhadores de agentes concorrentes interajam com mais de 100 ambientes Docker, produzindo mais de 24.000 tarefas verificáveis e quase 3.000 tarefas de RL de alta qualidade.

2. Amostragem de Fronteira (Frontier Sampling): Alocação Eficiente de Tarefas

Para maximizar a eficiência de amostragem, o SCALECUA introduz a Amostragem de Fronteira, um amostrador leve que aloca rollouts dinamicamente com base na capacidade atual do modelo.

Mecanismo: O sistema mantém uma Média Móvel Exponencial (EMA) das taxas de sucesso para cada tarefa. Ele aplica uma distribuição de núcleo Gaussiano para calcular pesos de amostragem, com pico em uma taxa de sucesso alvo (ex: 0-5).
Objetivo: Isso direciona os rollouts para as tarefas na "fronteira de aprendizado" — aquelas que o modelo é capaz de resolver atualmente com alguma probabilidade — evitando o desperdício de computação em tarefas muito fáceis ou muito difíceis.

3. Segmentação de Contexto Visual: Treinamento de Múltiplos Turnos Eficiente

Para resolver o trade-off entre rollout e treinamento em tarefas de longo horizonte, os autores propõem a Segmentação de Contexto Visual.

Estratégia de Janela Deslizante: Em vez de reter todo o histórico visual (o que sobrecarrega o motor de rollout) ou dividir cada passo (o que sobrecarrega o motor de treinamento), o sistema mantém uma janela deslizante de contexto visual recente (ex: $K$ capturas de tela).
Fluxo de Token-ID: Quando a janela transborda, as capturas de tela mais antigas são descartadas e substituídas por um resumo textual, enquanto o fluxo de token-ID é retokenizado. Isso limita o acúmulo de tokens visuais enquanto preserva a continuidade textual e o raciocínio entre passos.

Principais Contribuições

Framework VERIGEN: Um pipeline de ponta a ponta que escala a geração de tarefas verificáveis para mais de 100 trabalhadores paralelos, gerando um conjunto de dados de mais de 24 mil tarefas verificáveis e quase 3 mil tarefas de RL de alta qualidade, significativamente maior que os métodos anteriores de CUA para desktop.
Amostragem de Fronteira: Uma estratégia de amostragem inovadora que rastreia a capacidade por tarefa via taxas de sucesso EMA, garantindo que os rollouts se concentrem nas tarefas mais informativas para acelerar a convergência.
Segmentação de Contexto Visual: Uma técnica de otimização de treinamento que equilibra a carga de tokens visuais e a contagem de itens de treinamento, alcançando um aceleração de treinamento end-to-end de 2,83× em relação à decomposição passo a passo, sem sacrificar a qualidade do raciocínio.

Resultados Experimentais

Os autores avaliaram o SCALECUA em três modelos de visão-linguagem (GLM-4.6V-Flash, Qwen3-VL-8B-Thinking e Qwen3.5-9B) utilizando os benchmarks OSWorld e ScienceBoard.

Desempenho no OSWorld: Utilizando o backbone Qwen3.5-9B, o SCALECUA alcançou uma taxa de sucesso de 68,7%. Isso supera os baselines de código aberto mais fortes, incluindo Kimi K2.5 (63,3%) e EvoCUA-32B (56,7%), bem como modelos proprietários como Claude Sonnet 4.5 (62,9%). O modelo mostrou ganhos particularmente fortes nas categorias "Profissional" (89,5%) e "Workflow" (48,1%) de longo horizonte.
Desempenho no ScienceBoard: O SCALECUA-Qwen3.5-9B atingiu 54,0% no ScienceBoard, estabelecendo um novo estado da arte entre agentes de código aberto e superando o Claude Opus 4.6 (52,7%). Melhorias notáveis foram observadas na autoria de documentos científicos (TeXstudio) e prova de teoremas.
Estudos de Ablação: Remover qualquer um dos três componentes principais (VERIGEN, Amostragem de Fronteira ou Segmentação de Contexto Visual) resultou em quedas significativas de desempenho, confirmando seus papéis complementares. Especificamente, remover o VERIGEN reduziu o desempenho ao nível do modelo base (43,9%).

Significância

O SCALECUA demonstra que escalar agentes de uso de computador requer uma abordagem holística que integre a síntese de dados verificáveis com algoritmos de treinamento eficientes. Ao resolver o gargalo da escassez de dados verificáveis através da interação iterativa com ambientes vivos e abordar as ineficiências de treinamento através de amostragem consciente da fronteira e gerenciamento de contexto visual, o framework estabelece um novo estado da arte para CUAs de código aberto. Os autores sustentam que esta abordagem unificada oferece uma receita reutilizável para treinar agentes com recompensas verificáveis, acelerando o progresso no campo dos fluxos de trabalho digitais automatizados.