Efficient Agent Training for Computer Use

O artigo apresenta o PC Agent-E, um framework de treinamento eficiente que supera o Claude 3.7 Sonnet no benchmark WindowsAgentArena-V2 ao combinar apenas 312 trajetórias humanas anotadas com dados sintetizados por IA, reduzindo drasticamente a dependência de demonstrações humanas em larga escala.

O essencial

Imagine que você quer ensinar um robô a usar um computador exatamente como um humano faria: clicar em botões, abrir menus, escrever textos e navegar na internet. O grande problema é que, para ensinar isso, normalmente precisaríamos de milhões de horas de gravação de pessoas reais fazendo essas tarefas. É como tentar ensinar alguém a cozinhar um banquete apenas mostrando uma única receita de um livro de culinária; o aluno ficaria confuso e não saberia o que fazer se algo desse errado.

Os pesquisadores deste trabalho (publicado na conferência ICLR 2026) tiveram uma ideia brilhante: "Por que não usar a inteligência de um robô superinteligente para imaginar todas as outras maneiras de fazer a mesma tarefa?"

Eles criaram algo chamado PC Agent-E. Aqui está a explicação passo a passo, usando analogias do dia a dia:

1. O Problema: A Escassez de "Alunos"

Normalmente, para treinar um agente de IA, você precisa de muitos dados humanos. Mas dados de alta qualidade são raros e caros.

• A Analogia: Imagine que você é um professor de direção. Você só tem 312 alunos reais que dirigiram um carro perfeitamente. Você não tem milhões de horas de vídeo de outros motoristas. Como treinar um robô para dirigir com segurança?

2. A Solução: O "Treinador Virtual" (Trajectory Boost)

Os pesquisadores pegaram esses 312 exemplos reais (feitos por humanos) e usaram um modelo de IA muito avançado (o Claude 3.7 Sonnet) para agir como um "treinador virtual".

• O que eles fizeram:

  1. Coletaram os 312 trajetos: Gravaram humanos fazendo tarefas reais no Windows.
  2. Reconstruíram os pensamentos: Adicionaram uma camada de "pensamento" a cada ação. Em vez de apenas ver "o humano clicou aqui", a IA deduziu por que o humano clicou ali ("Estou clicando aqui porque preciso abrir o menu de configurações").
  3. A Mágica do "Boost" (Impulso): Para cada passo que o humano deu, eles pediram ao Claude 3.7: "Além do jeito que o humano fez, quais são outras 9 maneiras inteligentes e válidas de fazer essa mesma coisa?"

• A Analogia: Imagine que o humano fez um caminho para sair de uma casa até o mercado. O "Treinador Virtual" (Claude) olhou para esse caminho e disse: "Ok, ele foi pela rua A. Mas e se ele tivesse ido pela rua B? Ou pela trilha C? Ou pulando os obstáculos?"
  O resultado foi que, de 312 caminhos reais, eles criaram 27.000 caminhos virtuais ricos em detalhes e alternativas.

3. O Resultado: O Aluno que Superou o Mestre

Eles treinaram um modelo de IA aberto (baseado no Qwen2.5-VL) usando esses dados enriquecidos.

• O Desempenho: O robô treinado com apenas esses dados "turbinados" ficou 141% melhor do que o modelo original.
• A Grande Surpresa: Ele ficou 10% melhor do que o próprio "Treinador Virtual" (Claude 3.7 Sonnet) que ajudou a criar os dados!
• A Analogia: É como se você pegasse 312 aulas de um professor de música, pedisse a um maestro famoso para imaginar 9 variações de cada nota tocada, e treinasse um aluno com isso. No final, o aluno toca melhor do que o próprio maestro famoso.

4. Por que isso é tão importante?

• Economia de Recursos: Em vez de gastar meses gravando humanos, eles fizeram isso em um dia com apenas duas pessoas.
• Velocidade: O método deles foi 300 vezes mais rápido do que tentar gravar o próprio Claude 3.7 fazendo as tarefas no computador.
• Generalização: Mesmo treinado apenas no Windows, o robô funcionou bem em Linux também, mostrando que ele aprendeu a lógica de usar um computador, não apenas a decorar telas.

5. O "Campo de Batalha" Melhorado (WindowsAgentArena-V2)

Os autores também perceberam que os testes existentes para medir esses robôs tinham falhas. Alguns robôs "trapaceavam" ao simplesmente dizer "não consigo fazer" em tarefas impossíveis e ganhar pontos.
Eles criaram uma nova versão do teste (WindowsAgentArena-V2) que é mais justa, impede essas trapaceiras e garante que o robô realmente saiba usar o computador, não apenas adivinhar.

Resumo em uma frase

Os autores criaram um método onde poucos exemplos humanos + muita imaginação de IA geram um robô capaz de usar computadores melhor do que os modelos mais caros e fechados do mercado, tudo isso com uma fração do custo e tempo.

É como transformar 312 sementes reais em uma floresta inteira de árvores virtuais, permitindo que o robô aprenda a navegar em qualquer terreno digital.

Resumo técnico

1. O Problema

O desenvolvimento de agentes autônomos capazes de operar computadores como humanos (interagindo com Interfaces Gráficas de Usuário - GUIs através de screenshots) é um desafio central na IA. Embora modelos proprietários de ponta (como o Claude 3.7 Sonnet) demonstrem capacidades avançadas, os modelos de código aberto ainda apresentam uma lacuna significativa de desempenho.

A principal barreira para o avanço dos agentes de código aberto é a escassez extrema de dados de trajetória de alta qualidade (sequências de ações, estados da tela e pensamentos) para treinamento. Coletar grandes volumes de demonstrações humanas é caro, lento e difícil de escalar. Além disso, benchmarks existentes, como o WindowsAgentArena, apresentam limitações como dependência de estado de VM, tarefas inviáveis (que podem ser "hackeadas" por agentes) e falhas de avaliação.

2. Metodologia: PC Agent-E

Os autores propõem o PC Agent-E, um framework de treinamento eficiente que integra expertise humana com automação de IA para superar a dependência de grandes conjuntos de dados humanos. A metodologia baseia-se em quatro pilares principais:

A. Coleta de Trajetórias Humanas (Trajectory Collection)

• Dados Iniciais: Coletaram apenas 312 trajetórias reais de uso de computador, anotadas por dois humanos em um único dia usando a ferramenta PC Tracker.
• Conteúdo: Cada trajetória inclui descrições de tarefas, screenshots e ações de teclado/mouse.
• Filtragem: Aplicaram filtros rigorosos para remover erros e garantir que as tarefas não se sobrepusessem ao conjunto de teste (benchmark).

B. Completamento de Pensamento (Thought Completion)

• As trajetórias humanas brutos contêm ações, mas não o processo de raciocínio implícito.
• Utilizaram o modelo Claude 3.7 Sonnet para reconstruir o "pensamento" (o rationale) por trás de cada ação humana, analisando o estado da tela, o histórico e a tarefa. Isso transformou as trajetórias em dados de treinamento ricos em contexto (ação + pensamento).

C. Impulso de Trajetória (Trajectory Boost) – A Inovação Central

• Conceito: Reconheceram que tarefas de uso de computador podem ser resolvidas por múltiplos caminhos válidos. A trajetória humana representa apenas uma dessas soluções.
• Síntese de Dados: Para cada passo da trajetória humana (que serve como um "instantâneo" do ambiente), o Claude 3.7 Sonnet foi usado para sintetizar 9 decisões de ação alternativas válidas, cada uma com seu próprio processo de pensamento.
• Resultado: Isso criou uma "Árvore de Trajetória" (Traj Tree), onde o tronco é a trajetória humana e os ramos são ações diversificadas geradas pela IA.
• Escala: De 312 trajetórias humanas, geraram 27.000 amostras de treinamento (uma expansão de 10x no número de passos de ação).

D. Treinamento do Agente

• O modelo base escolhido foi o Qwen2.5-VL-72B (um modelo Vision-Language de código aberto).
• O treinamento foi feito via Supervised Fine-Tuning (SFT) em um scaffold simples end-to-end (ReAct: raciocínio + ação), sem necessidade de engenharia de prompts complexa ou workflows modulares.
• O modelo aprende a receber (screenshot, descrição da tarefa, histórico) e outputar (pensamento, ação).

3. Contribuições Principais

1. Método Trajectory Boost: Uma técnica simples de síntese de dados que aumenta drasticamente a eficiência dos dados. Ao invés de apenas copiar a ação humana, o método diversifica as decisões de ação usando um modelo de fronteira, ensinando ao agente múltiplos caminhos para resolver problemas.
2. WindowsAgentArena-V2: Um novo benchmark melhorado para avaliar agentes no Windows. As correções incluem:
   • Restauração de snapshot de VM entre tarefas (garantindo estados iniciais consistentes).
   • Remoção de tarefas "inviáveis" (que permitiam hacking onde o agente apenas falhava para ganhar pontos).
   • Correção de bugs nas regras de avaliação.
3. PC Agent-E: Um agente de código aberto que, treinado com apenas 312 trajetórias aumentadas, supera modelos proprietários de ponta.

4. Resultados Experimentais

Os experimentos foram conduzidos no WindowsAgentArena-V2 e no OSWorld (para Linux).

• Desempenho no WindowsAgentArena-V2:

  • O PC Agent-E alcançou uma taxa de sucesso de 36,0%.
  • Isso representa uma melhoria relativa de 141% sobre o modelo base Qwen2.5-VL-72B (14,9%).
  • Superação do Professor: O PC Agent-E superou o próprio modelo de ensino (Claude 3.7 Sonnet) em 10% (36,0% vs 32,6%) e empatou/superou a versão com "pensamento estendido" (35,4%).
  • Generalização: No OSWorld (Linux), o modelo treinado apenas em Windows também mostrou uma melhoria relativa de 34%, demonstrando boa capacidade de generalização entre sistemas operacionais.

• Comparação com Outras Abordagens:

  • vs. Apenas Dados Humanos: O uso de Trajectory Boost foi muito superior ao treinamento apenas com as 312 trajetórias humanas (que melhorou o modelo de 14,9% para apenas 17,2%).
  • vs. Destilação Direta: O método superou a destilação direta (treinar com trajetórias completas geradas pelo Claude). A destilação direta é lenta (requer interação online em VMs) e propensa a acúmulo de erros. O Trajectory Boost foi 300 vezes mais rápido na geração de dados (3 horas vs 900 horas) e produziu modelos melhores.

• Análise de Falhas: A melhoria principal veio do aumento da capacidade de planejamento (raciocínio e auto-correção), e não tanto de conhecimento factual ou grounding (precisão de clique).

5. Significado e Impacto

Este trabalho demonstra que a qualidade e a diversidade dos dados de treinamento são mais importantes do que a quantidade bruta de demonstrações humanas para agentes de uso de computador.

• Eficiência de Dados: É possível treinar agentes de nível SOTA (State-of-the-Art) com menos de 350 exemplos humanos, desde que esses exemplos sejam enriquecidos com raciocínio sintético e diversificação de ações.
• Custo-Benefício: O método elimina a necessidade de coletar milhares de horas de demonstrações humanas ou de realizar destilação direta onerosa e lenta.
• Acesso Aberto: Ao liberar o modelo, os dados e o benchmark (WindowsAgentArena-V2), o trabalho democratiza o desenvolvimento de agentes de computador, permitindo que a comunidade de código aberto supere rapidamente os sistemas proprietários.

Em resumo, o PC Agent-E prova que a combinação de uma pequena base de dados humana com a síntese inteligente de alternativas via IA é a chave para desbloquear capacidades complexas de uso de computador em modelos de código aberto.