AgentSynth: Scalable Task Generation for Generalist Computer-Use Agents

O artigo apresenta o AgentSynth, um pipeline escalável e de baixo custo que gera automaticamente mais de 6.000 tarefas realistas e de alta qualidade para agentes de uso geral de computadores, permitindo modular a complexidade das tarefas e superando a eficiência da anotação humana.

O essencial

Imagine que você quer ensinar um robô (um agente de IA) a usar um computador como um humano faria: abrir programas, pesquisar coisas na internet, criar planilhas e salvar arquivos. O problema é que ensinar isso é muito difícil e caro. Antigamente, precisávamos de pessoas reais gastando horas e horas gravando cada clique do mouse para criar exemplos de como fazer.

Os autores deste artigo, da UC Berkeley, criaram uma solução genial chamada AgentSynth. Eles não contrataram milhares de pessoas; eles criaram uma "fábrica automática" de tarefas.

Aqui está a explicação do como funciona, usando analogias simples:

1. O Segredo: "Montar o Quebra-Cabeça vs. Ver a Foto Final"

A ideia principal do AgentSynth é explorar uma assimetria de informação. Pense assim:

• Para o Gerador (a IA que cria a tarefa): É muito fácil montar um quebra-cabeça peça por peça. Se eu te pedir para "colocar a peça do céu", você faz. Depois, "coloque a peça da árvore", você faz. É simples e direto.
• Para o Agente (a IA que tenta resolver): É muito difícil olhar para a foto final do quebra-cabeça montado e tentar adivinhar, de uma só vez, qual é a primeira peça, a segunda, a terceira, sem errar.

O AgentSynth usa essa vantagem. Em vez de pedir para a IA criar uma tarefa gigante e complexa do zero (o que ela faria mal), ele pede para ela criar pequenos passos simples (subtarefas).

2. A Fábrica de Tarefas (O Pipeline)

O sistema funciona como uma linha de montagem com vários robôs especialistas:

1. O Personagem (Persona): O sistema escolhe um "personagem" aleatório, como "um estudante universitário" ou "um investidor preocupado com o meio ambiente". Isso dá um contexto à tarefa.
2. O Criador de Passos: Um robô cria uma tarefa simples para esse personagem. Exemplo: "Pesquise a data de formatura na internet".
3. O Executor: Outro robô (que sabe usar o mouse e teclado) tenta fazer essa tarefa simples no computador virtual.
4. O Verificador: Um terceiro robô olha a tela e diz: "Ei, ele conseguiu? Sim ou não?". Se falhou, ele pede para o Criador de Passos tentar de novo de um jeito mais fácil.
5. O Repetidor: Assim que um passo é feito com sucesso, o sistema pede: "Ok, agora qual é o próximo passo lógico?". O robô cria a próxima tarefa simples baseada no que já foi feito.
6. O Montador Final: Depois de ter uma sequência de 5 ou 6 passos simples e bem-sucedidos, um robô "gerente" pega tudo e escreve um único comando gigante que resume tudo.

Resultado: Você tem uma tarefa complexa (ex: "Pesquise a data de formatura, abra o calendário, crie um evento, adicione um lembrete e salve como PDF") que foi gerada a partir de passos que a IA conseguiu fazer com facilidade.

3. Por que isso é incrível?

• Custo Baixo: Criar um exemplo com humanos custa cerca de $40 a $400 dólares (dependendo da complexidade). O AgentSynth custa apenas $0,60 por tarefa. É como comprar um sanduíche em vez de um banquete para cada lição.
• Escalabilidade: Eles criaram mais de 6.000 tarefas diferentes. Como é automático, poderiam criar milhões se quisessem.
• Dificuldade Controlável: Eles podem criar tarefas "fáceis" (com 1 passo) ou "difíceis" (com 6 passos) apenas mudando quantos passos eles juntam no final. É como ajustar o volume de uma música.

4. O Teste de Realidade

Os autores testaram os melhores robôs de IA do mundo (como o GPT-4 e outros) nessas tarefas.

• O Resultado: Os robôs foram muito ruins! Em tarefas fáceis, eles acertaram 18% das vezes. Nas tarefas mais difíceis, a taxa de sucesso caiu para 4%.
• A Lição: Isso mostra que, embora as IAs sejam inteligentes, elas ainda têm muita dificuldade em planejar longas sequências de ações em um computador real, especialmente quando precisam lembrar de coisas que fizeram há 5 passos atrás ou quando a tela muda.

Resumo em uma frase

O AgentSynth é como uma fábrica que ensina robôs a usar computadores criando milhares de lições de "passo a passo" baratas e automáticas, revelando que, mesmo com toda a inteligência artificial atual, ainda temos um longo caminho a percorrer para que máquinas usem computadores tão bem quanto nós.

Resumo técnico

Título: AgentSynth: Geração Escalável de Tarefas para Agentes Generalistas de Uso de Computador

1. O Problema

O avanço de Agentes de Grandes Modelos de Linguagem (LLMs) capazes de interagir com ambientes de computador (clicar, digitar, executar código) enfrenta uma barreira crítica: a escassez de dados de alta qualidade, diversificados e escaláveis para treinamento e avaliação.

• Limitações Atuais: Conjuntos de dados existentes (como OSWorld, WorkArena, τ-bench) dependem pesadamente de demonstrações humanas. Essa abordagem é cara, lenta e fundamentalmente não escalável para cobrir a vasta gama de cenários do mundo real.
• Desafios na Geração Sintética: Métodos anteriores de geração sintética enfrentam dois problemas principais: (1) Agentes LLMs atuais têm dificuldade em gerar trajetórias confiáveis para tarefas complexas de uma só vez; (2) Estratégias de geração simplistas resultam em pouca diversidade de tarefas e risco de overfitting ou colapso do modelo durante o treinamento.

2. Metodologia: O Pipeline AgentSynth

O AgentSynth é um pipeline totalmente automatizado projetado para sintetizar tarefas e trajetórias de alta qualidade. A inovação central reside na exploração da assimetria de informação entre a fase de geração e a fase de avaliação. A premissa é que resolver uma tarefa passo a passo (na direção frontal) é muito mais fácil para um LLM do que inferir a solução completa de uma vez só.

O pipeline opera no ambiente OSWorld (uma interface de desktop simulada) e utiliza seis agentes baseados em LLMs distintos:

1. Propositor de Tarefa Inicial: Gera uma tarefa simples e direta baseada em um "persona" (perfil de usuário) aleatório e uma captura de tela inicial.
2. Executor de Tarefa: Um agente ReAct que executa a tarefa. Utiliza uma arquitetura de dois estágios: um modelo (GPT-4.1) planeja a próxima ação em linguagem natural, e um modelo de uso de computador (computer-use-preview) mapeia essa ação para coordenadas de pixel precisas (cliques, digitação).
3. Verificador de Tarefa: Avalia se a trajetória executada completou o objetivo. Utiliza uma arquitetura estilo "WebJudge" para extrair requisitos-chave e analisar apenas as capturas de tela relevantes, reduzindo o custo de tokens.
4. Revisor de Tarefa: Se a execução falhar parcialmente, este agente gera uma descrição revisada da tarefa que reflete o progresso real alcançado, permitindo que o pipeline continue.
5. Propositor de Tarefa de Acompanhamento (Follow-up): Após a conclusão de um subtask, este agente gera o próximo passo lógico, criando uma sequência encadeada.
6. Sumarizador de Tarefa: Ao final da sequência, este agente consolida todos os subtasks executados em uma única instrução de alto nível (longo horizonte).

Mecanismo de Controle de Dificuldade:
A dificuldade da tarefa final é controlada pelo número de subtasks encadeados antes da sumarização.

• Nível 1: Apenas o primeiro subtask.
• Nível 6: A sumarização de 6 subtasks interdependentes.
  Isso cria tarefas que são fáceis de gerar (pois cada passo é simples e verificado) mas extremamente difíceis de resolver para um agente que deve planejar todo o fluxo de uma só vez.

3. Principais Contribuições

• Pipeline Automatizado e Escalável: Criação de mais de 6.000 tarefas diversificadas e realistas com custo médio de $0,60 por trajetória, ordens de magnitude mais barato que anotação humana (que custa entre $4 e $425 por tarefa em datasets existentes).
• Assimetria de Informação: Demonstra que decompor tarefas complexas em subtasks verificáveis permite coletar trajetórias de "ground truth" confiáveis, mesmo para tarefas que os agentes atuais não conseguiriam resolver diretamente.
• Benchmark de Alta Dificuldade: Criação de um benchmark com níveis de dificuldade controlados (1 a 6), onde a complexidade aumenta não apenas no horizonte (número de passos), mas também na necessidade de memória, troca de contexto entre aplicativos e coordenação de ferramentas.

4. Resultados e Avaliação

Os autores avaliaram vários agentes de última geração (incluindo GPT-4.1, o4-mini, Claude-3.7-Sonnet, Gemini-2.5-pro) no benchmark AgentSynth.

• Queda Acentuada de Desempenho: Há uma queda drástica na taxa de sucesso à medida que a dificuldade aumenta.
  • Nível 1: ~18% de sucesso (para os melhores modelos).
  • Nível 6: Queda para apenas 4% de sucesso.
• Falhas Comuns: Os agentes falham principalmente devido a:
  • Cliques de mouse imprecisos (falha no grounding visual).
  • Má compreensão de capturas de tela e perda de rastreamento do estado (memória).
  • Incapacidade de recuperação de erros (ficam presos em loops de ações falhas).
• Impacto de Scaffolding: Mesmo com técnicas avançadas de scaffolding (como o Agent S3, que adiciona planejamento explícito e verificação), os modelos ainda lutam em níveis de dificuldade altos, embora o desempenho melhore significativamente em níveis baixos.
• Validação da Assimetria: Experimentos de ablação mostraram que tentar gerar instruções longas diretamente (sem o pipeline de subtasks) resulta em uma taxa de sucesso de geração muito baixa (apenas 11% para tarefas difíceis), enquanto o AgentSynth mantém uma taxa de geração alta (>50%) e uma taxa de avaliação baixa, confirmando a eficácia da assimetria.

5. Significado e Impacto

O trabalho do AgentSynth é fundamental para o futuro dos agentes de IA por várias razões:

1. Solução de Escala: Oferece um caminho viável e econômico para gerar volumes massivos de dados de treinamento para agentes de uso de computador, superando o gargalo da anotação humana.
2. Benchmark Discriminativo: Revela que, embora os LLMs tenham capacidades de raciocínio gerais, eles ainda são severamente limitados em tarefas de longo horizonte, multi-estágio e que exigem coordenação visual precisa em ambientes de desktop reais.
3. Direção para Pesquisa: Identifica lacunas claras na capacidade de grounding visual, manutenção de estado e recuperação de erros, fornecendo um alvo claro para o desenvolvimento de futuras arquiteturas de agentes.
4. Versatilidade: O pipeline foi demonstrado ser aplicável não apenas em ambientes de desktop (OSWorld), mas também em agentes web (InSTA), indicando sua generalidade.

Em resumo, o AgentSynth estabelece um novo padrão para a geração de dados sintéticos em agentes de IA, provando que a decomposição inteligente de tarefas permite criar benchmarks desafiadores e realistas essenciais para o avanço da inteligência artificial generalista.