🤖 AI

ChainWorld: Composing Long-Horizon Desktop Workloads from Atomic OSWorld Tasks

O artigo apresenta o ChainWorld, um framework que compõe tarefas atômicas do OSWorld em fluxos de trabalho de desktop de longo horizonte para avaliar agentes de uso de computador, revelando que os modelos atuais têm dificuldade com a conclusão de múltiplas etapas e exibem perfis de falha distintos dependendo se as tarefas são apresentadas em formatos de turno único ou de múltiplos turnos.

Autores originais: Vincent Siu, Manasi Sharma, Dawn Song, Daniel Yue Zhang, Chenguang Wang

Publicado 2026-06-23

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Vincent Siu, Manasi Sharma, Dawn Song, Daniel Yue Zhang, Chenguang Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está testando um novo robô assistente. Até agora, todos o testaram pedindo para ele fazer apenas uma coisa simples por vez, como "abrir a torradeira" ou "acender a luz". O robô é ótimo nessas tarefas individuais.

Mas, na vida real, um ser humano não faz apenas uma coisa; ele faz uma sequência de coisas para realizar um trabalho. Você não apenas "abre a torradeira"; você abre a torradeira, coloca o pão, espera saltar, pega um prato e, depois, passa manteiga na torada. Se o robô esquecer o prato depois que a torrada saltar, todo o trabalho falha, mesmo que ele tenha aberto a torradeira perfeitamente.

Este artigo, chamado ChainWorld, trata de testar agentes de computador (robôs de IA) em sequências mais longas de tarefas, em vez de apenas tarefas isoladas.

O Problema: A "Armadilha da Tarefa Única"

Os testes atuais são como um teste de direção onde você só precisa fazer uma baliza uma única vez. Você pode passar nisso, mas se não conseguir dirigir por uma cidade inteira sem se perder, não está pronto para o mundo real. Os autores descobriram que o fato de uma IA ser boa em tarefas únicas não significa que ela consiga lidar com uma sequência delas.

A Solução: Construindo "Cadeias de Tarefas"

Os pesquisadores pegaram uma enorme biblioteca de tarefas de computador simples já existentes (chamada OSWorld) e tentaram conectá-las como contas em um colar.

O Desafio: Você não pode simplesmente colar quaisquer duas tarefas de forma aleatória. Se a Tarefa A deleta um arquivo que a Tarefa B precisa, a corrente se quebra. É como tentar assar um bolo onde o primeiro passo é "jogar fora a farinha".
O Método: Eles construíram um "mapa de compatibilidade" inteligente. Eles verificaram cada par possível de tarefas para ver se poderiam seguir uma à outra logicamente, sem travar o computador ou deletar arquivos necessários. Em seguida, percorreram esse mapa para construir cadeias de 2, 3 ou 4 tarefas que fizessem sentido como uma única sessão de trabalho.

Eles criaram 347 dessas "cadeias" para usar como um novo teste mais difícil.

O Experimento: Duas Formas de Pedir

Eles testaram quatro modelos diferentes de IA nessas cadeias usando duas diferentes "regras de engajamento":

O Teste "Tudo de uma Vez" (Turno Único): A IA recebe a lista completa de tarefas em um único comando gigante. "Faça a Tarefa A, depois a Tarefa B, depois a Tarefa C". Ela tem que planejar toda a jornada em sua mente antes de mover um dedo.
O Teste "Passo a Passo" (Multi-Turno): A IA recebe a Tarefa A. Assim que termina, recebe a Tarefa B. Depois a Tarefa C. É como um chefe humano dando instruções uma por uma, deixando você terminar uma antes de passar para a próxima.

Os Resultados: A Lacuna é Real

Os resultados foram surpreendentes e um pouco desanimadores:

A Taxa de Sucesso é Baixa: Mesmo os melhores modelos de IA completaram a cadeia total de tarefas apenas cerca de 31% das vezes. Isso significa que eles falharam mais de dois terços das vezes.
O "Passo a Passo" Ajuda (Um Pouco): Dar as tarefas para a IA uma de cada vez (Multi-Turno) ajudou três dos quatro modelos a terem um desempenho melhor. É mais fácil focar em um passo do que manter todo o plano na cabeça. Mas, mesmo com essa ajuda, eles ainda falharam frequentemente.
Diferentes Tipos de Falha:
- No teste "Tudo de uma Vez": A IA geralmente entendia a ideia corretamente, mas errava nos detalhes. Era como um aluno que entende o problema de matemática, mas escreve o número errado no final. Eles cometiam erros de "quase acerto".
- No teste "Passo a Passo": A IA tinha dificuldade em gerenciar a sessão. Elas se distraíam, esqueciam o que deveriam fazer a seguir ou desistiam no meio do caminho. Era como um trabalhador que começa um projeto, fica entediado e vai embora antes de terminar.

A Grande Conclusão

O artigo conclui que não podemos apenas observar quão bem uma IA realiza tarefas únicas e assumir que ela está pronta para o trabalho real. Existe uma enorme lacuna entre "realizar uma tarefa" e "gerenciar um fluxo de trabalho".

Os autores construíram um novo teste (ChainWorld) que funciona como um teste de estresse para a atenção e a memória de uma IA. Ele mostra que, embora a IA esteja ficando melhor em ver e clicar, ela ainda tem dificuldade em manter o foco quando um trabalho exige várias etapas e o ato de lembrar o que aconteceu cinco minutos atrás.

Em resumo: A IA é ótima em fazer truques isolados, mas ainda está aprendendo a equilibrar uma rotina inteira sem deixar as bolas caírem.

Resumo Técnico: ChainWorld

Declaração do Problema

As avaliações atuais de agentes de uso de computador dependem quase exclusivamente de tarefas atômicas de desktop, medindo percepção, controle de interface e tomada de decisão de curto horizonte. No entanto, o trabalho realista de desktop exige a manutenção de estado através de múltiplos objetivos e aplicações relacionadas. O desempenho em tarefas atômicas não garante uma execução confiável de longo horizonte, pois os agentes devem preservar o estado, rastrear objetivos inacabados e navegar entre aplicações sem perder o contexto. As alternativas existentes para a criação de benchmarks de longo horizonte — autoria manual e síntese livre — carecem de escalabilidade ou transferem o fardo da coerência e validade para o pipeline de geração, complicando a avaliação.

Metodologia: ChainWorld

Os autores introduzem o ChainWorld, um framework que compõe tarefas atômicas existentes do benchmark OSWorld em cargas de trabalho de desktop de longo horizonte, preservando os avaliadores originais da fonte. A metodologia evita gerar novas tarefas do zero, baseando-se, em vez disso, em uma busca restrita sobre tarefas existentes e verificadas.

1. Mecanismo de Composição

O núcleo do ChainWorld é um grafo de compatibilidade direcional construído a partir das tarefas atômicas do OSWorld.

Representação de Tarefa: As tarefas são anotadas com campos semânticos (ex: aplicações requeridas, escrita de arquivos, operações destrutivas, asserções de estado) para determinar dependências.
Grafo de Compatibilidade: Uma pontuação de compatibilidade par a determina se a Tarefa B pode seguir validamente a Tarefa A. Isso envolve:
- Regras Rígidas (Hard Rules): Rejeição de pares com incompatibilidade de snapshot, conflitos exclusivos de terminal ou processos encerrados sem recuperação.
- Regras Flexíveis (Soft Rules): Recompensa pelo reuso de estado (ex: a Tarefa A escreve um arquivo que a Tarefa B lê) e penalização por interferência.
Busca Restrita: O mecanismo realiza uma busca de feixe (beam search) sobre o grafo para encontrar cadeias ordenadas válidas de comprimento 2 a 4, variando a pegada de aplicações subjacente.
Seleção Consciente de Cobertura: Para garantir diversidade, o processo de seleção aloca um orçamento limitado de julgamento para maximizar a cobertura entre comprimentos de cadeia, contagem de aplicações e aplicações de origem.

2. Pilha de Controle de Qualidade

Um processo de três estágios garante que as cargas de trabalho compostas sejam executáveis e coerentes:

Continuidade Executável: Garantida pelas regras do grafo de compatibilidade.
Validade do Avaliador: A validação da cadeia completa garante que todos os avaliadores das tarefas de origem ainda possam ser aplicados ao estado final.
Coerência da Sessão: Um juiz baseado em LLM (Opus 4.7) revisa a cadeia quanto à "consistência de identidade" (se as tarefas pertencem plausivelmente a uma única sessão de usuário) e naturalidade. Apenas 9 de 389 candidatos julgados foram rejeitados por inconsistência, indicando que o grafo e a busca filtram efetivamente cadeias incoerentes.

3. Protocolos de Avaliação

A carga de trabalho resultante (347 cadeias) é avaliada sob dois protocolos para isolar os efeitos da apresentação da tarefa:

Turno Único (Single Turn): Toda a cadeia é apresentada em um único prompt com uma instrução concatenada e um orçamento total de passos escalonado pelo comprimento da cadeia ( $75 \times n$ ).
Multi-Turn: As tarefas são reveladas uma a uma. O estado persiste entre os turnos, e cada tarefa recebe um orçamento fixo de 75 passos. Este protocolo testa o gerenciamento de sessão e a capacidade de se reengajar com novos objetivos.

Principais Resultados

O estudo avaliou quatro agentes de uso de computador (GPT 5.5, Opus 4.7, Kimi 2.5, Gemini 3.1 Pro) na carga de trabalho ChainWorld.

Baixa Conclusão de Cadeia: Em todos os modelos, a taxa máxima de conclusão de cadeia é de 31% (GPT 5.5 em multi-turn). Isso destaca uma lacuna significativa entre o sucesso em tarefas atômicas e a execução coordenada de longo horizonte.
Impacto do Protocolo: A avaliação multi-turn geralmente melhorou as taxas de conclusão para GPT 5.5, Opus 4.7 e Kimi 2.5 em comparação com o turno único, sugerindo que a revelação sequencial auxilia o desempenho. No entanto, as taxas de conclusão permaneceram baixas mesmo com essa vantagem.
Modos de Falha:
- Turno Único: As falhas concentram-se na precisão de artefatos (erros de "quase acerto", onde o agente produz o tipo de arquivo correto, mas com conteúdo/formato errado).
- Multi-Turn: As falhas são mais heterogêneas, envolvendo frequentemente problemas de gerenciamento de sessão, como "progresso fragmentado" (tentar múltiplas tarefas, mas completar nenhuma) e "desengajamento em turnos tardios" (parar precocemente na sequência).
Validade da Infraestrutura: Falhas de tempo de execução e configuração representaram apenas 3% das falhas, confirmando que as cargas de trabalho compostas são mecanicamente executáveis e que as falhas decorrem principalmente do comportamento do agente, não de quebras na infraestrutura.

Significância e Alegações

O artigo afirma que o ChainWorld demonstra que a avaliação de desktop de longo horizonte pode ser construída a partir de tarefas atômicas existentes e com avaliadores, sem a necessidade de reautoria de fluxos de trabalho. Ao preservar os avaliadores de origem, o framework mantém um vínculo direto com benchmarks estabelecidos enquanto expõe falhas de coordenação que métricas atômicas ocultam.

Os autores argumentam que:

O sucesso atômico não implica confiabilidade de longo horizonte: Agentes frequentemente têm sucesso localmente, mas falham em sustentar uma sessão de múltiplos objetivos.
Os protocolos de avaliação importam: Configurações de turno único e multi-turno revelam perfis de falha diferentes (precisão vs. gerenciamento), sugerindo que uma pontuação agregada única é insuficiente para caracterizar as capacidades do agente.
Análise de Carga de Trabalho Estruturada: Tratar a avaliação em cadeia como uma carga de trabalho estruturada (analisando por comprimento e protocolo) fornece insights mais acionáveis para treinamento e design de sistemas do que pontuações agregadas.

O estudo conclui que, embora os agentes atuais mostrem promessa em tarefas atômicas, eles enfrentam dificuldades significativas com a preservação de estado e o gerenciamento de sessão exigidos por cargas de trabalho de desktop realistas.