Resumo Técnico: Workspace-Bench 1.0

Declaração do Problema

Os agentes de IA atuais enfrentam uma lacuna significativa entre suas capacidades demonstradas em tarefas isoladas e seu desempenho em cenários reais de ambiente de trabalho. Embora modelos de base e frameworks de agentes tenham avançado na invocação de ferramentas e interação com interfaces gráficas (GUI), eles lutam com a Aprendizagem de Ambiente de Trabalho: a capacidade de identificar, raciocinar sobre e atualizar dependências explícitas e implícitas entre arquivos heterogêneos dentro de um ambiente de trabalho digital complexo.

As benchmarks existentes falham em simular adequadamente fluxos de trabalho de escritório autênticos. Elas tipicamente dependem de:

• Paradigmas orientados a prompts ou de código aberto que contornam a necessidade de processar arquivos digitais reais.
• Benchmarks orientados a tarefas-arquivos que fornecem arquivos pré-empacotados e isolados, falhando em exigir que os agentes pesquisem, filtrem e descubram informações independentemente dentro de uma estrutura de diretório desorganizada e hierárquica.
• Benchmarks relevantes para ambiente de trabalho que frequentemente carecem de diversidade de personas, cobrem menos de 10 modalidades de arquivo e tratam sinergias entre arquivos como subprodutos implícitos, em vez de avaliar explicitamente a identificação de dependências (por exemplo, relações semânticas, linhagem de versões).

Consequentemente, há uma necessidade urgente de uma benchmark que avalie agentes em dependências de arquivos em grande escala dentro de ambientes de trabalho realistas e heterogêneos.

Metodologia

Construção da Benchmark (Workspace-Bench)

Os autores construíram o Workspace-Bench, uma benchmark em grande escala projetada para simular ambientes de trabalho digitais realistas e tarefas de escritório fundamentadas em contexto.

1. Simulação de Ambiente de Trabalho:

   • Personas: Cinco papéis profissionais distintos foram definidos: Gerente de Operações, Gerente de Logística, Gerente de Produto de IA, Desenvolvedor Back-end e Pesquisador.
   • Escala: A benchmark compreende 20.476 arquivos (até 20 GB no total) distribuídos em 74 tipos de arquivos distintos (incluindo .xlsx, .pdf, .md, .java, .yaml, .eml, etc.).
   • Estrutura: Os ambientes de trabalho foram gerados usando um pipeline de duas etapas, de cima para baixo:
     • Geração de Estrutura: Agentes geraram hierarquias de diretório específicas para cada função com ruído estrutural controlado (pastas redundantes, nomes ambíguos).
     • Preenchimento de Conteúdo: Uma estratégia híbrida combinou raspagem agênica orientada semanticamente de recursos públicos (por exemplo, arXiv, GitHub) com artefatos sintetizados por LLMs (e-mails, atas de reuniões, relatórios) fundamentados nos dados recuperados.
   • Complexidade: Os arquivos estão profundamente aninhados (profundidade média de 3,7, máxima de 8) e incluem versões históricas para testar o rastreamento de linhagem.

2. Curadoria de Tarefas:

   • Fonte: 388 tarefas foram curadas de fluxos de trabalho do mundo real (obtidos do Lark/ByteDance) e manualmente anotadas por especialistas de domínio.
   • Grafos de Dependência: Cada tarefa é emparelhada com um grafo de dependência de arquivos de verdade fundamental (ground-truth) que especifica o conjunto mínimo de caminhos de arquivos essenciais e suas relações (semântica, agregativa, linhagem).
   • Níveis de Dificuldade: As tarefas são categorizadas em Fácil (14%), Médio (53%) e Difícil (33%) com base na complexidade das habilidades necessárias (por exemplo, exploração do ambiente de trabalho, rastreamento de linhagem, compreensão de arquivos heterogêneos).
   • Critérios de Avaliação: Um total de 7.399 critérios detalhados (média de 19,1 por tarefa) foram projetados para avaliar não apenas a correção da saída final, mas também decisões intermediárias, uso de versões de arquivos e adesão a dependências.

3. Framework de Avaliação:

   • Agente como Juiz: Um agente auxiliar avalia a trajetória de execução contra critérios e grafos de dependência.
   • Aceleração Paralela: Um mecanismo paralelo duplo (nível de ambiente de trabalho e nível de tarefa) usando pools de sandbox para lidar com avaliação em grande escala.
   • Métricas: Taxa de Aprovação de Critérios, Taxa de Conclusão de Tarefa (TCR@p), Taxa de Reconhecimento de Grafo de Dependência (F1 de Nó/Borda), Consumo de Tokens e Giros de Interação.
   • Workspace-Bench-Lite: Um subconjunto de 100 tarefas que preserva a fidelidade distribucional para avaliação rápida, reduzindo custos em ~70%.

Configuração Experimental

Os autores avaliaram 28 configurações combinando 4 frameworks de agentes (OpenClaw, ClaudeCode, DeepAgent, Hermes) com 7 modelos de base (incluindo Opus-4.7, GLM-5.1, GPT-5.4, Kimi-2.5, etc.). Especialistas humanos também foram avaliados usando uma linha de base "Humano + Ferramentas".

Principais Resultados

1. Lacuna de Desempenho: Os agentes atuais permanecem longe de uma aprendizagem de ambiente de trabalho confiável.

   • A Taxa de Aprovação de Critérios média em todas as configurações é de 47,4%.
   • A configuração de melhor desempenho (OpenClaw + Opus-4.7) alcança 68,7%.
   • Especialistas humanos alcançam 80,7%, destacando uma lacuna substancial entre agentes autônomos e capacidades humanas.

2. Degradação de Dificuldade: O desempenho degrada consistentemente à medida que a complexidade da tarefa aumenta:

   • Tarefas Fáceis: 57,6%
   • Tarefas Médias: 49,2%
   • Tarefas Difíceis: 40,5%

3. Gargalos de Capacidade:

   • Compreensão de Arquivos Heterogêneos e Rastreamento de Linhagem são os principais gargalos, com os agentes performando significativamente pior nessas dimensões em comparação com a Exploração de Ambiente de Trabalho.
   • Reconhecimento de Dependência: Os agentes lutam para deduzir dependências entre arquivos (os escores F1 de Borda são universalmente baixos), frequentemente identificando arquivos relevantes (F1 de Nó), mas falhando em entender suas relações.

4. Eficiência vs. Precisão:

   • Muitos giros de interação e consumo de tokens não garantem melhor desempenho. Algumas configurações (por exemplo, DeepAgent + MiniMax-M2.7) sofrem de "explosões de custo" (até 58,1 giros, 0,61 milhão de tokens) com baixas taxas de sucesso (~45%).
   • Configurações de topo (por exemplo, OpenClaw + Opus-4.7) demonstram alta eficiência de inferência, alcançando >65% de precisão com <20 giros.

5. Análise de Erros: A maioria das falhas decorre de Conteúdo Ausente e Erros de Raciocínio (agregação, estatísticas ou associação imprecisas), em vez de erros de formato ou processo.

6. Impacto do Framework: Embora a capacidade do modelo de base seja o principal motor, o framework do framework impacta significativamente o desempenho, particularmente para modelos mais fracos. Por exemplo, DeepAgent + GLM-5.1 mostra estabilidade única em todos os níveis de dificuldade, enquanto o Hermes se destaca em interações semânticas de domínio aberto para personas de Gerente de Produto.

Significado e Contribuições

O artigo afirma as seguintes contribuições:

1. Benchmark Workspace-Bench: Uma benchmark inovadora que desloca a avaliação de habilidades atômicas para o raciocínio sobre estruturas complexas de ambiente de trabalho. Ela introduz ecossistemas de arquivos realistas, em grande escala e heterogêneos com anotações explícitas de dependência, abordando a falta de avaliação em nível de "ambiente de trabalho" na literatura existente.
2. Framework de Avaliação: Um framework fundamentado em ambiente de trabalho com aceleração paralela dupla e um paradigma de Agente como Juiz, permitindo avaliação detalhada de mais de 7.000 critérios cobrindo correção final, raciocínio intermediário e eficiência operacional.
3. Insights Empíricos: Avaliação abrangente revelando que agentes de última geração lutam significativamente com tarefas conscientes de dependência. O artigo identifica gargalos específicos (compreensão de arquivos heterogêneos, rastreamento de linhagem) e a "Lacuna de Associação de Dados" entre os paradigmas atuais de processamento de arquivos isolados e os requisitos de ambientes de trabalho do mundo real.
4. Framework Teórico: A proposta de Cinco Estágios de Aprendizagem de Ambiente de Trabalho (de Execução Insensível a Dados até Autoevolução Nativa do Ambiente de Trabalho). Este framework caracteriza a evolução das capacidades dos agentes e identifica pontos de transição críticos, como a "Singularidade de Orquestração" (onde os frameworks se tornam mais críticos que os LLMs) e a "Singularidade de Capacidade" (processamento autônomo de ponta a ponta de tarefas).

Os autores concluem que, embora os modelos de base tenham feito progresso impressionante, existe um gargalo fundamental e pouco explorado na criação de agentes de produtividade verdadeiramente confiáveis capazes de navegar pelas estruturas relacionais complexas de ambientes de trabalho digitais do mundo real. Trabalhos futuros devem focar em repensar como os frameworks de agentes descobrem, representam e exploram dependências entre arquivos.