💬 NLP

WorkSurface-Bench: Benchmarking Enterprise Agents on Multi-Surface Knowledge Routing

Este artigo apresenta o WorkSurface-Bench, um novo benchmark composto por 1.151 tarefas auditáveis projetadas para avaliar a capacidade de agentes empresariais de rotear consultas através de superfícies de conhecimento heterogêneas (documentos, tabelas e grafos), revelando que, embora os agentes possam alcançar uma alta precisão de roteamento, a seleção correta da superfície por si só é insuficiente para altas taxas de conclusão de tarefas.

Autores originais: Hao Liang, Meiyi Qiang, Sizhe Qiu, Linzhuang Sun, Wentao Zhang

Publicado 2026-07-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hao Liang, Meiyi Qiang, Sizhe Qiu, Linzhuang Sun, Wentao Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está contratando um assistente robô superinteligente para ajudar você a administrar um escritório movimentado. Você faz uma pergunta complicada, como: "Quanto gastamos com frete no mês passado e quais arquivos estão causando os atrasos?" Para responder a isso, o robô não pode apenas adivinhar; ele precisa procurar informações. Mas aqui está o detalhe: o escritório possui três tipos de prateleiras de informações muito diferentes. Há uma Biblioteca cheia de relatórios escritos e PDFs (documentos), uma Sala de Planilhas repleta de linhas de números e cálculos (tabelas) e uma Sala de Mapas mostrando como cada arquivo se conecta a todos os outros (grafos).

Por muito tempo, os cientistas que testavam esses robôs perguntavam principalmente: "Você obteve a resposta certa?" Se o robô olhasse na sala errada, escolhesse o livro errado ou errasse a conta, o teste apenas dizia: "Falha". Mas isso não nos diz o porquê da falha. O robô não sabia que precisava ir para a Sala de Mapas? Ou ele foi para a Sala de Mapas, encontrou o mapa certo, mas se confundiu ao lê-lo? Este artigo entra nessa lacuna. Ele introduz uma nova maneira de testar robôs ao separar o ato de escolher a sala certa do ato de resolver o quebra-cabeça uma vez dentro dela. Ele pergunta: o robô consegue descobrir qual tipo de conhecimento ele precisa antes mesmo de começar a procurar?

O Novo Jogo: WorkSurface-Bench

Os pesquisadores construíram um novo campo de testes chamado WorkSurface-Bench. Pense nisso como uma simulação de escritório gigante e realista com 1.151 tarefas diferentes. Eles estabeleceram cinco "personas" diferentes (como um gerente de logística ou um analista financeiro) e deram a elas acesso a três superfícies distintas: uma biblioteca de documentos, um banco de dados de tabelas e um grafo de relacionamento de arquivos.

A grande inovação aqui é como eles avaliam os robôs. Em vez de apenas dar um "passa ou falha" na resposta final, eles pontuam duas coisas separadas:

Rota: O robô escolheu as "superfícies" corretas (Biblioteca, Planilha ou Mapa)?
Resposta: Ele realmente resolveu o problema corretamente após escolher as superfícies?

Eles criaram um "padrão ouro" para cada resposta. Se uma tarefa exige um cálculo matemático, eles executaram o código real para obter a resposta verdadeira. Se exigia a leitura de um documento, eles verificaram as palavras exatas na fonte. Se precisava de uma conexão de arquivo, eles rastrearam o caminho real. Isso significa que a resposta "correta" não é apenas um palpite de outro IA; é um fato verificado.

A Grande Surpresa: Saber Onde Procurar Não é Suficiente

A equipe testou quatro dos modelos de IA mais inteligentes disponíveis (incluindo GPT-4o-mini, DeepSeek-V4-Pro, Gemini-3.1-Pro e GPT-5.5) em seis cenários diferentes. Eles queriam ver se tornar o trabalho do robô mais fácil, dizendo-lhe exatamente em qual sala ir, resolveria seus erros.

Aqui está o que eles descobriram, e é um pouco de um reviravolta na trama: Saber onde procurar não garante que você encontrará a resposta.

Quando os pesquisadores forçaram os robôs a usar apenas as superfícies corretas (uma configuração de "restrição de ouro"), os robôs tornaram-se quase perfeitos em escolher a sala certa. Sua pontuação de "Rota" saltou para entre 98,7% e 99,8%. Eles sabiam exatamente para onde ir.

No entanto, sua pontuação de "Resposta" — a correção real da solução final — atingiu apenas entre 56,1% e 75,3%.

Isso significa que, mesmo quando o robô estava na sala certa com o mapa correto em mãos, ele ainda errava a resposta mais de um quarto das vezes. Ele poderia ter encontrado o arquivo certo, mas lido os números incorretamente, ou poderia ter combinado informações da planilha e do documento de forma errada. O artigo mostra que "escolher a ferramenta certa" e "usar a ferramenta corretamente" são duas habilidades completamente diferentes, e ser bom em uma não te torna automaticamente bom na outra.

Dicas vs. Restrições

Os pesquisadores também jogaram um jogo divertido de "dar uma dica" versus "remover distrações".

A Dica: Eles disseram aos robôs: "Você precisa olhar para a Planilha e para o Mapa". Isso ajudou os robôs a escolherem melhor as superfícies e, para alguns modelos, melhorou ligeiramente suas respostas finais.
A Restrição: Eles então removeram todas as ferramentas que os robôs não precisavam. Isso tornou os robôs muito mais rápidos e eficientes, e eles escolheram as superfícies corretas ainda melhor. Mas, surpreendentemente, isso nem sempre tornou a resposta final melhor. Na verdade, para alguns modelos, remover as ferramentas extras tornou-os ligeiramente piores em resolver o problema, provavelmente porque perderam a capacidade de conferir seu trabalho com uma ferramenta diferente.

O Que Isso Significa para o Futuro

O artigo conclui que não podemos mais olhar apenas para a pontuação final de um agente de IA. Se uma IA erra uma pergunta, precisamos saber se ela falhou porque não sabia o que procurar, ou porque procurou no lugar certo, mas não conseguiu processar o que encontrou.

Os autores mediram isso através de 27.624 tentativas diferentes dos robôs, e eles têm muita certeza desses números porque auditaram os resultados com verificadores humanos e regras estritas. Eles descobriram que, embora os melhores robôs estejam ficando muito bons em roteamento (98%+), eles ainda estão lutando com a etapa final de juntar as peças corretamente (cerca de 56–75%).

Em resumo, o futuro dos robôs de escritório inteligentes não é apenas dar a eles mapas melhores do escritório; é ensiná-los a ler as placas e fazer as contas uma vez que cheguem lá. O artigo fornece um placar detalhado e novo para ajudar os desenvolvedores a rastrear exatamente onde seus robôs estão tropeçando, para que possam consertar a parte específica do cérebro que está quebrada, em vez de apenas esperar que tudo melhore por completo.

Resumo Técnico: WorkSurface-Bench

Declaração do Problema

Agentes empresariais frequentemente encontram questões que exigem acesso simultâneo a formas heterogêneas de conhecimento: fatos narrativos em documentos, cálculos em tabelas e relações de arquivos em grafos de dependência. Os benchmarks existentes tipicamente avaliam recuperação (RAG) ou uso de ferramentas isoladamente, falhando em distinguir se a capacidade de um agente reside na seleção da representação de conhecimento correta (roteamento de superfície) ou na sua capacidade de raciocinar corretamente utilizando essa representação. Consequentemente, as pontuações de precisão de ponta a ponta confundem essas capacidades distintas, tornando difícil diagnosticar se uma falha decorre da escolha da fonte errada, da recuperação de evidências incompletas ou da síntese incorreta da resposta.

Metodologia

Os autores introduzem o WorkSurface-Bench, um benchmark projetado para desacoplar o roteamento de superfície da geração de respostas. A metodologia envolve três componentes principais:

1. Construção do Benchmark

O benchmark é derivado do corpus Workspace-Bench-Lite, projetado sobre três superfícies canônicas e roteáveis:

Documento (RAG): 493 documentos canônicos em markdown UTF-8.
Tabela: 207 visualizações (views) do DuckDB geradas a partir de planilhas CSV/XLSX normalizadas.
Grafo: 1.438 arestas representando linhagem de arquivos e dependências (ex: arquivo-depende-de-arquivo).
Metadados: Procedimentos Operacionais Padrão (SOPs) são mantidos como metadados da tarefa, em vez de uma superfície roteável.

O conjunto de dados compreende 1.151 tarefas atômicas distribuídas em cinco workspaces com escopo de persona. As tarefas são categorizadas pelo tipo de superfície exigida: rag_only, table_only, graph_only e cross_surface (que exige combinações das três).

2. Padrão de Ouro Verificável

Para garantir a auditabilidade, as respostas de referência não são geradas por modelos, mas derivadas de execução determinística:

Respostas de tabela: Executadas via consultas DuckDB.
Respostas de documento: Verificadas contra trechos literais nos arquivos de origem.
Respostas de grafo: Derivadas de anotações de dependência de origem.
Um rigoroso pipeline de triagem envolvendo verificações determinísticas, propostas assistidas por LLM (GPT-5.5) e auditorias humanas/LLM independentes (DeepSeek, Gemini) garante que o conjunto final não contenha erros de protocolo e passe por critérios estritos de capacidade de resposta e necessidade de superfície.

3. Protocolo de Pontuação

A estrutura de avaliação pontua quatro métricas distintas para cada tarefa:

Route F1: Mede a precisão e o recall do conjunto de superfícies selecionadas em relação ao conjunto de ouro exigido.
Evidence (Evidência): Mede a fração de artefatos necessários (arquivos, views, nós) efetivamente acessados no rastreio (trace).
Answer (Resposta): Avalia a correção final usando correspondência exata, tolerância de erro relativo ou F1 de conjunto, dependendo do tipo de resposta.
Efficiency (Eficiência): Uma pontuação contínua que penaliza o uso de tokens em relação a um orçamento específico da tarefa.

Essas métricas são agregadas em uma pontuação única com pesos: Resposta (35%), Evidência (30%), Roteamento (25%) e Eficiência (10%).

Configuração Experimental

Os autores avaliaram quatro modelos de base (GPT-4o-mini, DeepSeek-V4-Pro, Gemini-3.1-Pro e GPT-5.5) sob seis configurações de agente:

No-tool: Baseline de livro fechado.
Always-RAG: Força uma busca única em documento.
Naive-router: Seleciona exatamente uma superfície antecipadamente.
ReAct-all: Expõe as três superfícies, permitindo intercalaçao livre.
Gold-constrained: O agente recebe as superfícies necessárias, mas deve selecionar as ferramentas dentro delas.
Gold-hint/all: O agente recebe as superfícies necessárias, mas todas as ferramentas permanecem disponíveis.

Resultados Principais

Os experimentos, cobrindo 27.624 trajetórias retidas, produzem várias descobertas críticas:

Roteamento $\neq$ Resposta: Existe apenas uma correlação moderada ( $\rho = 0.62$ ) entre o sucesso de roteamento e a precisão da resposta. Mesmo quando os agentes estão sob configuração Gold-constrained (forçados a usar as superfícies corretas), alcançando um Route F1 (98.7–99.8%) quase perfeito, sua precisão de Resposta permanece significativamente menor (56.1–75.3%).
Gargalos Pós-Roteamento: Altas pontuações de roteamento não garantem execução correta. Sob configurações Gold-constrained, os agentes ainda falham na recuperação de evidências (pontuações de Evidência: 66.7–78.5%) e no processamento/síntese subsequente.
Impacto de Dicas vs. Restrições:
- Fornecer dicas de superfície (S4 $\to$ S6) melhora a precisão da Resposta para três dos quatro modelos, mas tem um efeito variável no roteamento.
- Remover ferramentas irrelevantes (S6 $\to$ S5) melhora significativamente o Route F1 e a Eficiência, mas não melhora uniformemente a precisão da Resposta; em alguns casos, degrada o desempenho.
Desempenho Específico por Superfície: O desempenho varia conforme o tipo de tarefa. Enquanto tarefas de apenas Tabela geralmente geram as pontuações mais altas (até 91.0%), tarefas de múltiplas superfícies (Cross-surface) continuam sendo as mais desafiadoras, com quedas de 13.0–45.7 pontos em relação ao melhor desempenho de superfície única do modelo.

Significância e Alegações

O artigo afirma que o WorkSurface-Bench é o primeiro benchmark de workspace a pontuar o roteamento de superfície separadamente da métrica de Resposta. Sua principal significância reside em:

Clareza Diagnóstica: Ao separar as métricas, o benchmark permite que pesquisadores identifiquem se um agente falha na seleção, na recuperação ou na síntese, em vez de atribuir todas as falhas a uma pontuação de "inteligência" monolítica.
Desacoplamento de Habilidades: Os resultados demonstram que saber onde procurar (roteamento) é uma capacidade distinta de saber como usar a informação encontrada (resposta).
Rigor de Avaliação: O uso de respostas de ouro executáveis e auditáveis (SQL, spans, anotações) elimina a dependência de referências geradas por modelos, fornecendo um terreno de verdade (ground truth) mais confiável para a avaliação de agentes empresariais.

Os autores concluem que as futuras avaliações de agentes devem reportar a seleção de superfície separadamente e testar explicitamente se os sistemas conseguem converter evidências recuperadas em respostas corretas, em vez de depender apenas da precisão de ponta a ponta.