🤖 AI

Harness-Bench: Measuring Harness Effects across Models in Realistic Agent Workflows

Harness-Bench é um benchmark de diagnóstico composto por 106 tarefas realistas em ambiente isolado que avalia como diferentes configurações de camada de sistema (harnesses) impactam o desempenho de agentes de LLM, revelando que os resultados de execução variam significativamente entre as combinações de modelo e harness e destacando a necessidade de relatar as capacidades do agente no nível da configuração em vez de atribuí-las exclusivamente ao modelo base.

Autores originais: Yilun Yao, Xinyu Tan, Chao-Hsuan Liu, Yaoming Li, Zhengyang Wang, Wenhan Yu, Zhewen Tan, Yuxuan Tian, Guangxiang Zhao, Lin Sun, Xiangzheng Zhang, Tong Yang

Publicado 2026-05-28

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yilun Yao, Xinyu Tan, Chao-Hsuan Liu, Yaoming Li, Zhengyang Wang, Wenhan Yu, Zhewen Tan, Yuxuan Tian, Guangxiang Zhao, Lin Sun, Xiangzheng Zhang, Tong Yang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um chef brilhante e de classe mundial (o Modelo de IA). Este chef pode cozinhar qualquer coisa se receber as instruções corretas. Mas, no mundo real, um chef não fica apenas no vácuo; ele trabalha em uma cozinha com ferramentas específicas, um conjunto de regras, um gerente que verifica os pedidos e um sistema para lidar com erros.

Este artigo, Harness-Bench, trata de testar esse sistema de cozinha (chamado de "harness"), e não apenas o chef.

O Problema: Temos Ignorado a Cozinha

Até agora, quando as pessoas testavam agentes de IA, a pergunta era principalmente: "Quão bom é o chef?". Elas olhavam para o prato final (a IA concluiu a tarefa?) mas ignoravam como a cozinha estava montada.

O chef tinha as facas certas (ferramentas)?
O chef sabia como lidar com uma panela queimada (recuperação)?
O gerente da cozinha (o sistema) impedia o chef de usar ingredientes errados (permissões)?

Os autores argumentam que você não pode julgar a capacidade de uma IA apenas olhando para o modelo. Você precisa olhar para o Modelo + O Sistema de Cozinha juntos. Um grande chef em uma cozinha bagunçada e quebrada falhará, enquanto um bom chef em uma cozinha perfeita e bem organizada pode ter sucesso.

A Solução: Um "Simulador de Cozinha" para IA

Os pesquisadores construíram o Harness-Bench, um vasto campo de testes com 106 desafios culinários diferentes (tarefas). Estes não são apenas perguntas simples; são trabalhos complexos como corrigir código, analisar dados financeiros ou gerenciar um projeto.

Veja como eles testaram:

Os Mesmos Ingredientes, Cozinhas Diferentes: Eles pegaram as mesmas 106 tarefas e as deram a diferentes modelos de IA.
A Variável: Eles mantiveram a tarefa exatamente a mesma, mas trocaram o "sistema de cozinha" (o harness) a cada execução. Algumas cozinhas eram de alta tecnologia e rigorosas; outras eram soltas e simples.
O Resultado: Eles realizaram mais de 5.000 experimentos.

O Que Eles Encontraram

Os resultados foram surpreendentes e claros: A cozinha importa tanto quanto o chef.

Diferenças Enormes: Quando usaram o mesmo modelo de IA, mas o colocaram em "cozinhas" diferentes, a taxa de sucesso variou drasticamente. Um sistema de cozinha obteve uma taxa de sucesso de 76%, enquanto outro obteve apenas 52% com exatamente o mesmo modelo.
A Cozinha "Inteligente" Vence: Os sistemas de melhor desempenho não foram apenas aqueles com os modelos de IA mais inteligentes. Foram aqueles onde o sistema ajudou a IA a manter o rumo, recuperar-se de erros e usar as ferramentas corretamente.
O Problema do "Desvio": Os pesquisadores descobriram que a IA frequentemente começa com um bom plano, mas depois "desvia". Ela pode pensar logicamente, mas esquecer de realmente salvar o arquivo, ou pode ignorar um erro da ferramenta e continuar tentando a mesma coisa. Os melhores "sistemas de cozinha" detectavam esses desvios e os corrigiam.

A Grande Conclusão

O artigo conclui que precisamos parar de dizer "Este modelo de IA é 90% bom". Em vez disso, devemos dizer: "Este modelo de IA é 90% bom quando acoplado a este sistema específico".

Se você quer construir um agente de IA confiável, não pode apenas escolher o cérebro mais inteligente; você precisa construir o melhor corpo e sistema nervoso (o harness) para acompanhá-lo. O Harness-Bench é a ferramenta que eles criaram para ajudar engenheiros a medir e melhorar esse corpo.

Em Resumo

Pense nisso como testar um carro de corrida. Você não pode apenas olhar para o motor (o modelo de IA) e dizer que é rápido. Você precisa testar o motor em diferentes pistas com pneus e pilotos diferentes (o harness). O Harness-Bench é a nova pista que prova que a velocidade do carro depende fortemente da pista e dos pneus, e não apenas do motor.

Resumo Técnico: Harness-Bench

Declaração do Problema

Agentes de Modelos de Linguagem Grandes (LLM) estão cada vez mais implantados como sistemas executáveis que interagem com ambientes externos, utilizando ferramentas, modificando espaços de trabalho e produzindo artefatos concretos. Nessas fluxos de trabalho, o desempenho prático depende não apenas das capacidades de raciocínio do modelo base, mas também criticamente do harness: a camada do sistema que gerencia contexto, ferramentas, estado, restrições, permissões, rastreamento e recuperação.

Os benchmarks existentes enfrentam uma limitação significativa: eles tipicamente abstraem os detalhes de execução, confundem o harness com o sistema completo do agente, ou mantêm o harness fixo ao comparar modelos. Consequentemente, há uma falta de protocolos de diagnóstico para estudar como configurações específicas de modelo–harness afetam taxas de sucesso, custos de tokens, robustez e rastreabilidade em fluxos de trabalho realistas. Isso obscurece a variação na camada de execução que frequentemente determina se um agente tem sucesso ou falha.

Metodologia

Os autores introduzem o Harness-Bench, um benchmark de diagnóstico projetado para avaliar efeitos de configuração de nível de harness sob condições externas compartilhadas.

Design do Benchmark

Suite de Tarefas: O benchmark consiste em 106 tarefas offline em sandbox construídas a partir de padrões práticos de uso de agentes. Essas tarefas abrangem oito categorias, incluindo engenharia de software, análise de dados, operações de espaço de trabalho, trabalho de conhecimento, comunicação corporativa, fluxos de trabalho profissionais verticais, autonomia de longa duração e DevOps.
Validação: Cada tarefa é revisada manualmente quanto a quatro critérios: Realismo (fluxo de trabalho do usuário plausível), Solvabilidade (completável com recursos fornecidos), Verificabilidade por Oráculo (verificável via verificações determinísticas ou rubricas) e Integridade (impedindo que agentes contornem restrições).
Protocolo de Avaliação: O benchmark fixa as condições externas da tarefa (prompt da tarefa, estado inicial do sandbox, orçamento, tempo limite e avaliador) enquanto varia a configuração do harness e o backend do modelo.
- Diferentemente de trabalhos anteriores que forçam sistemas a uma política interna comum, o Harness-Bench preserva o comportamento de execução nativo de cada harness (solicitação, interfaces de ferramentas, gerenciamento de estado e mecanismos de recuperação).
- Essa abordagem trata o harness como a variável primária de interesse, medindo o desempenho do par Modelo + Harness em vez de isolar mecanismos individuais.

Execução e Pontuação

Coleta de Dados: Cada execução registra artefatos finais, traços de execução, estatísticas de uso e saídas do validador. O estudo analisou 5.194 trajetórias de execução através de 6 harnesses configuráveis e 8 backends de modelo (mais uma avaliação de referência do Codex).
Métricas de Pontuação: A pontuação geral é uma combinação multiplicativa de três componentes:
1. Segurança ( $S$ ): Um portão binário (0 ou 1) para violações de permissão ou segurança.
2. Conclusão ( $C$ ): Medida via validadores determinísticos específicos da tarefa ou julgamento baseado em rubrica.
3. Processo ( $P$ ): Um agregado de Robustez, Adequação do Uso de Ferramentas e Consistência, avaliado via rubricas de processo baseadas em LLM.
- Fórmula: $PontuaçãoTarefa = S \cdot C \cdot P$ .
- Essa pontuação conservadora garante que um crédito agregado alto exija conclusão da tarefa, nenhuma violação de segurança e comportamento de execução confiável.

Contribuições Principais

Ativo de Benchmark: O lançamento do Harness-Bench, uma suite de 106 tarefas offline em sandbox com manifestos de tarefa, fixtures, avaliadores e traços de execução projetados para fluxos de trabalho completos de agentes realistas.
Protocolo de Avaliação: Um protocolo inovador que fixa as condições externas da tarefa enquanto preserva comportamentos nativos de harness, permitindo comparações de nível de configuração através de harnesses representativos e backends de modelo.
Análise de Diagnóstico: Uma análise em grande escala de 5.194 trajetórias revelando variação substancial na conclusão, qualidade do processo, eficiência e modos de falha através de diferentes pares de modelo–harness.

Resultados Principais

Variação de Nível de Configuração: Sob o mesmo conjunto de tarefas e pool de backends de modelo, as pontuações agregadas variaram significativamente entre os harnesses. O NanoBot alcançou a pontuação mais alta (76,2%), enquanto o OpenClaw alcançou a mais baixa (52,4%), uma lacuna de 23,8 pontos. Isso demonstra que a escolha do harness é um determinante crítico do desempenho.
Dependência Modelo-Harness: Backends de modelo mais fortes tenderam a exibir menor variância entre harnesses, sugerindo que são mais tolerantes a diferenças em solicitação e gerenciamento de estado. Por outro lado, backends mais fracos mostraram maior sensibilidade ao substrato de execução.
Eficiência: Harnesses com pontuação mais alta frequentemente demonstraram perfis de processo melhores (uso de ferramentas, consistência, robustez) e, em alguns casos, maior eficiência (menos tokens/voltas) em comparação com contrapartes com pontuação mais baixa.
Modos de Falha: A análise de trajetórias falhas identificou "falhas de alinhamento de execução" recorrentes onde o raciocínio plausível se desconectou do feedback da ferramenta ou saídas verificáveis. A falha mais comum foi violações de Contrato/Formato (36,4%), seguida por problemas de Ferramenta/Recuperação (24,6%) e lacunas de Evidência/Fundamentação (14,6%).

Significado e Alegações

O artigo argumenta que a capacidade do agente deve ser relatada no nível de configuração de modelo–harness em vez de atribuída apenas ao modelo base. Os resultados sugerem que a camada de execução não é meramente um detalhe de implementação, mas um componente fundamental do desempenho do agente que molda como a capacidade é exposta, restringida e realizada.

O Harness-Bench fornece uma base reproduzível para:

Diagnosticar falhas recorrentes de alinhamento de execução onde o raciocínio se desconecta da evidência ou do estado.
Melhorar pilhas de execução de agentes confiáveis, eficientes, conscientes de permissão e auditáveis.
Mudar o paradigma de avaliação de métricas "apenas modelo" para diagnósticos "nível de sistema" que levam em conta a interação entre o raciocínio do modelo e o ambiente de execução.

Os autores mantêm uma postura modesta, observando que o benchmark avalia configurações completas de harness sob condições controladas e em sandbox. Portanto, os resultados são apresentados como medições de diagnóstico sob um protocolo fixo em vez de garantias estatísticas para todas as possíveis implantações no mundo real.