💻 computer science

From Failed Trajectories to Reliable LLM Agents: Diagnosing and Repairing Harness Flaws

Este artigo apresenta o HarnessFix, um framework guiado por traços que diagnostica falhas de agentes ao analisar traços de execução e código de harness para gerar patches direcionados e validados que melhoram significativamente a confiabilidade de agentes de LLM em múltiplos benchmarks.

Autores originais: Mengzhuo Chen, Junjie Wang, Zhe Liu, Yawen Wang, Qing Wang

Publicado 2026-06-05

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mengzhuo Chen, Junjie Wang, Zhe Liu, Yawen Wang, Qing Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente brilhante, mas às vezes confuso (o Agente LLM) tentando resolver quebra-cabeças complexos, como consertar um programa de computador quebrado ou planejar uma viagem. Este assistente não trabalha sozinho; ele trabalha dentro de uma "sala de controle" construída por engenheiros. Esta sala de controle é o Harness (o Suporte/Estrutura).

O Harness é o conjunto de regras, ferramentas e verificações de segurança que diz ao assistente:

Quais ferramentas ele pode usar (como uma chave de fenda ou um mecanismo de busca).
Quais informações ele pode ver (como um mapa ou um manual).
Como relatar seu progresso.
Quando parar e dizer: "Terminei".

O Problema: A "Caixa Preta" da Falha

Às vezes, o assistente falha. No passado, quando as coisas davam errado, os engenheiros tentavam consertar isso:

Ajustando as instruções do Assistente: "Ei, tente ser mais cuidadoso!" (Isso é como dizer a um motorista para "dirigir melhor" sem consertar os freios quebrados).
Adivinhando: Olhando para o resultado final e esperando que uma mudança aleatória ajude.

O problema é que esses métodos frequentemente perdem a questão real. A falha pode não ser culpa do assistente; pode ser que o Harness deu a ferramenta errada ao assistente, escondeu uma mensagem de erro crucial ou permitiu que o assistente desistisse antes de terminar o trabalho. Como as ações do assistente acontecem em uma cadeia longa e bagunçada de eventos, é difícil identificar exatamente onde a sala de controle falhou.

A Solução: HARNESSFIX (O Detetive)

Os autores deste artigo criaram um novo sistema chamado HARNESSFIX. Pense nele como um detetive forense para a sala de controle. Em vez de adivinhar, ele investiga a cena do crime (a tentativa falha) passo a passo para encontrar a parte exata que quebrou no Harness.

Veja como o HARNESSFIX funciona, usando uma analogia simples:

1. O "Tradutor" (HTIR)

Primeiro, o detetive pega o registro (log) confuso e bagunçado do que aconteceu (o "trace") e o código da sala de controle e os traduz em um mapa limpo e organizado chamado HTIR.

Analogia: Imagine uma cena de crime caótica com pistas espalhadas. O detetive organiza essas pistas em uma linha do tempo clara: "Às 10:00, o agente solicitou uma ferramenta. Às 10:01, a ferramenta apresentou um erro. Às 10:02, o agente ignorou o erro". Este mapa conecta as ações do agente diretamente às regras que os governavam.

2. O "Diagnóstico" (Encontrando o Culpado)

Em seguida, o detetive olha para o mapa para encontrar exatamente onde a corrente se quebrou.

Analogia: O detetive pergunta: "O agente falhou porque não sabia a senha? Ou porque a porta foi trancada pelo sistema de segurança (o Harness)?"
O HARNESSFIX identifica se o problema estava na Interface da Ferramenta (instruções ruins), no Ciclo de Vida (deixar o agente desistir cedo demais) ou na Observabilidade (esconder as mensagens de erro). Ele cria um "Relatório de Falha" específico para problemas recorrentes.

3. A "Oficina de Reparos" (Consertos Escopados)

Uma vez identificado o defeito, o HARNESSFIX não permite que qualquer pessoa reescreva todo o controle remoto. Isso seria perigoso e poderia quebrar outras coisas. Em vez disso, ele usa um conjunto de Operadores de Reparo.

Analogia: Pense neles como ferramentas específicas em um kit de mecânico. Se o problema é um parafuso solto, o mecânico usa uma chave de boca. Se o problema é um pneu furado, eles usam um macaco. O HARNESSFIX usa apenas a "chave" específica necessária para aquele defeito específico. Ele escreve um patch pequeno e preciso para consertar apenas aquela parte quebrada, garantindo que não quebre o motor acidentalmente.

4. O "Inspetor de Segurança" (Validação)

Antes que o novo patch seja instalado, um inspetor de segurança verifica o trabalho.

Analogia: O inspetor faz duas perguntas:
1. "Este conserto resolveu o problema específico que encontramos?"
2. "Este conserto acabou quebrando algo que estava funcionando bem?"
Se a resposta à segunda pergunta for "Sim", o patch é rejeitado. Isso evita que o sistema piore enquanto tenta melhorar.

O Que Eles Descobriram?

Os pesquisadores testaram este sistema de detetive em quatro tipos diferentes de tarefas difíceis (consertar software, usar linhas de comando, fazer pesquisa e automatizar aplicativos).

Os Resultados: O HARNESSFIX melhorou a taxa de sucesso dos agentes em 15% a 50% em comparação com a configuração original.
A Comparação: Ele teve um desempenho melhor do que:
- Especialistas humanos que projetaram manualmente as salas de controle.
- Outros sistemas de IA que tentaram se consertar apenas mudando instruções ou adivinhando.
A Descoberta: Eles descobriram que muitas falhas não eram porque a IA era "burra", mas porque o "controle remoto" tinha falhas ocultas, como esconder mensagens de erro ou deixar a IA desistir cedo demais. O HARNESSFIX encontrou essas falhas ocultas e as corrigiu.

Em Resumo

HARNESSFIX é um sistema que trata uma tentativa falha da IA como uma cena de crime. Ele não apenas culpa a IA; ele investiga o ambiente no qual a IA estava trabalhando, encontra a regra ou ferramenta específica que quebrou e aplica um conserto preciso e seguro. Isso torna a IA muito mais confiável sem precisar retreinar o cérebro da IA ou adivinhar o que deu errado.

Resumo Técnico: De Trajetórias Falhas a Agentes de LLM Confiáveis: Diagnóstico e Reparo de Falhas em Harnesses

1. Declaração do Problema

Agentes baseados em LLM dependem cada vez mais de harnesses (estruturas de suporte) — infraestruturas de tempo de execução que fornecem ambientes de execução, interfaces de ferramentas, gestão de contexto, orquestração de ciclo de vida, observabilidade, verificação e governança (resumidos pela taxonomia ETCLOVG). Embora os métodos existentes de agentes de autoaperfeiçoamento e evolução automática de harness tentem melhorar o desempenho por meio de supervisão em tempo de execução, otimização de prompts ou busca de fluxo de trabalho, eles frequentemente falham em diagnosticar efetivamente as causas raízes das falhas.

As abordagens atuais sofrem de três limitações primárias:

Evidência Fragmentada: A evidência da falha está espalhada por trajetórias de execução heterogêneas, densas em linguagem e não determinísticas, tornando o diagnóstico preciso difícil.
Lacuna de Mapeamento: Mesmo quando uma falha é localizada dentro de uma trajetória, mapeá-la de volta à implementação específica do harness estático (código-fonte, prompts, configurações) responsável por ela é desafiador, pois o comportamento em tempo de execução e os artefatos estáticos muitas vezes não estão explicitamente alinhados.
Modificações Não Escopadas: Sem um diagnóstico causal direcionado, as melhorias são frequentemente amplas, indiretas ou mal escopadas. Além disso, modificar mecanismos de harness para corrigir uma falha corre o risco de introduzir regressões em outros pontos, um desafio exacerbado pelas dependências implícitas nos sistemas de agentes.

Métodos existentes frequentemente otimizam com base em resultados finais sem identificar onde na trajetória reside a evidência ou qual camada do harness falhou, levando a correções superficiais que não abordam falhas estruturais subjacentes.

2. Metodologia: HARNESSFIX

O artigo propõe o HARNESSFIX, um framework guiado por traços projetado para diagnosticar falhas de agentes e reparar harnesses através de um pipeline de quatro agentes. A filosofia central é impulsionar o reparo do harness a partir de diagnósticos de falhas detalhados e fundamentados em traços.

A. Representação Intermediária de Traço Consciente de Harness (HTIR)

Para lidar com a heterogeneidade dos traços de execução brutos, o HARNESSFIX compila traços brutos e código de harness em uma HTIR unificada. Esta representação normaliza evidências fragmentadas e captura:

Nós (TraceSteps): Passos de execução recuperáveis (chamadas de modelo, ações de ferramentas, validações) com identificadores únicos.
Atributos: Mensagens de requisição/resposta, status de execução e efeitos de artefato/estado (leitura/escrita/desconhecido).
Links:
- Links temporais: Preservam a ordem de execução.
- Links de proveniência de entrada: Rastreiam como uma requisição foi construída a partir de conteúdo de trajetória anterior e lógica de harness (ex: montagem de memória, construção de prompt).
- Links de fluxo de controle: Explicam por que um passo foi disparado pelo controlador do harness (ex: tentativa de reexecução, delegação, terminação).
Evidência de Diagnóstico Local ao Nó: Uma visão localizada para cada passo combinando proveniência de entrada, fluxo de controle e efeitos de artefato.
Facetas de Responsabilidade de Camada de Harness: Mapeia cada passo para as camadas ETCLOVG relevantes (Execução, Ferramentas, Contexto, Ciclo de Vida, Observabilidade, Verificação, Governança) com base na evidência anexada.

B. Diagnóstico de Falha de Harness

Um Agente de Diagnóstico processa a HTIR para produzir registros de diagnóstico estruturados:

Localização de Sintoma: Identifica o sintimento da falha a partir do resultado final da avaliação.
Retrocesso de Evidência: Utiliza links temporais, de proveniência e de fluxo de controle para gerar um conjunto ranqueado de passos candidatos responsáveis.
Adjudicação de Candidatos: Inspeciona a evidência local do nó e referências de código de harness para selecionar o passo (ou passos) responsável(is) final.
Mapeamento de Camada: Atribui camadas ETCLOVG implicadas aos passos responsáveis.
Consolidação de Falhas: Agrupa registros de diagnóstico entre múltiplas execuções para identificar padrões recorrentes de falhas, resumindo-os em Registros de Falhas acionáveis.

C. Reparo Escopado

Para evitar edições instáveis e quebra arquitetural, o HARNESSFIX emprega Operadores de Reparo em vez de autoedição livre.

Mapeamento: Registros de falhas são mapeados para operadores de reparo específicos (ex: "estreitamento de esquema de ferramenta", "guarda de loop") destilados de registros de mudança de versão em repositórios de agentes.
Especificação de Reparo: O operador selecionado é instanciado em uma especificação específica da falha que define:
- Alvo e Escopo: Artefatos concretos do harness a serem modificados.
- Restrições de Edição: Recursos proibidos (ex: dados de benchmark, avaliadores).
- Comportamento Requerido: O comportamento específico que o patch deve implementar.
- Validação e Risco: Critérios para aceitação, incluindo redução da falha alvo e limites de regressão.

D. Validação de Patch e Memória de Harness

Um Agente de Validação garante segurança e eficácia:

Pré-validação: Verifica a conformidade do diff candidato com a especificação de reparo e a sintaxe básica.
2.Avaliação de Conjunto de Validação: Avalia o patch em um conjunto de validação retido para garantir que ele reduza a ocorrência da falha alvo ( $\Delta D_{target} \ge \delta_{min}$ ) sem introduzir regressões inaceitáveis ( $R_{new} \le r_{max}$ ).
Memória de Harness: Registra os resultados (aceitos ou rejeitados) para informar futuras iterações, fornecendo exemplos para falhas semelhantes ou explicando razões de rejeição.

3. Principais Contribuições

Framework HARNESSFIX: Um framework baseado em traços e orientado a diagnóstico que conecta explicitamente a evidência de falha ao diagnóstico consciente de harness e mudanças de harness escopadas, indo além da evolução de prompts baseada apenas em resultados.
HTIR: Uma representação de traço consciente de harness que normaliza trajetórias heterogêneas de agentes em estruturas de evidência ao nível de passo, permitindo atribuição e planejamento de reparo precisos.
Avaliação Empírica: Avaliação abrangente em quatro benchmarks (SWE-Bench Verified, Terminal-Bench 2.0 Verified, GAIA, AppWorld) demonstrando ganhos de desempenho significativos.
Análise Sistemática: Uma análise detalhada de reparos aceitos revelando padrões recorrentes de falhas de harness através das camadas ETCLOVG e os pontos de estresse específicos de diferentes configurações de tarefas.

4. Resultados Experimentais

Os autores avaliaram o HARNESSFIX em quatro benchmarks, comparando-o com harnesses iniciais ( $H_0$ ), harnesses desenhados por humanos e baselines de autoevolução (GEPA, SCOPE, ReCreate).

Ganhos de Desempenho: O HARNESSFIX melhorou o desempenho de teste retido sobre os harnesses iniciais em 15,2% a 50,0% entre os benchmarks:
- SWE-Bench Verified: 45,0% $\to$ 57,0% (melhoria relativa de 26,7%).
- Terminal-Bench 2.0 Verified: 17,6% $\to$ 26,5% (melhoria relativa de 50,0%).
- GAIA: 43,3% $\to$ 61,7% (melhoria relativa de 42,3%).
- AppWorld: 36,7% $\to$ 42,2% (melhoria relativa de 15,2%).
Comparação com Baselines: O HARNESSFIX superou todos os baselines de autoevolução e os harnesses mais fortes desenhados por humanos em cada benchmark. Por exemplo, no SWE-Bench, resolveu 57 tarefas comparado a 48 do melhor harness desenhado por humanos (Trae-Agent).
Estudo de Ablação: A remoção de componentes chave degradou significativamente o desempenho:
- Reparo apenas de prompt falhou em melhorar o Terminal-Bench e rendeu ganhos mínimos em outros lugares, destacando a insuficiência de orientação suave isolada.
- Sem diagnóstico baseado em traços, resultou em melhorias intermediárias, mas ficou atrás do sistema completo, confirmando a necessidade de atribuição precisa ao nível de passo.
- Sem operadores de reparo escopados, levou a regressões, demonstrando a necessidade de restringir edições a operadores específicos.
- Sem aceitação consciente de regressão, reduziu as pontuações finais, provando que a validação é crítica para converter candidatos úteis em mudanças de harness seguras.

5. Significância e Alegações

O artigo afirma que o reparo de harness é um desafio distinto e crítico da otimização de prompts. A significância do HARNESSFIX reside em sua capacidade de:

Ponte entre o Tempo de Execução e o Estático: Ao usar HTIR, ele mapeia efetivamente falhas de execução dinâmica de volta aos artefatos de implementação de harness estático.
Permitir Reparo Direcionado e Seguro: O uso de operadores de reparo escopados e validação consciente de regressão permite modificações profundas em mecanismos de tempo de execução (interfaces de ferramentas, guardas de ciclo de vida, observabilidade) sem a instabilidade associada à autoedição recursiva.
Generalizar Através de Domínios: O sucesso do framework em diversos domínios (engenharia de software, fluxos de trabalho de terminal, QA de pesquisa e automação de aplicações) sugere que o reparo de harness baseado em traços é uma abordagem generalizável para melhorar a confiabilidade do agente.
Revelar Falhas Sistêmicas: A análise revela que diferentes domínios de tarefas estressam diferentes camadas de harness (ex: AppWorld estressa Verificação e Ciclo de Vida, enquanto GAIA estressa Interface de Ferramenta e Observabilidade), sugerindo que a engenharia de agentes eficaz requer o ajuste de harness específico para o domínio, em vez de uma engenharia de prompt de tamanho único.

Os autores concluem que, à medida que os agentes enfrentam tarefas cada vez mais complexas, o harness torna-se o determinante primário da confiabilidade do sistema, e o HARNESSFIX fornece um método sistemático para diagnosticar e reparar essas falhas de infraestrutura.