Resumo Técnico: Da Resposta a Perguntas à Conclusão de Tarefas: Um Levantamento sobre Sistemas de Agentes e Design de Harness

1. Declaração do Problema

O campo dos agentes baseados em Grandes Modelos de Linguagem (LLMs) mudou da resposta passiva a perguntas (QA) para a conclusão ativa de tarefas de múltiplos passos. Embora os modelos de fronteira tenham alcançado a saturação em benchmarks estáticos (ex: MMLU, GPQA), eles exibem lacunas significativas de confiabilidade em tarefas agênticas interativas de longo horizonte (ex: SWE-bench, WebArena). O problema central abordado por este levantamento é a identificação da fonte dos gargalos de desempenho em sistemas de agentes. Os autores argumentam que o gargalo não reside mais apenas na capacidade de raciocínio do modelo de fundação, mas reside cada vez mais no harness de execução — a infraestrutura de tempo de execução que media a interação entre o modelo e o ambiente. O artigo postula que a qualidade do agente (sucesso, eficiência, segurança, generalização) é uma propriedade emergente do acoplamento entre o modelo e seu harness, em vez de ser uma função apenas do modelo.

2. Metodologia e Estrutura

O levantamento emprega uma lente modelo–harness para analisar a evolução da engenharia de agentes. Ele não propõe um novo algoritmo, mas sintetiza a literatura existente, benchmarks e relatórios industriais através de um framework conceitual específico:

• Visão Funcional vs. Implementação: O artigo distingue entre a definição funcional de um agente (um sistema de ciclo fechado orientado a objetivos que realiza percepção, raciocínio, ação e adaptação) e a visão de implementação (um LLM acoplado a um harness de execução).
• Decomposição Formal: O harness de execução ($H$) é formalizado como uma tupla de seis responsabilidades de tempo de execução acopladas:
  1. Interface de Observação ($I_{obs}$): Transformar sinais brutos do ambiente (logs, DOMs, diffs) em observações utilizáveis pelo modelo.
  2. Gerenciador de Contexto ($C$): Curar, comprimir e atualizar as informações que entram na janela de contexto do modelo.
  3. Loop de Controle ($L$): Orquestrar o ciclo observar-raciocinar-agir-feedback, incluindo agendamento de etapas, delegação e critérios de parada.
  4. Interface de Ação ($I_{act}$): Mapear saídas do modelo para operações executáveis (APIs, comandos de shell, chamadas de ferramentas).
  5. Armazém de Estado e Artefatos ($S$): Persistir o estado de execução, planos, checkpoints e artefatos gerados além da janela de contexto ativa.
  6. Verificação e Governança ($V$): Verificar resultados, aplicar restrições de segurança, gerenciar permissões e lidar com recuperação/rollback.
• Análise Evolutiva: A literatura é organizada em quatro paradigmas sequenciais de engenharia de agentes, analisando como o principal alavancador de desempenho mudou através dos estágios:
  1. Engenharia de Prompt: Otimizar instruções de turno único (abordando o problema da "expressão").
  2. Workflows e Engenharia de Contexto: Curar o ciclo de vida da informação e definições de ferramentas (abordando o problema da "informação").
  3. Engenharia de Harness: Projetar a infraestrutura de tempo de execução para execução baseada em feedback, persistência de estado e recuperação de erros (abordando o problema da "execução").
  4. Treinamento Nativo de Agente e Coevolução: Internalizar comportamentos agênticos (planejamento, verificação) nos parâmetros do modelo e evoluir o par modelo-harness conjuntamente.

3. Principais Contribuições

O levantamento faz três distinções primárias em relação ao trabalho anterior:

1. Síntese Focada na Evolução: Em vez de uma taxonomia estática de componentes, ele rastreia a migração dos gargalos de engenharia da otimização de prompts para o design de sistemas de tempo de execução e a futura coevolução.
2. Perspectiva Centrada no Harness: Trata o harness de execução como um objeto técnico de primeira classe, decompondo-o nos seis componentes de tempo de execução listados acima. Argumenta que o design do harness determina a confiabilidade e a eficiência mesmo quando o modelo subjacente é fixo.
3. Integração de Evidências Empíricas: Conecta benchmarks acadêmicos com práticas industriais, usando dados empíricos para demonstrar como as escolhas de design de tempo de execução (ex: modelagem de observação, gerenciamento de contexto) impactam diretamente o desempenho do agente.

Contribuições Específicas:

• Limites do Escalonamento Centrado no Modelo: O artigo analisa como o escalonamento do modelo gera retornos decrescentes em tarefas agênticas devido aos limites de recursos-desempenho e à saturação de medição em benchmarks estáticos.
• Mapeamento Tarefa-para-Harness: Mapeia propriedades da tarefa (horizonte, tipo de ambiente, nível de autonomia) para configurações específicas de harness. Por exemplo, tarefas de engenharia de software estressam a Verificação, enquanto tarefas de web/GUI estressam as interfaces de Observação e Ação.
• Análise de Benchmark: O levantamento fornece uma análise empírica detalhada do SWE-bench, Terminal-Bench e WebArena, demonstrando que:
  • O mesmo modelo de base pode alcançar diferenças de duas dígitos na precisão dependendo do harness.
  • Scaffolds mínimos (ex: mini-SWE-agent) podem às vezes igualar ou aproximar-se do desempenho de runtimes complexos e completos se o design da interface for ideal.
  • Pontuações reportadas por fornecedores frequentemente excedem os resultados de código aberto devido a otimizações de harness proprietárias, destacando a importância do "scaffold".

4. Resultados e Descobertas

• Impacto do Harness: Evidências empíricas do SWE-bench Verified mostram que, para um modelo fixo (ex: Claude 3.5 Sonnet), as taxas de resolução variam de ~33% a ~53% dependendo do harness. Da mesma forma, no Terminal-Bench 2.0, o mesmo modelo (ex: GPT-5.3-Codex) varia de 64,7% a 78,4% entre diferentes harnesses.
• Migração de Gargalo: À medida que as tarefas se tornam mais complexas (passando de L2 de curto horizonte para L4 de final aberto), o gargalo muda do raciocínio do modelo para a capacidade do harness de gerenciar estado, verificar resultados e recuperar-se de erros.
• Custo e Eficiência: Uma maior precisão frequentemente correlaciona-se com maiores custos de recursos (uso de tokens, latência, timeouts). O artigo observa que o "sucesso" é condicional à configuração do tempo de execução, incluindo orçamentos de tentativa (retry) e políticas de contexto.
• Multi-Modelo e Harnesses Aprendíveis: Tendências recentes mostram um deslocamento para runtimes composicionais (roteando diferentes modelos para planejamento, codificação e verificação) e harnesses aprendíveis onde as políticas de tempo de execução são otimizadas como artefatos.

5. Significância e Alegações

O artigo afirma que o campo ultrapassou o "craft de prompt" para o estudo de sistemas completos. Sua significância reside em redefinir o desenvolvimento de agentes:

• Qualidade do Agente é Emergente: Sucesso, eficiência e segurança não são inerentes ao modelo, mas emergem da interação entre a capacidade do modelo, a infraestrutura de tempo de execução, a estrutura da tarefa e o design de avaliação.
• Necessidade de Avaliação Consciente de Valor: Os autores defendem uma mudança de leaderboards centrados em pontuação para uma avaliação consciente de valor, que otimiza conjuntamente o sucesso da tarefa, custo, latência, segurança e qualidade do processo. Eles propõem uma função objetivo formal que equilibra a utilidade contra restrições de custo, latência e risco.
• Direção Futura: O levantamento identifica o caminho para o Treinamento Nativo de Agente, onde comportamentos de verificação e recuperação são internalizados nos parâmetros do modelo, e a Coevolução, onde o modelo e o harness são atualizados conjuntamente a partir de traços de execução. No entanto, nota modestamente que a fronteira entre o design do modelo e o design do sistema ainda está sendo renegociada, e a confiabilidade em cenários realistas permanece abaixo das necessidades de implantação.

Em conclusão, o levantamento argumenta que compreender o harness de execução é agora o desafio central na engenharia de agentes, pois ele governa como as capacidades do modelo são traduzidas em uma conclusão de tarefas confiável e de longo horizonte.