Resumo Técnico: Engenharia de Harness como Arquitetura Categórica

1. Declaração do Problema

A engenharia de "harnesses de agentes" — a camada de sistema composta por prompts, ferramentas, memória e lógica de orquestração que envolve Modelos de Linguagem de Grande Escala (LLMs) — tornou-se o determinante primário da confiabilidade dos agentes. No entanto, o design atual de harnesses permanece ad hoc, carecendo de uma teoria formal para composição, preservação de propriedades sob compilação ou comparação sistemática entre frameworks. Os praticantes dependem de tentativa e erro em vez de garantias estruturais, levando a uma lacuna onde engenheiros constroem sem verificação formal e teóricos formalizam sem fundamentação prática.

2. Metodologia

O artigo propõe uma unificação formal de dois frameworks existentes:

1. Os Pilares de Externalização (Zhou et al.): Memória, Habilidades, Protocolos e Engenharia de Harness.
2. A Categoria ArchAgents (De los Riscos et al.): Uma tripla de Arquitetura $(G, Know, \Phi)$ representando fiação sintática, conhecimento estrutural e mapas de implantação.

A metodologia central envolve mapear os quatro pilares de externalização diretamente para os componentes da tripla de Arquitetura:

• Memória $\rightarrow$ Estado Coalgebraico: Modelado como um sistema dinâmico com regras de atualização (ex: rastreamento de memória bi-temporal distinguindo tempo válido vs. tempo de registro).
• Habilidades $\rightarrow$ Objetos Compostos por Operad: Capacidades procedurais compostas via um operad (operações em série, paralelas, de rastreamento) para garantir que a composição tipada preserve propriedades.
• Protocolos $\rightarrow$ Fiação Sintática ($G$): Um grafo de módulos com portas tipadas e rótulos de integridade (lentes, prismas, travessias).
• Harness $\rightarrow$ Arquitetura Completa $(G, Know, \Phi)$: O sistema completo onde garantias estruturais são codificadas como certificados de nível Know.

Mecanismo Chave: Preservação de Certificados
O artigo define uma garantia estrutural como um certificado $(\tau, \sigma, evds)$ — um teorema, mapeamento de parâmetros e evidência reproduzível. Um compilador (morfismo) entre frameworks é válido apenas se preservar esses certificados. A preservação é verificada não pela verificação da correção da saída do modelo, mas por reprodução estrutural: garantindo que o teorema, os parâmetros e a evidência sobrevivam à compilação e possam ser re-verificados mecanicamente no framework de destino.

3. Contribuições Principais

• Correspondência Formal: Estabelece que os quatro pilares da externalização de agentes mapeiam precisamente para a tripla de Arquitetura categórica, fornecendo uma base matemática para a engenharia de harnesses.
• Invariante de Preservação de Certificados: Introduz um mecanismo onde garantias estruturais (ex: portas de integridade, escalonamento baseado em qualidade) são tratadas como artefatos reproduzíveis independentes do modelo ou framework subjacente.
• Implementação de Referência (Operon): Uma implementação concreta apresentando:
  • Cinco funtores compiladores direcionados a Swarms, DeerFlow, Ralph, Scion e LangGraph.
  • Um compilador LangGraph que cria um nó por estágio, chamando o método nativo run_single_stage() para garantir zero reimplementação da lógica do harness enquanto mantém a observabilidade.
  • Um catálogo de habilidades atômicas baseado nas cinco habilidades de codificação de Ma et al., mapeadas para composições de operad.
• Validação Empírica:
  • Verificação do Compilador: Demonstrou-se que três tipos nomeados de certificados (portas de prioridade, nenhuma ativação falsa, nenhuma oscilação) são preservados com 100% de identidade e verificação em todos os cinco alvos de compilador.
  • Parametricidade do Modelo: Um experimento de escalonamento mostrou que um caminho de controle baseado em qualidade (escalando de um modelo rápido para um modelo profundo com base em uma pontuação de verificador) funciona corretamente independentemente do modelo específico utilizado, confirmando que o harness é model-paramétrico.

4. Resultados

• Preservação Estrutural: Em cinco frameworks de orquestração diferentes, os funtores compiladores preservaram com sucesso a estrutura do grafo e os invariantes de certificado. As garantias estruturais sobreviveram à compilação porque dependem de ganchos e parâmetros preservados, não de topologias de grafo específicas.
• Controle de Escalonamento: Em um experimento com dois modelos e uma tarefa, um mecanismo de escalonamento baseado em qualidade acionou com sucesso uma troca de um modelo Phi-3 Mini (rápido) para um modelo Gemma 4 (profundo) quando a qualidade caiu abaixo de um limite. Isso confirmou que a lógica de controle reside na estrutura do harness ($Know$), e não no modelo.
• Limitações do SWE-bench-lite (Resultados Negativos):
  • Experimentos no SWE-bench-lite usando modelos de 8B parâmetros (Gemma 4 e DeepSeek-R1 destilado) revelaram um teto de disciplina de formato.
  • Apesar da fundamentação (fornecimento de contexto do repositório) e de um loop de repetição de correção de formato, 0/30 submissões foram resolvidas.
  • O modo de falha dominante foi a incapacidade de produzir diffs compatíveis com git apply válidos (ex: extrações vazias, cabeçalhos de hunk malformados), e não erros de seleção de arquivo.
  • O artigo conclui que, na escala de 8B, a capacidade do modelo de emitir formatos de diff corretos é a restrição vinculante, e a decomposição em três estágios não relaxa essa restrição. O valor do harness neste contexto limita-se à preservação e reutilização de primitivas, não a ganhos na resolução de tarefas neste benchmark específico com esses tamanhos de modelo.

5. Significado e Alegações

O artigo alega que a arquitetura categórica é a teoria formal por trás da engenharia de harnesses. Seu significado reside em:

1. Mudança da Abstração: Deslocar o foco do design "centrado no modelo" para o design "centrado no harness" com garantias formais.
2. Portabilidade: Provar que garantias estruturais podem ser preservadas entre diferentes frameworks de software (ex: de um "Organismo" personalizado para LangGraph) via morfismos que preservam estrutura.
3. Independência do Modelo: Demonstrar que certificados estruturais (Know) são distintos dos mapas de implantação ($\Phi$), permitindo que a mesma lógica de harness execute em modelos diferentes sem perder suas propriedades de integridade.

Os autores declaram explicitamente modéstia quanto aos resultados: o valor demonstrado está na preservação (identidade do certificado entre compiladores) e na reutilização de primitivas (lógica de escalonamento), e não em alcançar resolução superior de tarefas no SWE-bench-lite com modelos locais atuais de 8B. O trabalho preenche a lacuna entre a teoria categórica teórica e a engenharia prática de agentes, fornecendo um vocabulário e um conjunto de ferramentas para definir e verificar propriedades de harnesses.