Resumo Técnico: Escalando a Inteligência de Harness via Evolução de Harness Just-in-Time

1. Declaração do Problema

A capacidade de um agente de LLM não é determinada unicamente pelos pesos do modelo de fundação, mas é definida conjuntamente pelo harness do agente — o arcabouço operacional que compreende o gerenciamento de memória, estratégias de planejamento, protocolos de ação e orquestração de ferramentas/habilidades. Embora um modelo forte possa falhar sob um harness inapropriado, um harness robusto só pode desbloquear o potencial se o modelo puder interpretar e seguir o seu comando.

As abordagens atuais para a otimização de harness dependem predominantemente de métodos Ahead-of-Time (AOT). Esses sistemas tratam o harness como um artefato durável otimizado sobre um fluxo de experiência para generalizar em tarefas futuras. No entanto, abordagens AOT lutam contra a dependência de instância: diferentes tarefas (ex: busca ampla vs. tarefas terminais vs. pesquisa profunda) exigem priors de harness fundamentalmente diferentes. Otimizar um único harness AOT através de demandas heterogêneas é trabalhoso, exigindo grandes espaços de design e acumulação de trajetórias, muitas vezes falhando em corresponder à estrutura específica de um novo problema. O artigo postula que o design de harness deve mudar de uma tarefa de engenharia manual e estática para uma capacidade Just-in-Time (JIT), onde um meta-agente treinado sintetiza um harness específico para a tarefa sobre a marcha.

2. Metodologia: JIT-Agent

Os autores propõem o JIT-Agent, um meta-agente compacto projetado para sintetizar, reparar e evoluir harnesses adaptáveis a tarefas para quaisquer LLMs agenticos off-the-shelf.

2.1 Formalização: O Protocolo de Quatro Módulos

Para tornar a geração de harness viável e estruturada, o artigo formaliza o harness do agente como um artefato composível e gerável por máquina, governado por um protocolo fixo de quatro módulos $\Pi = (M, P, A, F)$:

1. Memória ($M$): Comprime o histórico em uma visão ($v_t$) do histórico realizado.
2. Planejamento ($P$): Converte a visão em uma diretriz local ($d_t$).
3. Orquestração de Capacidade ($F$): Seleciona e sequencia ferramentas/habilidades relevantes ($C_t$) com base na diretriz.
4. Ação ($A$): Consome o contexto montado para atualizar o estado do controlador e emitir a próxima ação ($e_t$).

Essa fatoração transforma programas heterogêneos em coordenadas comparáveis dentro de um espaço compatível com o protocolo ($H_\Pi$). Os autores introduzem o HarnessFactory, um codebase unificado que implementa 13 scaffolds contemporâneos representativos (ex: ReAct, Plan-and-Execute, agentes recursivos) sob esta interface comum para servir como um banco de sementes ($B_0$).

2.2 Pipeline de Treinamento

O JIT-Agent é treinado via um pipeline de três estágios para alcançar Inteligência de Harness (adaptabilidade, confiabilidade e evolutividade):

• Estágio I: Customização Condicionada à Tarefa

  • Objetivo: Ensinar o modelo a mapear uma especificação de tarefa e um pequeno contexto de referência para um harness compatível com o protocolo.
  • Método: Um modelo professor mais forte e congelado sintetiza harnesses adaptados à tarefa. Os dados de treinamento incluem tanto o ajuste fino supervisionado (SFT) em gerações válidas quanto aprendizado de preferência. O objetivo de preferência ($L_{pref}$) otimiza harnesses que melhorem a recompensa da tarefa sem degradar a eficiência (latência ou custo), usando uma regra de preferência do tipo Pareto.

• Estágio II: Reparando Harnesses

  • Objetivo: Garantir a confiabilidade ao aprender a recuperar-se de falhas de síntese.
  • Método: Gerações falhas (erros de compilador, incompatibilidades de interface, exceções de tempo de execução) são convertidas em trajetórias de reparo limitadas. Um professor propõe revisões estruturadas ($\Delta$) para corrigir o harness. O modelo é treinado para imitar essas transições de reparo, aprendendo a usar o feedback de execução para restaurar a execução válida do protocolo dentro de um horizonte curto (máximo de 2 rodadas).

• Estágio III: Otimização de Política de Grupo Desacoplada Evolutiva (Evo-GDPO)

  • Objetivo: Permitir a evolução online onde o modelo aprende a propor harnesses que superem a fronteira do arquivo atual.
  • Método: Durante o treinamento, o modelo propõe um grupo de candidatos a harnesses. Estes são avaliados contra um incumbente (o melhor harness no banco atual para aquela tarefa). O sinal de recompensa é desacoplado em três canais:
    1. Recompensa: Sinal primário; os candidatos devem igualar ou exceder a recompensa do incumbente.
    2. Latência e Custo: Sinais de eficiência ativados apenas se a recompensa for preservada.
  • A política é atualizada usando um objetivo do tipo PPO impulsionado por uma vantagem agregada e normalizada que recompensa a superação da fronteira enquanto mantém a eficiência. O banco de harnesses ($B_n$) é atualizado de forma conservadora, retendo apenas designs que avançam a fronteira.

2.3 Arquitetura de Inferência

O JIT-Agent suporta dois modos de inferência:

• Inferência Estática: Gera $N$ harnesses em paralelo, seleciona um e o executa. Útil para maximizar a diversidade de candidatos sem aumentar os rollouts do ambiente.
• Inferência de Streaming: Projetada para fluxos de tarefas. O modelo recupera referências de um banco em evolução, gera um harness, executa-o e atualiza o banco com base no feedback. Isso permite que a experiência seja transferida entre tarefas sem atualizar os parâmetros do modelo durante a implantação.

3. Resultados Principais

O artigo avalia o JIT-Agent através de nove benchmarks cobrindo pesquisa profunda, trabalho diário, planejamento e tarefas de workspace, utilizando backbones incluindo GLM-5.2, DeepSeek-V4-Flash, Qwen3.6 e Mimo-V2.5.

• Ganhos de Desempenho: Substituir scaffolds padrão por harnesses gerados via JIT produz melhorias consistentes.

  • GLM-5.2: Melhoria média de +7,7 pontos em nove benchmarks. Ganhos notáveis incluem +20,2 em DeepPlanning-Travel e +4,3 em OdysseyBench.
  • DeepSeek-V4-Flash: Melhoria média de +8,8 pontos. Supera o GPT-5.6 em DeepSearchQA (+9,1).
  • Generalização: O JIT-Agent melhora o desempenho em todas as famílias de modelos testadas (DeepSeek, Qwen, Mimo) e variantes (Flash/Pro), indicando que a capacidade é transferível entre pesos de modelos.

• Competitividade com Harnesses Fixos:

  • Harnesses gerados via JIT são competitivos em desempenho com runtimes maduros como OpenCode e Claude Code.
  • No DeepSeek-V4-Flash, o JIT-Agent supera o mais forte harness fixo (NanoBot) em +4,7 pontos no DeepSearchQA e +4,0 pontos no xBench-DS.

• Eficiência de Custo:

  • O JIT-Agent alcança o menor consumo de tokens e custo de API em todos os cenários controlados.
  • Comparado ao harness fixo mais barato, ele reduz os custos por caso em 14,9–54,1% (média de 36,0%) enquanto melhora o desempenho. Por exemplo, no DeepSeek-V4-Flash xBench-DS, o uso de tokens caiu de 527K para 212K enquanto o desempenho subiu de 78,0 para 82,0.
  • A análise da fronteira de Pareto mostra que o JIT-Agent desloca os pontos operacionais para o canto superior esquerdo (maior desempenho, menor custo), provando que os ganhos não se devem a trajetórias mais longas, mas a uma melhor orquestração.

• Evolução em Tempo de Teste:

  • O JIT de Streaming (que atualiza o banco de harnesses ao longo de um fluxo de tarefas) supera consistentemente o JIT Estático (gerações independentes) em acurácia cumulativa, demonstrando o valor de aprender com o feedback de execução.

4. Significância e Alegações

O artigo afirma estabelecer a Inteligência de Harness como uma nova dimensão treinável e transferível da capacidade de um agente, que é ortogonal ao escalonamento do modelo.

• Mudança de Paradigma: O trabalho move a engenharia de harness de "Ahead-of-Time" (otimizando um artefato estático) para "Just-in-Time" (sintetizando um arcabouço específico para a tarefa sobre a marcha).
• Modelo-como-um-Harness: Demonstra que um meta-agente treinado pode gerar scaffolds operacionais que permitem que backbones mais fracos ou eficientes rivalizem ou superem modelos mais fortes com harnesses fixos.
• Escalabilidade: Ao formalizar o harness como um protocolo composível e treinar um gerador para evoluí-lo, o artigo sugere um caminho para escalar a capacidade do agente através da otimização do próprio ambiente de execução, e não apenas através do escalonamento de parâmetros do modelo.
• Direção Futura: Os autores veem isso como um passo em direção ao Co-Design Modelo-Harness, onde modelos de fundação podem eventualmente internalizar a habilidade de construir, revisar e evoluir seus próprios sistemas de execução.

O artigo conclui que a inteligência de harness não é meramente um detalhe de implementação, mas um determinante de primeira ordem do desempenho do agente, capaz de recuperar uma capacidade substancial que, de outra forma, exigiria um escalonamento caro do backbone.