Resumo Técnico: Co-Harness: Co-Evolução de Harnesses e Pesos de Modelos para Agentes de LLM

1. Definição do Problema

O pós-treinamento de agentes para pesquisa automatizada de IA envolve tradicionalmente a otimização dos parâmetros do modelo enquanto se trata o sistema de tempo de execução — o "Harness" (Arreio/Estrutura) — como um andaime fixo e estático. O Harness engloba prompts, ferramentas, habilidades, middleware, políticas de memória e lógica de tentativa de reexecução (retry). Os pipelines atuais criam um desajuste fundamental: o modelo é atualizado via ajuste fino supervisionado (SFT) ou aprendizado por reforço baseado em trajetórias geradas por um Harness estático, mas o próprio Harness nunca é otimizado com base nas falhas observadas durante o treinamento.

Essa assimetria leva a um gargalo onde um andaime subótimo (ex: prompts ambíguos, esquemas de ferramentas incorretos, falta de ganchos de retry ou estouro de memória) impede a geração de trajetórias de treinamento de alta qualidade. Consequentemente, o modelo não consegue aprender a superar essas limitações ambientais, e o Harness fixo torna-se um teto para o desempenho do agente, particularmente em configurações complexas de Raciocínio Integrado a Ferramentas (TIR), onde um único erro de esquema pode abortar toda uma sessão de múltiplos turnos.

2. Metodologia: Estrutura Co-Harness

Os autores propõem o Co-Harness, uma estrutura de duplo loop que otimiza conjuntamente o Harness do agente ($\phi$) e os parâmetros do modelo ($\theta$) através de um processo alternado. A hipótese central é que um melhor Harness produz trajetórias mais limpas e informativas, que treinam um modelo mais forte; este modelo mais forte, por sua vez, expõe gargalos de nível superior do Harness que eram anteriormente invisíveis, permitindo novos aprimoramentos no andaime.

A estrutura opera em dois loops alternados por rodada $t$:

A. O Loop Co-Harness (Otimização do Harness)

Nesta fase, o modelo $\theta_t$ é mantido fixo enquanto o Harness $\phi_t$ é evoluído.

1. Coleta de Falhas: O agente executa tarefas sob $(\theta_t, \phi_t)$, coletando um conjunto de trajetórias falhas $F^-_t$.
2. Análise HarnessCritic: Um componente baseado em LLM, o HarnessCritic ($C$), analisa essas falhas. Ele atribui cada falha a uma causa raiz estruturada dentro da configuração do Harness (ex: ambiguidade de prompt, erro de esquema de ferramenta, habilidade ausente, incompatibilidade de middleware ou estouro de memória).
3. Geração de Diff e Validação: O HarnessCritic propõe patches locais (diferenças) para o Harness. Esses patches são validados pela execução de testes de "rollout" para garantir que melhorem o modo de falha visado sem causar regressão em comportamentos retidos.
4. Atualização do Registro: Patches validados são registrados em um registro de Harness versionado, atualizando a configuração ativa para $\phi^*_t$.

B. O Loop de Alinhamento do Modelo (Otimização do Modelo)

Nesta fase, o Harness evoluído $\phi^*_t$ é mantido fixo enquanto o modelo é atualizado.

1. Coleta de Trajetórias de Alta Qualidade: O modelo atual $\theta_t$ é executado sob o Harness melhorado $\phi^*_t$ para gerar um novo conjunto de dados $D_t$ de trajetórias de alta qualidade.
2. Ajuste Fino Supervisionado (SFT): O modelo é ajustado finamente sobre $D_t$ para internalizar os comportamentos possibilitados pelo andaime melhorado, resultando em um modelo atualizado $\theta_{t+1}$.
3. Iteração: O novo modelo $\theta_{t+1}$ e o Harness evoluído $\phi^*_t$ tornam-se o ponto de partida para a próxima rodada, onde o modelo mais forte pode revelar novas e mais complexas limitações do Harness.

Taxonomia de Atribuição de Falhas

O HarnessCritic classifica as falhas em cinco dimensões acionáveis do Harness e um rótulo de abstenção:

• Ambiguidade de Prompt ($P$): Subespecificação de instrução ou objetivos conflitantes.
• Erro de Esquema de Ferramenta ($T$): Chamadas de ferramenta inválidas, esquemas de argumentos ruins ou incompatibilidades de backend.
  ando Habilidade Ausente ($S$): Ausência de rotinas reutilizáveis ou primitivas de decomposição.
• Incompatibilidade de Middleware ($Mid$): Protocolos de loop falhos, comportamentos de hooks ou lógica de gerenciamento de contexto.
• Estouro de Memória ($M$): Estouro de estado persistente, memória obsoleta ou falhas de recuperação.
• Erro do Agente: Casos em que a falha é intrínseca ao raciocínio do modelo, e não ao Harness.

3. Principais Contribuições

1. Formulação de Otimização Conjunta: O artigo formula o pós-treinamento de agentes como um problema de otimização conjunta sobre os pesos do modelo e o Harness de tempo de execução, indo além do paradigma de tratar prompts e ferramentas como infraestrutura fixa.
2. HarnessCritic: A introdução de um procedimento baseado em falhas que realiza a atribuição estruturada de erros a componentes específicos do Harness e propõe diffs locais validados para reparo.
3. Mecanismo de Ganhos Compostos: A demonstração de que a evolução alternada do Harness e o Alinhamento do Modelo criam um loop de feedback positivo, onde melhorias no andaime levam a melhores dados de treinamento, que por sua vez geram modelos mais fortes capazes de alavancar um scaffolding ainda mais sofisticado.

4. Resultados Experimentais

A estrutura foi avaliada em tarefas de Raciocínio Integrado a Ferramentas (TIR) usando benchmarks matemáticos (AIME 2024, AIME 2025, HMMT 2025) e duas escalas de modelo (Qwen3-8B e Qwen3-32B).

• Ganhos de Desempenho: Duas rodadas de coevolução Co-Harness resultaram em um aumento médio de precisão de +20,4 pontos percentuais (pp) nos benchmarks e escalas de modelo em comparação com o baseline (um Harness evoluído uma única vez sem SFT do modelo).
  • O maior ganho foi observado no benchmark mais difícil (HMMT 2025) para o modelo Qwen3-32B, com uma melhoria de +27,2 pp.
  • O sistema superou configurações de Harness estáticas e cuidadosamente desenadas à mão em uma média de +24,7 pp.
• Estudo de Caso Autônomo: Em uma execução autônoma de mais de 200 horas no AIME 2024, o sistema:
  • Recuperou-se de um crash inicial do sistema (erro de vllm KV cache).
  • Melhorou a eficiência de inferência em 8,7× (reduzindo o tempo de parede de 3,78h para 1,11h) através de inferência de lote global.
  • Descobriu uma estratégia de ensemble (votação majoritária de sementes diversas) que alcançou a melhor precisão (63,3%) dentro do orçamento de tempo, tudo sem intervenção humana.
• Robustez: O sistema detectou e reverteu com sucesso regressões (ex: prompts de domínio específico que conflitavam com o raciocínio interno do modelo) usando seu registro controlado por versão.

5. Significância e Alegações

O artigo argumenta que o Co-Harness aborda uma limitação crítica no desenvolvimento de agentes atual: o desacoplamento do treinamento do modelo do ambiente que gera os dados de treinamento. Ao tratar o Harness como uma variável aprendível em vez de um andaime estático, o Co-Harness permite a auto-melhoria composta.

Os autores afirmam que esta abordagem realiza uma "espiral de feedback positivo" onde:

1. Um melhor Harness produz um uso de ferramentas mais limpo e menos crashes evitáveis.
2. Essas trajetórias mais limpas treinam um modelo mais forte.
3. O modelo mais forte pode explorar configurações de Harness mais ricas e complexas que antes eram inutilizáveis.

Isso contrasta com trabalhos anteriores que ou otimizam o modelo para um Harness fixo (SFT/RL padrão) ou otimizam o Harness para um modelo fixo (busca em tempo de inferência). O Co-Harness é apresentado como a primeira estrutura que co-evolui ambos, sugerindo que a interdependência entre o scaffolding e os pesos do modelo é um eixo primário para melhorar as capacidades dos agentes além do pós-treinamento de harness fixo.

Limitações observadas pelos autores: A abordagem requer um LLM crítico capaz, um volume suficiente de trajetórias de falha para o cold-start e computação significativa para múltiplas rodadas de SFT. Além disso, a precisão da atribuição pode degradar para modos de falha que exigem raciocínio contrafactual complexo, e o redesenho estrutural do Harness continua sendo uma responsabilidade humana.