Resumo Técnico: HarnessForge

Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados em regimes de tarefas heterogêneos (ex: uso de ferramentas de múltiplos passos, raciocínio intensivo em recuperação, interação na web) que demandam paradigmas de execução distintos. As estratégias de adaptação existentes tipicamente sofrem de um "gap de compatibilidade" porque otimizam ou a estrutura de execução externa (o harness) ou o comportamento de raciocínio interno (a política) de forma isolada.

• Métodos de estilo busca (search-style) otimizam fluxos de trabalho externos, procedimentos de uso de ferramentas e gerenciamento de memória, mas frequentemente deixam a compatibilidade com o executor do lado do modelo implícita.
• Métodos de estilo treinamento (training-style) adaptam a política do modelo via aprendizado supervisionado ou aprendizado por reforço, mas tipicamente assumem um loop de interação fixo e externamente especificado.

Esta visão de nível de componente é insuficiente para a meta-adaptação de nível de sistema. Um harness mais expressivo pode falhar se o raciocinador não conseguir executar seus protocolos, enquanto uma política mais forte pode ser restringida por um harness que expõe estados inadequados. O artigo argumenta que a adaptação eficaz requer tratar o sistema de agente como um par acoplado harness–política e otimizar sua evolução conjunta para garantir a compatibilidade executável.

Metodologia: HarnessForge

HarnessForge é um framework meta-adaptativo que formula um sistema de agente LLM $G$ como um par $(H, R_\delta)$, onde $H$ é o harness de execução editável e $R_\delta$ é um raciocinador adaptado (um modelo base $R_{\theta_0}$ com um adaptador leve $\delta$). O framework opera através de rodadas iterativas de co-evolução harness–política.

1. Formulação do Sistema

O harness $H$ é decomposto em três componentes da camada de execução:

• Planejamento ($P$): Decomposição de tarefas, replanejamento e terminação.
• Ação ($A$): Interfaces de ferramentas, atribuição de papéis e regras de orquestração.
• Memória ($M$): O que é escrito, recuperado, resumido e exposto para decisões futuras.

O raciocinador $R_\delta$ executa dentro das restrições de $H$. O objetivo é evoluir tanto $H$ quanto $\delta$ conjuntamente para maximizar um indicador de aptidão $J$ baseado no desempenho da tarefa, custo de tokens e latência.

2. Fluxo de Trabalho de Co-Evolução

Cada rodada de evolução $r$ alterna entre dois processos mutuamente reforçadores:

A. Ajuste de Harness Guiado por Falhas (Fault-Guided Harness Tailoring)

Em vez de busca aleatória, o HarnessForge utiliza um meta-agente para diagnosticar e refinar a estrutura do harness:

1. Atribuição de Falhas: O sistema avalia os pares harness–política atuais em um lote de tarefas. Um meta-agente analisa traços de execução (rollout traces) e estatísticas de execução para atribuir falhas especificamente aos componentes de Planejamento, Ação ou Memória.
2. Melhoria Guiada por Arquivo: Um arquivo histórico $Z$ de designs de harness e seus vetores de avaliação é mantido. O meta-agente recupera exemplares Pareto-ótimos relevantes para as falhas atuais e gera um relatório de melhoria.
3. Refinamento e Filtragem: Com base no relatório, o meta-agente gera candidatos de harness revisados (editando apenas $P, A, M$). Esses candidatos passam por um processo de filtragem Pareto estagiado e com orçamento (seleção de metade) para reter os sobreviventes mais promissores para a próxima etapa.

B. Alinhamento de Política Condicionado ao Harness (Harness-Conditioned Policy Alignment)

Uma vez selecionado um conjunto de harnesses sobreviventes, o framework alinha a política de raciocínio a eles:

1. Inicialização de Parentesco: Para cada harness sobrevivente, a política é inicializada a partir de sua linhagem de origem (dobrando o adaptador anterior).
2. Curadoria de Trajetórias: O framework reutiliza os traços de execução bem-sucedidos gerados durante a etapa de filtragem de harness. Ele não requer uma fase separada de coleta de dados.
3. Treinamento de Adaptador: Um novo adaptador LoRA, específico para o harness, é treinado via ajuste fino supervisionado (SFT) nas trajetórias bem-sucedidas curadas. A entrada inclui a instrução da tarefa, a interface ativa do harness, observações acumuladas e estado de memória, garantindo que a política aprenda a executar especificamente sob o harness evoluído.

Principais Contribuições

1. Reformulação da Adaptação: O artigo desloca a unidade de otimização de componentes isolados para o par harness–política, abordando explicitamente o gap de compatibilidade entre estruturas externas e raciocínio interno.
2. Framework HarnessForge: Um mecanismo de co-evolução meta-adaptativa que coordena o ajuste de harness guiado por falhas com o alinhamento de política condicionado ao harness. Isso garante que as melhorias estruturais no harness sejam correspondidas por adaptações na política.
3. Validação Empírica: Avaliação extensiva em cinco benchmarks (ToolHop, SearchQA, RestBench-TMDB, API-Bank) e dois modelos de base (Qwen3-4B, Qwen3-8B).

Resultados Experimentais

• Ganhos de Desempenho: O HarnessForge supera consistentemente tanto os baselines de estilo busca (ex: AFlow, AgentSquare, MaAS) quanto os baselines de estilo treinamento (ex: SFT, GRPO, RLOO).
  • Ele alcança uma melhoria média de 3,56% sobre o baseline mais forte em todas as métricas.
  • Atinge até 12,0% de melhoria em benchmarks específicos (ex: TMDB com Qwen3-4B).
• Estudos de Ablação: A remoção de qualquer um dos processos — ajuste de harness ou alinhamento de política — degrada consistentemente o desempenho. A lacuna aumenta ao longo das rodadas de evolução, confirmando que os ganhos derivam da co-evolução do par, e não de uma otimização independente.
• Eficiência: O HarnessForge demonstra trade-offs favoráveis entre rollout e desempenho. Diferente dos métodos de RL baseados apenas em política, que exigem orçamentos massivos de rollout para explorar comportamentos sob uma interface fixa, o HarnessForge reutiliza evidências de rollout para melhorar o harness e então alinha a política, alcançando resultados fortes com significativamente menos rollouts (ex: 12K rollouts para SFT vs. 45.6K para baselines baseados em RL na Rodada 3).
• Compatibilidade: A análise de combinações cruzadas de harnesses e políticas evoluídos mostra que pares combinados performam significativamente melhor do que pares desalinhados, validando que o framework induz ganhos de compatibilidade específicos do par, em vez de apenas produzir componentes genericamente mais fortes.

Significância e Alegações

O artigo alega que a compatibilidade executável entre o harness e a política de raciocínio é o fator crítico para a adaptação eficaz do sistema de agente. Ao tratar o agente como um sistema acoplado e evoluir a interface e o executor juntos, o HarnessForge permite que agentes se meta-adaptem a diversos regimes de tarefas de forma mais eficaz do que métodos que otimizam a estrutura ou a política isoladamente.

Os autores observam que, embora o framework seja atualmente avaliado em backbones de recursos limitados, onde o acoplamento é mais saliente (Qwen3-4B/8B), a magnitude desses ganhos para modelos de escala de fronteira permanece uma direção aberta. Adicionalmente, a implementação atual utiliza operadores de edição estruturada para a evolução do harness para garantir auditabilidade e executabilidade, embora trabalhos futuros possam explorar reescritas de código mais amplas.