Resumo Técnico: Harness-R1

Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLM) implantados em ambientes dinâmicos acumulam trajetórias de interação que contêm tanto experiências bem-sucedidas quanto falhas sistemáticas (ex: uso indevido de ferramentas, perda de estado, violações de protocolo). Embora as abordagens atuais para a melhoria de agentes foquem primariamente na atualização dos pesos do modelo via ajuste fino (fine-tuning) ou aprendizado por reforço, o "harness do agente" — o código de tempo de execução executável que constrói o contexto, media ferramentas, valida ações e gerencia a recuperação — permanece tipicamente estático.

Modificar este harness é crítico porque pesos de modelos idênticos podem gerar capacidades vastamente diferentes sob diferentes configurações de harness. No entanto, a modificação direta do harness é pouco confiável. Regras fixas (ex: Self-Refine) frequentemente degradam o desempenho, e solicitar a modelos de fronteira de grande escala que editem o harness resulta em ganhos instáveis, pois esses modelos otimizam para plausibilidade textual em vez de sucesso na tarefa verificada. O desafio central é desenvolver um método que aprenda a editar um tempo de execução executável existente com base em falhas observadas do agente, garantindo que as edições sejam validadas por melhorias reais de desempenho, em vez de apenas raciocínio teórico.

Metodologia: Harness-R1

O Harness-R1 introduz um paradigma de treinamento que trata a edição de harness como um problema de aprendizado por reforço (RL) online para um modelo dedicado de "engenheiro de harness", mantendo o agente alvo congelado. O sistema opera em um ciclo de falha-edição-reexecução:

1. Formulação do Problema

• Alvo Congelado: O agente alvo $A$ (modelo + runtime base) permanece fixo.
• Pacotes de Falha: Um lote de tarefas $B$ é executado, e um extrator determinístico compila episódios falhos em "pacotes de falha" ($s_B$) contendo restrições da tarefa, trechos de ação-observação e resultados.
• O Engenheiro ($H_\theta$): Um modelo dedicado de 9B atua como o editor. Ele lê um pacote de falha e gera uma sobreposição executável (patch) $P$.
• Hooks Executáveis: O patch $P$ envolve o ciclo de vida do agente em quatro pontos específicos sem alterar os pesos do modelo:
  1. Inicialização do Episódio: Configura o contexto e o estado.
  2. Pré-Decisão: Aumenta o contexto com orientação/restrições.
  3. Pré-Ação: Valida, reescreve ou veta ações propostas.
  4. Pós-Feedback: Inspeciona observações e dispara a recuperação.
• Sinal de Recompensa: O alvo com o patch reexecuta o mesmo lote de tarefas. A recompensa é a diferença no desempenho ($\Delta_B$) entre as execuções com e sem o patch. Isso cria um objetivo transdutivo de mesmo lote onde a recompensa é não diferenciável e observável apenas após a execução.

2. Pipeline de Treinamento

O Harness-R1 emprega um processo de treinamento de dois estágios:

• SFT de Cold-Start Supervisionado: Um modelo professor forte propõe respostas de edição a partir de pacotes de falha. Estas são validadas contra o alvo congelado; apenas patches executáveis e não regressivos são retidos para formar um conjunto de dados para inicializar a política do engeniro.
• Otimização de Política de Grupo Relativa ao Resultado (GRPO) Baseada em Resultado:
  • O engenheiro amostra $K$ candidatos a patches para um pacote de falha.
  • Cada candidato é validado e instalado; o alvo congelado reexecuta o lote de tarefas.
  • As recompensas são normalizadas dentro do grupo de $K$ candidatos para calcular as vantagens.
  • Os parâmetros do engeniro são atualizados para maximizar o objetivo substituto clipado de média de tokens, otimizando pela utilidade realizada dos patches.

Principais Contribuições

1. Formulação: O artigo formula a edição de harness em todo o ciclo de vida condicionada à falha como um problema de RL online para um engenheiro dedicado, distinto da atualização de pesos do modelo.
2. Framework Harness-R1: Propõe um sistema que combina SFT de cold-start com GRPO baseado em resultado. Diferente de trabalhos anteriores que usam editores para busca de programas ou seleção de candidatos, o Harness-R1 atualiza diretamente a política do editor com base nos resultados de execução de seus patches no alvo congelado.
3. Coevolução: O método demonstra que um engenheiro de harness e um agente alvo podem coevoluir. Um engenheiro treinado em um alvo vanilla melhora-o, e um engenheiro re-treinado pode melhorar ainda mais um alvo que já passou por ajuste fino direto.

Resultados Experimentais

O método foi avaliado em três benchmarks interativos: WebShop (navegação web), ALFWorld (tarefas de texto incorporadas) e DBBench (consultas de banco de dados).

• Ganhos de Desempenho (Alvo Vanilla): Para um agente Qwen3.5-9B vanilla, o Harness-R1 aumentou a taxa média de sucesso de 44,3% para 53,6% (+9,3 pontos percentuais). Isso superou estratégias baseadas em prompts (ex: Self-Refine, que reduziu o desempenho) e modelos de fronteira usados como editores (ex: GLM-5.2 com 48,8%).
• Ganhos de Desempenho (Alvo Ajustado): Após o ajuste fino direto do agente alvo (elevando a linha de base para 59,2%), um engenheiro Harness-R1 específico para o alvo aumentou o sucesso para 64,2% (+5,0 pontos), demonstrando que a otimização de harness permanece eficaz mesmo após a atualização dos pesos do modelo.
• Generalização:
  • Cross-Model: A política de edição aprendida transferiu-se para 20 modelos alvo não vistos (variando de 1B a 70B parâmetros entre as famílias Llama, Gemma e Qwen), gerando ganhos positivos em cada alvo sem necessidade de novo ajuste por alvo.
  • Cross-Task: Usando evidências de falha esparsas (10 falhas), o engenheiro gerou patches que melhoraram tarefas não testadas em +8,9 pontos, superando significativamente modelos de fronteira de grande escala que mostraram resultados negativos ou instáveis em dados não vistos.
• Ablação: Remover hooks específicos do ciclo de vida (ex: mediação pré-ação ou recuperação pós-feedback) reduziu o desempenho, confirmando que os ganhos estão distribuídos ao longo do ciclo de vida do agente e dependem do ambiente específico.

Significância e Alegações

O artigo postula que a construção de harness é uma capacidade aprendível que complementa as atualizações tradicionais de pesos. Sua principal significância reside na mudança do alvo de otimização do processo de decisão interno do agente (pesos) para os mecanismos externos de tempo de execução (harness).

• Confiabilidade sobre Plausibilidade: Os autores argumentam que solicitar a grandes modelos que editem código é pouco confiável porque otimiza para "parecer correto". O Harness-R1 aprende de resultados realizados, garantindo que as edições sejam genuinamente benéficas.
• Adaptabilidade: Ao contrário de estratégias fixas (ex: Self-Refine) que aplicam regras uniformes, o Harness-R1 gera edições condicionadas a modos de falha específicos, adaptando-se às fraquezas únicas do agente alvo.
• Coevolução: Os resultados sugerem um caminho para agentes que melhoram continuamente após a implantação, não apenas através do retreinamento do modelo, mas evoluindo o ambiente de execução que o rodeia. O artigo conclui que esta abordagem permite que o engenheiro e o alvo coevoluam, oferecendo um caminho robusto para a melhoria do agente pós-implantação.