Resumo Técnico: A Interação entre o Design do Harness e o Pós-treinamento em Agentes de LLM

Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) integrados a ferramentas dependem de um "harness" (suporte/arcabouço) — o código de andaime que determina quais ferramentas são expostas, como são descritas e quais informações auxiliares acompanham as observações. Embora os agentes sejam rotineiramente submetidos a pós-treinamento para melhorar o uso de ferramentas, a pesquisa existente trata o harness como um detalhe de engenharia fixo, tipicamente otimizado apenas em um regime livre de treinamento. Além disso, os algoritmos padrão de pós-treinamento assumem um ambiente de implantação estático, ignorando mudanças no mundo real tanto em distribuições de tarefas (por exemplo, mudar de agendamento de carga de trabalho para planejamento de itinerário) quanto em ambientes de ferramentas (por exemplo, mudanças em protocolos de invocação ou assinaturas de API).

O artigo aborda a lacuna na compreensão de como o design do harness interage com o pós-treinamento. Especificamente, investiga se os benefícios do design do harness se estendem à fase de pós-treinamento e como a informatividade do harness influencia a robustez do agente em configurações Out-of-Distribution (OOD), incluindo mudanças de tarefas e mudanças de ambiente de ferramentas.

Metodologia

Extensão do Benchmark: ALFWorld

Os autores estendem o ambiente de planejamento baseado em texto ALFWorld para servir como um benchmark controlado para tarefas de agentes integrados a ferramentas. A extensão modulariza três componentes principais para permitir uma análise sistemática:

1. Design do Harness: O harness é tratado como uma dimensão de design controlável, em vez de uma variável fixa.
2. Esquema da Ferramenta (Tool Schema): O ambiente suporta mudanças nos protocolos de invocação de ferramentas.
3. Tipo de Tarefa: O ambiente suporta mudanças nas distribuições de tarefas baseadas em níveis de dificuldade.

Variações de Harness

Três harnesses com níveis variados de informatividade foram instanciados:

• h-low (Baixo Esforço): Fornece orientação mínima. As ferramentas possuem descrições de uma linha no prompt do sistema, e o histórico por etapa contém apenas observações brutas.
• h-mid (Médio Esforço): Aumenta o histórico por etapa com uma lista de ferramentas válidas admissíveis no estado atual, mantendo as descrições de uma linha das ferramentas.
• h-high (Alto Esforço): Fornece descrições ricas de ferramentas (incluindo pré-condições e interações) e anexa o objeto que está sendo carregado ao histórico por etapa, eliminando a necessidade de verificações explícitas de inventário.

Mudanças no Ambiente de Ferramentas

Para simular mudanças de implantação, o esquema da ferramenta foi modificado:

• v1.0 (Base): Nomes originais das ferramentas do ALFWorld (ex: Go, Take).
• v1.1 (Mudança Leve): Nomes de ferramentas e parâmetros parafraseados (ex: Go $\to$ NavigateTo, receptacle $\to$ destination).
• v2.0 (Mudança Forte): Ferramentas consolidadas com base em similaridade estrutural/funcional (ex: fundindo NavigateTo, OpenContainer, CloseContainer em uma única ferramenta ReceptacleControl com um parâmetro de ação).

Configuração Experimental

• Modelos: Modelos de código aberto (Qwen2.5-3B-Instruct, Qwen2.5-7B-Instruct) e um modelo de código fechado (GPT-5 Mini).
• Algoritmos: Group-Relative Policy Optimization (GRPO) e Group-in-Group Policy Optimization (GiGPO).
• Regimes:
  • Zero-shot: Avaliação sem pós-treinamento.
  • In-distribution: Pós-treinamento e avaliação na mesma distribuição de tarefa/ferramenta.
  • OOD (Mudança de Ferramenta): Pós-treinamento em v1.0, avaliação em v1.1 ou v2.0.
  • OOD (Mudança de Tarefa): Pós-treinamento em um nível de dificuldade específico (ex: t-easy), avaliação em outros.
• Comparação: O estudo compara a aplicação de harness em "tempo de treinamento" (pós-treinamento com o harness presente) versus aplicação "post-hoc" (pós-treinamento sob h-low e aplicação de um harness mais rico apenas na avaliação).

Principais Contribuições

1. Harness como uma Variável Controlável: O artigo estabelece um framework para tratar o design do harness como uma variável explícita no pós-treinamento, indo além da suposição de que harnesses são detalhes de engenharia fixos.
2. Análise Sistemática de Informatividade: Fornece evidência empírica sobre como o nível de informação fornecido por um harness (de h-low a h-high) impacta tanto o desempenho in-distribution quanto a robustez OOD.
3. Tempo de Aplicação do Harness: Investiga se os harnesses devem ser aplicados durante o treinamento ou apenas na inferência, concluindo que a aplicação em tempo de treinamento é crítica.
4. Robustez a Mudanças: Demonstra que o pós-treinamento consciente do harness é um pré-requisito para a adaptação robusta a mudanças de ambiente de ferramentas e mudanças de tarefas, enquanto o pós-treinamento sob harnesses de baixo esforço leva ao colapso de desempenho sob mudanças fortes.

Resultados

Desempenho Zero-Shot e In-Distribution

• Melhoria Monotônica: A informatividade do harness melhora monotonicamente o desempenho zero-shot. Este ganho escala com a capacidade do modelo; por exemplo, o GPT-5 Mini mostra ganhos significativos com h-high.
• Extensão do Pós-treinamento: O ganho monotônico observado em configurações zero-shot estende-se ao pós-treinamento. Agentes pós-treinados sob h-high superam significativamente aqueles sob h-low, mesmo quando este último utiliza um modelo maior ou um algoritmo mais avançado (GiGPO).
• Comparação de Algoritmos: O GiGPO supera consistentemente o GRPO em todas as configurações, atribuído ao seu crédito de atribuição (credit assignment) mais fino em tarefas de longo horizonte.

Aplicação Post-Hoc vs. Tempo de Treinamento

• Lacuna Significativa: Aplicar um harness apenas após o pós-treinismo (post-hoc) recupera pouco do benefício em comparação com o treinamento com o harness em vigor.
• Impacto Quantitativo: Para o Qwen2.5-7B-Instruct com GRPO, a aplicação em tempo de treinamento de h-mid superou a aplicação post-hoc em 20,7 pontos percentuais. Isso indica que os agentes devem se adaptar à estrutura do harness durante o processo de aprendizagem.

Robustez OOD

• Mudança de Ambiente de Ferramentas:
  • Agentes pós-treinados sob h-low sofrem quedas drásticas de desempenho sob mudanças fortes de ambiente de ferramentas (v2.0). Por exemplo, o Qwen2.5-7B-Instruct com GRPO caiu de 55,6% (in-distribution) para 2,7% sob v2.0.
  • Em contraste, agentes pós-treinados sob h-high mantiveram alta validade em chamadas de ferramentas (95,7% de formato válido sob v2.0) e demonstraram robustez, embora tenha ocorrido alguma queda de desempenho devido a ações inadmissíveis (ações válidas em formato, mas incorretas para o estado).
  • Agentes h-low e h-mid geraram frequentemente erros de "Formato de ferramenta inválido" sob v2.0, indicando uma falha em generalizar para novos esquemas.
• Mudança de Tarefa:
  • A informatividade do harness impulsiona a transferência entre tarefas. Agentes pós-treinados sob h-high generalizaram significativamente melhor para categorias de tarefas não vistas (ex: de t-med para t-hard) comparados aos que estavam sob h-low.
  • Por exemplo, sob GiGPO, o desempenho na tarefa Cool (OOD) subiu de 0,0% com h-low para 51,4% com h-high.

Significância e Alegações

O artigo afirma que o design do harness e o pós-treinamento não podem ser tratados como escolhas de design separáveis. Os autores asseveram que:

1. O pós-treinamento consciente do harness é um pré-requisito para o desempenho robusto em agentes de LLM integrados a ferramentas, em vez de uma otimização suplementar.
2. O custo de projetar um harness informativo (ex: h-high) é indispensável para alcançar robustez OOD, particularmente contra mudanças de ambiente de ferramentas. Depender de harnesses de baixo esforço durante o treinamento leva a agentes frágeis que falham quando as condições de implantação mudam.
3. O harness deve ser especificado antes do pós-treinamento para permitir que o agente aprenda a dinâmica de transição específica e a estrutura de contexto que encontrará.

O estudo conclui que, embora os algoritmos de pós-treinamento existentes (como GRPO e GiGPO) sejam eficazes, seu sucesso em benchmarks anteriores (como o ALFWorld padrão) pode ter sido confundido pelo uso de harnesses altamente informativos e fixos que não foram explicitamente contabilizados como variáveis de design. Ao modelar explicitamente o harness, o artigo destaca que o desenvolvimento futuro de agentes robustos requer a consideração conjunta do andaime (scaffolding) e do algoritmo de aprendizagem.