AgentHER: Hindsight Experience Replay for LLM Agent Trajectory Relabeling

1. O Problema: O Desperdício de Dados em Agentes LLM

Os agentes de Grandes Modelos de Linguagem (LLMs) enfrentam altas taxas de falha em tarefas do mundo real (ex: <15% de sucesso no WebArena e <55% no ToolBench). O problema central identificado pelos autores é o desperdício massivo de dados de treinamento.

• Abordagem Atual: Os pipelines de treinamento padrão descartam rotineiramente todas as trajetórias de execução que falham, utilizando apenas os exemplos de sucesso para Supervised Fine-Tuning (SFT).
• A Perda de Sinal: Com taxas de falha de 60–75%, a maioria dos dados coletados é jogada fora. No entanto, essas falhas não são ruído aleatório; frequentemente contêm execuções coerentes e resultados intermediários corretos, mas sob um objetivo (prompt) errado.
• Exemplo: Um agente que tenta "encontrar fio de cobre abaixo de $5/kg" e, ao falhar, identifica corretamente um fornecedor a $5.30/kg após analisar sete opções, realizou uma comparação de preços perfeita. O dado é útil, mas o objetivo original o marcou como falha.

2. Metodologia: AgentHER e o Princípio HER

O AgentHER adapta o princípio de Hindsight Experience Replay (HER), originalmente da Aprendizagem por Reforço (RL), para o domínio de agentes baseados em linguagem natural. A ideia central é: uma trajetória que falha no objetivo A é frequentemente uma demonstração correta para um objetivo alternativo B alcançável.

O sistema opera através de um pipeline automatizado de quatro estágios:

Estágio 1: Detecção de Falha (Failure Detector)

Classifica a trajetória falha em tipos específicos (ex: incompleta, violação de restrição, resultado errado, erro de ferramenta, alucinação).

• Mecanismo de Ponderação de Severidade: Utiliza uma pontuação de severidade ($w$) inspirada em análises de erro MQM. Trajetórias com falhas catastróficas (ex: alucinações graves) são descartadas, enquanto falhas recuperáveis são mantidas, mas com seu peso de perda de treinamento ajustado.

Estágio 2: Extração de Resultados (Outcome Extractor)

Extrai os fatos e realizações concretas da trajetória (dados numéricos, nomes de entidades, observações) para criar um "Replay Outcome".

• Objetivo: Ancorar a geração do novo prompt em fatos observados, prevenindo alucinações no novo objetivo.

Estágio 3: Relabeling do Prompt (Prompt Relabeler)

Um LLM sintetiza um novo prompt de objetivo ($\hat{g}$) que a trajetória original ($\tau$) satisfaz genuinamente.

• Restrições: O novo prompt deve ser natural, factualmente suportado pelas observações, não referenciar o prompt original falho e ter complexidade similar.
• Verificação Multi-Julgador (Multi-Judge): Para garantir alta precisão, um segundo LLM independente valida se a trajetória é uma demonstração válida do novo objetivo. Apenas se ambos concordarem com alta confiança, o rótulo é aceito.

Estágio 4: Aumento de Dados (Data Augmenter)

Converte o par validado (novo objetivo, trajetória) em formatos de treinamento:

• SFT (Supervised Fine-Tuning): Conversação de dois turnos.
• DPO (Direct Preference Optimization): Cria um par de "escolhido" (novo objetivo) vs. "rejeitado" (objetivo original), ensinando o modelo a preferir o objetivo correto para aquela execução.
• ShareGPT: Formato multi-turno compatível com frameworks comuns.

3. Contribuições Principais

1. Formulação Novel: Primeiro pipeline sistemático que aplica o HER a dados de agentes em linguagem natural, focando na síntese de prompts de objetivo alcançáveis (diferente de métodos que apenas reutilizam falhas ou usam memória em tempo de inferência).
2. Mecanismos de Robustez:
   • Ponderação de Severidade: Reduz o ruído de rótulos ao penalizar falhas graves.
   • Verificação Multi-Julgador: Eleva a precisão do relabeling de 94,1% para 97,7%, reduzindo o ruído de 5,9% para 2,3%.
3. Eficiência de Dados: Demonstra que é possível atingir o desempenho de um modelo treinado apenas com sucessos usando apenas 50% do volume de dados de sucesso, dobrando a eficiência de dados.
4. Validação Teórica e Empírica: Prova teórica de que, sob um juiz perfeito, o método é não enviesado. Empiricamente, mostra ganhos consistentes em múltiplas famílias de modelos e benchmarks.

4. Resultados Experimentais

Os experimentos foram conduzidos nos benchmarks WebArena (navegação web) e ToolBench (uso de APIs), utilizando modelos como GPT-4o, Qwen2.5 (7B e 72B) e LLaMA-3.1-8B.

• Desempenho Geral: O AgentHER (com verificação multi-julgador) superou o SFT baseado apenas em sucessos em +7,1 a +11,7 pontos percentuais (pp) em todos os modelos e benchmarks.
  • Exemplo: No WebArena, o Qwen-7B saltou de 18,9% (SFT-Success) para 27,8% (AgentHER-MJ).
• Eficiência de Dados: O modelo alcançou o mesmo desempenho do SFT completo usando apenas metade dos dados de sucesso, e superou-o com o uso de dados de falha relabelados.
• Escalabilidade:
  • Ganhos consistentes de modelos de 1,5B a 72B parâmetros.
  • Modelos menores (7B/8B) beneficiaram-se mais (+11,7 pp no ToolBench) do que modelos grandes, sugerindo que o método ajuda a cobrir subtipos de tarefas onde o conhecimento de mundo é mais fraco.
• Treinamento Iterativo: O uso de dados gerados por um modelo melhorado em rodadas subsequentes resultou em ganhos compostos adicionais (+2,1 pp em rodadas extras).
• Transferência: Um modelo treinado no WebArena com AgentHER mostrou uma vantagem de transferência de +9,5 pp no ToolBench, indicando que o modelo aprendeu comportamentos generalizados de planejamento e uso de ferramentas, e não apenas memorizou tarefas específicas.

5. Significado e Conclusão

O AgentHER representa uma mudança de paradigma na formação de agentes LLM:

• Mudança de Perspectiva: A distinção entre sucesso e falha é relativa à tarefa, não absoluta à trajetória. Reconhecer isso transforma cada falha em um currículo de aprendizado.
• Viabilidade de Produção: O pipeline é totalmente automatizado, não requer interação adicional com o ambiente nem anotação humana massiva, e é compatível com técnicas modernas de alinhamento (DPO).
• Impacto: Ao recuperar o sinal de treinamento oculto nas falhas, o método oferece uma solução escalável e eficiente para o problema de dados escassos e caros em agentes autônomos, permitindo que modelos aprendam mais com menos dados de sucesso explícitos.

Em suma, o trabalho demonstra que o "lixo" de dados de agentes (falhas) pode ser transformado em um recurso valioso de alta qualidade através de uma reinterpretação inteligente dos objetivos alcançados.