Co-Evolution of Policy and Internal Reward for Language Agents

Título: Co-evolução de Política e Recompensa Interna para Agentes de Linguagem

Autores: Xinyu Wang, Hanwei Wu, Jingwei Song, et al. (McGill, HKUST, Mila, entre outros)

1. Problema Abordado

Os agentes baseados em Grandes Modelos de Linguagem (LLMs) enfrentam um gargalo fundamental em tarefas de longo horizonte (como navegação na web, experimentação científica e interação física): a escassez e o atraso das recompensas.

• Recompensa Esparsa: Em muitos ambientes, o agente recebe feedback (sucesso/falha) apenas no final de uma trajetória longa.
• Dificuldade de Atribuição de Crédito: Sem feedback intermediário, é difícil determinar quais decisões específicas contribuíram para o sucesso ou falha, prejudicando tanto a tomada de decisão em tempo de inferência quanto o aprimoramento da política durante o treinamento.
• Limitações de Métodos Atuais: Abordagens existentes, como modelos de recompensa externos ou atribuição de crédito post-hoc, muitas vezes separam a melhoria da recompensa da melhoria da política, adicionam sobrecarga computacional ou não fornecem orientação durante a geração da trajetória (rollout).

2. Metodologia: Self-Guide

Os autores propõem o Self-Guide, um mecanismo de recompensa interna auto-gerada que atua simultaneamente como sinal de orientação em tempo de inferência e como recompensa densa para treinamento.

Mecanismo Central

O agente gera um sinal verbal de auto-orientação ($z_t$) antes de cada ação ($a_t$).

1. Geração: Dado o histórico e a observação atual, o modelo gera uma avaliação em linguagem natural sobre o progresso da trajetória (ex: "fazendo progresso", "desviado", "estagnado").
2. Uso Duplo:
   • Na Inferência: O sinal $z_t$ é usado para orientar a seleção da próxima ação, permitindo que o agente "reflita" antes de agir.
   • No Treinamento: O mesmo sinal verbal é convertido em uma recompensa interna escalar ($r^{sg}_t$) para fornecer crédito denso em cada passo.

Otimização Conjunta (Co-evolução)

O método utiliza um ciclo de co-evolução onde a política ($\pi_\theta$) e a recompensa interna evoluem juntas:

• Uma política melhor gera trajetórias mais coerentes.
• Trajetórias melhores produzem sinais de auto-orientação mais confiáveis.
• Sinais mais confiáveis geram recompensas internas mais precisas, que por sua vez refinam a política.
• A otimização é realizada usando GRPO (Group Relative Policy Optimization), combinando a recompensa do ambiente ($R_{env}$) com a recompensa agregada da auto-orientação ($R_{sg}$).

Agendamento de Confiança em Etapas (Stage-Wise Trust Schedule)

Para evitar que a política otimize contra seus próprios sinais imaturos (problema de bootstrap), os autores introduzem um agendamento trapezoidal para o coeficiente de confiança $\lambda(u)$:

1. Fase I (Aquecimento): Apenas orientação. $\lambda = 0$. O agente aprende a gerar e agir com base na orientação usando apenas a recompensa do ambiente.
2. Fase II (Ativação): $\lambda$ aumenta linearmente de 0 a 1. A recompensa interna é introduzida gradualmente.
3. Fase III (Recompensa Total): $\lambda = 1$. O ciclo de co-evolução opera em força total.
4. Fase IV (Resfriamento/Annealing): $\lambda$ diminui de 1 para 0. A recompensa interna é removida gradualmente para garantir que a política final seja otimizada estritamente para o objetivo real do ambiente, evitando viés de recompensa.

3. Contribuições Principais

1. Novo Paradigma de Recompensa: Proposta do Self-Guide, uma forma unificada de recompensa interna que serve tanto para guiar a ação em tempo real quanto para supervisionar o treinamento.
2. Agendamento de Confiança: Desenvolvimento de um agendamento em etapas que estabiliza o treinamento de RL com recompensas auto-geradas, resolvendo a tensão entre a necessidade de maturidade do sinal e a necessidade de treinamento inicial.
3. Validação Empírica: Demonstração de que a co-evolução de política e recompensa interna supera significativamente as abordagens que dependem apenas de recompensas esparsas do ambiente.

4. Resultados Experimentais

Os experimentos foram conduzidos em três benchmarks principais: ALFWorld, ScienceWorld e WebShop, utilizando modelos base como Qwen3 (1.7B, 4B) e Qwen2.5-7B.

• Desempenho em Inferência: O uso de auto-orientação (sem treinamento RL) já trouxe ganhos significativos, especialmente em ambientes estruturados como ALFWorld, reduzindo erros como loops e exploração redundante.
• Desempenho em Treinamento (RL):
  • O método GRPO com Self-Guide & Guidance Reward superou consistentemente o baseline GRPO puro.
  • Ganhos: Em média, houve uma melhoria de ~8% sobre os baselines treinados apenas com recompensa do ambiente.
  • Em Qwen3-4B no ALFWorld, a taxa de sucesso total subiu de 86.7% (GRPO) para 96.9% (com o método completo).
• Análise de Ablação:
  • Introduzir a recompensa interna imediatamente (sem o agendamento) piorou o desempenho, confirmando que sinais iniciais são imaturos.
  • A co-evolução online é superior à distilação offline de um modelo maior, pois a orientação auto-gerada precisa se adaptar à distribuição de trajetórias em evolução do agente.

5. Significado e Conclusão

O trabalho demonstra que agentes de linguagem podem melhorar não apenas coletando mais experiências, mas aprendendo a gerar e refinar sua própria orientação interna durante a ação e o aprendizado.

• Viabilidade: A auto-orientação verbal atua como um "crítico" interno que não requer modelos de recompensa externos treinados separadamente.
• Estabilidade: O agendamento de confiança é crucial para evitar a instabilidade comum em métodos de recompensa densa auto-gerada.
• Impacto: Oferece um caminho promissor para resolver o problema da recompensa esparsa em tarefas complexas de longo horizonte, permitindo que agentes aprendam de forma mais eficiente e autônoma.

Em suma, o Self-Guide transforma o agente em seu próprio professor, criando um ciclo virtuoso onde a capacidade de julgar o próprio progresso melhora a capacidade de agir, e vice-versa.