Resumo Técnico: Reforçando o Raciocínio de Múltiplos Turnos em Agentes LLM via Estrutura de Recompensa de Grão Fino e Atribuição de Crédito

1. Definição do Problema

O Aprendizado por Reforço (RL) tornou-se um mecanismo primário para aprimorar as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs) em cenários complexos, de longo horizonte e múltiplos turnos. Essas interações são formalmente modeladas como Processos de Decisão de Markov (MDPs) de nível de turno. No entanto, uma limitação crítica na literatura existente é a dependência de recompensas de trajetória de nível esparso (por exemplo, apenas a correção da resposta final). Essa abordagem leva a uma má atribuição de crédito, onde o modelo tem dificuldade em atribuir o sucesso ou o fracasso a etapas intermediárias (turnos) específicas dentro de uma trajetória de múltiplos turnos.

Embora alguns trabalhos anteriores tentem incorporar sinais intermediários, eles frequentemente fundem recompensas de resultado e intermediárias em um único sinal de trajetória atrasado, falhando em fornecer a supervisão de grão fino necessária para um aprendizado eficaz em ambientes dinâmicos. Consequentemente, os agentes têm dificuldade em refinar comportamentos como a seleção de consultas em tarefas de busca ou movimentos estratégicos em jogos, pois carecem de feedback denso na granularidade de turnos de interação individuais.

2. Metodologia

O artigo propõe uma investigação sistemática sobre o aproveitamento de estruturas de recompensa de nível de turno densas para permitir a atribuição de crédito de grão fino. Os autores categorizam as estruturas de recompensa em três tipos distintos baseados na granularidade, cada um correspondendo a uma formulação específica de MDP de nível de turno:

1. Recompensa Terminal ($M_1$): Fornece apenas uma recompensa de resultado final (ex: correção da resposta) sem sinais intermediários.
2. Recompensa Atrasada ($M_2$): Funde recompensas intermediárias e de resultado em um único sinal atrasado atribuído ao final da trajetória.
3. Recompensa por Turno ($M_3$): Fornece recompensas explícitas e densas em cada turno, avaliando a correção das interações individuais entre agente e ambiente (ex: invocação de ferramenta e resultado).

Os autores derivam algoritmos de RL adaptados para a Otimização de Política Relativa de Grupo (GRPO) e Otimização de Política Próxima (PPO) para acomodar essas diferentes formulações de MDP.

2.1. GRPO com Atribuição de Crédito de Grão Fino (MT-GRPO)

O GRPO padrão computa vantagens ao nível da trajetória, atribuindo uma vantagem uniforme a todos os tokens em uma resposta. Para abordar isso, os autores introduzem o Multi-Turn GRPO (MT-GRPO):

• Decomposição de Vantagem: O método define dois tipos de vantagens:
  • Vantagem de Resultado ($A^O$): Captura sinais globais de conclusão de tarefa baseados na resposta final.
  • Vantagem Intermediária ($A^I$): Captura sinais de otimização local comparando retornos entre trajetórias no mesmo passo temporal (turno).
• Vantagem Agregada: Estas são combinadas em uma função de vantagem unificada que atribui crédito em escalas tanto globais quanto locais, agregando vantagens atuais e futuras:
  $$A^{MT-GRPO}_{i,(k)} = \sum_{l=k}^{K-1} \alpha^{l-k} A^I_{i,(l)} + \alpha^{K-k} A^O_i$$
  onde $\alpha$ é um coeficiente de desconto.
• Estrutura de Rollout: Ao contrário do GRPO padrão, que realiza rollouts por trajetória, o MT-GRPO realiza rollouts por estado (por turno). Isso resulta em uma estrutura baseada em árvore onde $G$ amostras são tomadas em cada turno, levando a $G^{K-1}$ trajetórias totais para um horizonte de $K$ turnos.

2.2. PPO com Recompensas de Nível de Turno (MT-PPO)

Para o PPO, os autores utilizam a Estimativa de Vantagem Generalizada (GAE) para incorporar recompensas de nível de turno:

• Atribuição de Recompensa: Na variante MT-PPO, as recompensas intermediárias são atribuídas ao token final do turno correspondente, enquanto a recompensa de resultado é atribuída ao token final de toda a trajetória.
• Modificação do Erro TD: O erro de Diferença Temporal (TD) $\delta_t$ é modificado para incorporar recompensas explícitas por turno ($R_I$) nas fronteiras de turno, permitindo que a função de valor forneça sinais de treinamento de grão fino em cada etapa.
• PPO Decomposto por Turno: O artigo também explora uma variante onde rollouts de múltiplos turnos são decompostos em instâncias de treinamento de turno único. No entanto, experimentos sugerem que essa decomposição direta pode levar a uma atribuição de crédito suboptimal se não estiver cuidadosamente alinhada com o sucesso final da tarefa.

3. Principais Contribuições

1. Taxonomia de Estruturas de Recompensa: O artigo categoriza formalmente o RL de múltiplos turnos em três formulações de MDP ($M_1, M_2, M_3$) baseadas na granularidade da recompensa e deriva algoritmos específicos de GRPO e PPO para cada uma.
2. Algoritmo MT-GRPO: Uma nova variante de GRPO que utiliza rollouts por turno e vantagens agregadas para permitir a atribação de crédito em escalas tanto globais quanto locais.
3. Estratégia MT-PPO: Uma estratégia refinada de atribuição de recompensa dentro do GAE para PPO que utiliza explicitamente recompensas densas por turno, demonstrando superioridade em estabilidade e convergência em comparação com baselines de nível de trajetória.
4. Validação Empírica: Experimentos extensos em agentes de busca de múltiplos turnos (usando pesquisa na Wikipedia) e agentes de jogo (Sokoban) demonstram que estruturas de recompensa densas por turno superam consistentemente estruturas de recompensa de terminal e atrasadas esparsas.

4. Resultados Experimentais

Os autores avaliaram seus métodos em dois domínios primários: Agentes de Busca de Múltiplos Turnos e Agentes de Jogo de Múltiplos Turnos.

4.1. Agentes de Busca (Resposta a Perguntas)

• Datasets: NQ, TriviaQA, PopQA (QA Geral); HotpotQA, 2WikiMultiHopQA, Musique, Bamboogle (Multi-Hop QA).
• Configuração: Utilizou o Qwen2.5-7B como modelo base e um juiz baseado em LLM (GPT-OSS-120B) para fornecer recompensas de nível de turno intermediárias.
• Descobertas:
  • Dinâmica de Treinamento: O MT-PPO exibiu significativamente maior estabilidade de treinamento e convergência mais rápida em comparação com o PPO-OR (apenas terminal) e o PPO-MR (atrasado). O PPO-OR e o PPO-MR mostraram alta variância e degradação de desempenho, particularmente em datasets multi-hop complexos.
  • Desempenho: O MT-PPO alcançou a maior correção de resposta (Exact Match) em todos os datasets, superando métodos de estado da arte (incluindo StepSearch e PPR) por margens significativas (ex: +3,5% sobre o PPO-OR em média).
  • Formato e Recuperação: O MT-PPO alcançou correção de formato quase perfeita (~100%) e uma precisão de recuperação mais consistente, indicando que as recompensas de nível de turno efetivamente impõem restrições estruturais e guiam o raciocínio.

4.2. Agentes de Jogo (Sokoban)

• Configuração: Utilizou o Qwen2.5-VL-3B em um ambiente Sokoban de grade 6x6, uma tarefa que exige planejamento irreversível de longo horizonte.
• Descobertas:
  • O MT-PPO alcançou a maior Taxa de Sucesso (0.6563) e Taxa de Ação Eficaz (0.9870) no passo 300, superando significativamente os baselines de GRPO e PPO.
  • O método demonstrou a capacidade de aprender sequências de ações estáveis e propositais, lidando efetivamente com a natureza irreversível do ambiente, onde um único movimento errado leva a um beco sem saída.

4.3. Resultados de GRPO

No cenário de busca de dois turnos, o MT-GRPO superou o GRPO-OR e o GRPO-MR em todas as métricas de recompensa, incluindo execução de ferramenta, correção da resposta de busca e precisão de correspondência exata. Notavelmente, o MT-GRPO mostrou menor variância durante o treinamento e a capacidade de se recuperar de quedas temporárias no uso de ferramentas, destacando a robustez da atribuição de crédito de grão fino.

5. Significância e Alegações

O artigo afirma que estruturas de recompensa densas de nível de turno e a atribuição de crédito de grão fino são fundamentais para melhorar o desempenho de agentes LLM em tarefas de longo horizonte e múltiplos turnos.

• Superioridade sobre Recompensas Esparsas: Os autores afirmam que, tanto para GRPO quanto para PPO, as estruturas de recompensa densas por turno superam consistentemente os designs de recompensa terminal e atrasada esparsos em termos de dinâmica de treinamento, velocidade de convergência e desempenho numérico final.
• Estabilidade e Robustez: Os métodos propostos (MT-PPO e MT-GRPO) proporcionam maior estabilidade de treinamento, reduzindo a variância e o colapso frequentemente observados em abordagens de RL de nível de trajetória.
• Generalização: O método mostra-se eficaz em diversos domínios, desde recuperação de informação (busca) até tomada de decisão complexa (Sokoban), validando que o feedback explícito de nível de turno é crucial para que os agentes aprendam estratégias de interação eficazes com ambientes dinâmicos.

O artigo conclui que o aproveitamento dessas estruturas de recompensa densas permite que os agentes LLM refinem seu comportamento na granularidade de passos de interação individuais, levando a resultados finais mais precisos e saídas melhor estruturadas.