Resumo Técnico: RC-GRPO para Agentes de Chamada de Ferramentas Multi-turno

1. Definição do Problema

A chamada de ferramentas em múltiplos turnos apresenta desafios significativos para Grandes Modelos de Linguagem (LLMs) devido à esparsidade de recompensas e ao alto custo de exploração. O Group Relative Policy Optimization (GRPO) é um método popular de aprendizado por reforço (RL) que elimina a necessidade de uma rede crítica separada, mas sofre de um modo de falha crítico quando aplicado a agentes de ferramentas multi-turno inicializados com Ajuste Fino Supervisionado (SFT).

O problema central é o "paradoxo da perfeição". Quando um LLM é treinado via SFT em demonstrações ótimas, ele desenvolve uma política altamente pontiaguda (um forte prior de "caminho de ouro"). Durante o treinamento GRPO, isso leva a uma baixa diversidade nos grupos de rollouts; múltiplas trajetórias amostradas frequentemente recebem recompensas idênticas (por exemplo, todas 0 ou todas 1). Consequentemente, o desvio padrão dentro do grupo ($\sigma_g$) aproxima-se de zero, causando a degeneração do sinal de vantagem normalizado pelo grupo ($A_j \approx 0$). Isso resulta em gradientes evanescentes e estagnação do aprendizado, particularmente em ambientes parcialmente observáveis onde a confiança local pode levar a comportamentos repetitivos de curto horizonte.

2. Metodologia: RC-GRPO

Os autores propõem o RC-GRPO (Reward-Conditioned Group Relative Policy Optimization), um pipeline de dois estágios projetado para tratar a diversidade dentro do grupo como uma variável controlável em vez de um subproduto da temperatura de amostragem.

Estágio 1: Ajuste Fino da Política de Trajetória Condicionada à Recompensa (RCTP)

Antes do RL, o LLM base é ajustado finamente para se tornar uma Política de Trajetória Condicionada à Recompensa (RCTP).

• Construção de Dados: Um conjunto de dados de qualidade mista é criado, pareando trajetórias com tokens de objetivo de recompensa discretos (ex: <|high reward|> para sucesso, <|low reward|> para falha).
• Objetivo: O modelo é treinado para maximizar a log-verossimilhança das ações condicionadas tanto ao histórico quanto ao token de recompensa específico: $\pi_\theta(a_t | h_t, r)$.
• Resultado: A política aprende a gerar trajetórias de qualidades distintas sob demanda. O condicionamento em <|high reward|> elicia ações ótimas, enquanto <|low reward|> gera modos de falha plausíveis.

Estágio 2: GRPO Condicionado à Recompensa

O RCTP serve como a inicialização para o estágio de RL.

• Amostragem Controlada: Para cada prompt, um grupo de $G$ trajetórias é gerado. Diferente do GRPO padrão, que amostra de uma única política incondicional, o RC-GRPO amostra um token de recompensa discreto $r_j$ para cada trajetória no grupo a partir de uma distribuição fixa $P_{sample}(r)$.
• Rollout Condicionado: Cada trajetória $\tau_j$ é gerada condicionada ao seu token de recompensa específico $r_j$ (ou seja, $a_{t,j} \sim \pi_\theta(\cdot | h_{t,j}, r_j)$).
• Cálculo de Vantagem: Como o grupo contém trajetórias condicionadas a diferentes modos de recompensa (alta vs. baixa), a variância da recompensa dentro do grupo é explicitamente injetada. Isso garante que a vantagem normalizada pelo grupo $A_j = \frac{R(\tau_j) - \mu_g}{\sigma_g + \epsilon}$ não seja degenerada e seja informativa.
• Função de Recompensa: Uma recompensa unificada de nível de trajetória $R(\tau)$ é usada, definida pelo produto da consistência de estado ($R_{state}$) e cobertura essencial de ação ($R_{action}$), resultando em um sinal de sucesso binário (1 para sucesso, 0 para falha).

3. Principais Contribuições

1. Framework RC-GRPO: A introdução de uma abordagem condicionada à recompensa que transforma a exploração em um problema de direcionamento controlável via tokens de recompensa discretos, prevenindo o problema da vantagem evanescente em políticas pontiagudas.
2. Pipeline de Dois Estágios: Um fluxo de trabalho específico envolvendo o ajuste fino RCTP em dados de qualidade mista seguido pelo GRPO condicionado à recompensa, o que garante que a política possa produzir confiavelmente as trajetórias diversas necessárias para atualizações eficazes de grupo-relativo.
3. Validação Empírica: Experimentos abrangentes no benchmark multi-turno Berkeley Function Calling Leaderboard v4 (BFCLv4) usando LLaMA-3.1-8B-Instruct e Qwen2.5-7B-Instruct.
4. Análise Teórica e Dinâmica:
   • Teórica: Uma análise baseada em variância (Proposições 4.2 e 4.3) demonstrando que o GRPO padrão colapsa quando $\sigma_g \to 0$ devido a políticas SFT pontiagudas, enquanto o condicionamento de recompensa garante um limite inferior na variância dentro do grupo.
   • Dinâmica: Evidência mostrando que o RC-GRPO melhora o desempenho enquanto diminui a entropia da política, provando que os ganhos são impulsionados por variância estruturada em vez de aumento de aleatoriedade.

4. Resultados Experimentais

O método foi avaliado no split multi-turno do BFCLv4.

• Qwen2.5-7B-Instruct: O pipeline completo de RC-GRPO alcançou 85,00% de precisão geral. Isso superou significativamente o Modelo Base (11,25%), o SFT+GRPO padrão (48,75%) e até mesmo todos os modelos de API de código fechado avaliados (o melhor dos quais, Opus-4.5, alcançou 61,25%).
• LLaMA-3.1-8B-Instruct: O método alcançou 48,75% de precisão, melhorando sobre o SFT+GRPO (35,00%) e o Modelo Base (0,00%).
• Estudos de Ablação:
  • Necessidade de RCTP: Adicionar condicionamento de recompensa a uma inicialização SFT padrão resultou em ganhos negligenciáveis. No entanto, mudar a inicialização para RCTP-FT sob RC-GRPO resultou em melhorias massivas (+38,75% no Qwen2.5-7B).
  • Mecanismo: A análise da dinâmica de treinamento revelou que o RC-GRPSO alcança alto desempenho com menor entropia e uma correlação negativa entre entropia e recompensa, contrastando com o GRPO padrão onde o desempenho depende de alta entropia.

5. Significância e Alegações

O artigo afirma que o RC-GRPO aborda uma limitação fundamental na aplicação de RL baseado em grupos a agentes com forte inicialização SFT: o colapso do sinal de aprendizado devido à falta de diversidade dentro do grupo.

• Diversidade Controlada: O trabalho demonstra que a diversidade nos rollouts de RL pode ser explicitamente controlada via tokens de condicionamento em vez de depender da temperatura de amostragem estocástica, que é frequentemente insuficiente para políticas pontiagudas.
• Estabilidade sobre Aleatoriedade: Os autores argumentam que as melhorias observadas não se devem ao aumento da aleatoriedade (entropia), mas sim à restauração de sinais de vantagem informativos e não-evanescentes através de variância estruturada.
• Impacto Prático: Ao permitir que modelos de pesos abertos superem modelos de API de código fechado em tarefas complexas de chamada de ferramentas multi-turno, o método oferece um caminho escalável para treinar sistemas agentes robustos sem o overhead computacional de redes críticas ou a instabilidade do GRPO padrão.

Os autores mantêm uma postura modesta, observando que, embora forneçam uma explicação teórica baseada em variância para a estabilidade do método, não reivindicam uma teoria completa da dinâmica de treinamento de agentes multi-turno. A principal contribuição é enquadrar a geração controlável e o RL baseado em grupos como uma solução unificada para o problema do "update evanescente" em ambientes de recompensa esparsa.