Resumo Técnico: Otimização de Política Agrupada com Vantagem Generalizada (GAGPO)

Declaração do Problema

A aprendizagem por reforço (RL) tornou-se um paradigma dominante para o pós-treinamento de agentes de Modelos de Linguagem de Grande Escala (LLM), particularmente para interações de múltiplas voltas. No entanto, um gargalo crítico permanece: a atribuição de crédito em ambientes de múltiplas voltas. Nestes cenários, os agentes tipicamente recebem recompensas esparsas, ao nível da trajetória, apenas no final de um episódio. Isso torna difícil determinar quais ações intermediárias específicas levaram ao sucesso ou ao fracasso.

As soluções existentes enfrentam um trade-off:

1. Métodos baseados em Crítico: Introduzem estimadores de valor auxiliares ou modelos de processamento de recompensa para fornecer feedback mais denso ao nível do passo. Embora eficazes, estes adicionam complexidade significativa ao treinamento e erro de estimação.
2. Métodos sem Crítico: Baseiam-se em otimização agrupada relativa à trajetória ou ao estilo Monte Carlo (por exemplo, GRPO, GiGPO). Embora arquiteturalmente simples, estes frequentemente produzem sinais de alta variância e supervisão fracamente propagada, falhando em alinhar a atribuição de crédito com os limites de decisão reais do agente (passos do ambiente) em vez da geração de tokens.

O desafio central é alcançar atribuição de crédito propagada temporalmente e alinhada ao passo no treinamento de agentes de múltiplas voltas sem depender de um crítico aprendido ou procedimentos de busca especializados.

Metodologia: GAGPO

Os autores propõem a Otimização de Política Agrupada com Vantagem Generalizada (GAGPO), um método de RL sem crítico projetado para permitir uma atribuição de crédito temporal precisa e alinhada ao passo. O GAGPO opera em três etapas principais:

1. Agrupamento de Rollout e Agregação de Estado

Ao contrário das atualizações padrão ao nível de token, o GAGPO trata cada passo do ambiente como a unidade básica de atribuição de crédito. Todos os tokens dentro de uma única ação do agente (uma sequência de tokens) compartilham uma única vantagem ao nível do passo.

• Proxy de Valor Agrupado: O método constrói um proxy de valor não paramétrico agrupando todas as ocorrências do mesmo estado do ambiente $s$ através das trajetórias amostradas. Para um estado $s$, o grupo $G(s)$ coleta todos os passos $(i, t)$ onde o estado corresponde.
• Estimação de Valor: O proxy de valor $\bar{V}(s)$ é calculado como a média do retorno descontado de todos os passos em $G(s)$:
  $$\bar{V}(s) = \frac{1}{|G(s)|} \sum_{(j,u) \in G(s)} \hat{R}^{(j)}_u$$
  Esta agregação é realizada inteiramente a partir dos rollouts coletados, não exigindo custo adicional de treinamento ou crítico aprendido.

2. Atribuição de Crédito Temporal ao Nível do Passo

O GAGPO calcula vantagens temporais recursivamente, imitando a Estimação de Vantagem Generalizada (GAE), mas usando o proxy não paramétrico $\bar{V}$ em vez de uma função de valor aprendida.

• Resíduo TD: Para um passo $(i, t)$, o resíduo de diferença temporal é:
  $$\delta^{(i)}_t = r^{(i)}_t + \gamma \bar{V}(s^{(i)}_{t+1}) - \bar{V}(s^{(i)}_t)$$
  (onde $\bar{V}$ é 0 para estados terminais).
• Propagação Recursiva: A vantagem ao nível do passo $\hat{A}^{(i)}_t$ é calculada recursivamente com um parâmetro de trade-off viés-variância $\lambda$:
  $$\hat{A}^{(i)}_t = \delta^{(i)}_t + \gamma \lambda \hat{A}^{(i)}_{t+1}$$
  Isso permite que a supervisão de resultados se propague para trás no tempo, atribuindo crédito a decisões intermediárias com base em recompensas atrasadas.

3. Atualização PPO Normalizada por Grupo

Para garantir estabilidade e otimização localizada:

• Normalização por Grupo: Em vez de normalizar em todo o lote (o que mistura tarefas heterogêneas), as vantagens são padronizadas dentro de cada grupo de rollout $B$:
  $$A^{(i)}_t = \frac{\hat{A}^{(i)}_t - \mu_B}{\sigma_B + \epsilon}$$
• Razão de Importância ao Nível da Sequência: Como uma ação $a_t$ consiste em múltiplos tokens, o GAGPO calcula uma única razão de importância para toda a sequência de ações, fazendo a média das razões logarítmicas dos tokens individuais, em vez de limitar as razões token a token independentemente. Isso previne o "rasgamento de gradiente" dentro de uma única ação.
• Objetivo: O objetivo final é uma perda PPO truncada usando estas vantagens normalizadas por grupo e alinhadas à sequência.

Principais Contribuições

1. Propagação Temporal sem Crítico: O GAGPO introduz um método para calcular vantagens temporais no estilo TD/GAE sem um crítico aprendido, utilizando um proxy de valor agrupado não paramétrico derivado de dados de rollout.
2. Atribuição de Crédito Alinhada ao Passo: Desloca a unidade de otimização de tokens para passos do ambiente, garantindo que o crédito seja atribuído aos limites de decisão reais do agente.
3. Dinâmica de Otimização Estável: Ao combinar recursão temporal com normalização por grupo e razões de importância ao nível da sequência, o GAGPO extrai sinais de otimização estáveis e de baixa variância diretamente de trajetórias de múltiplas voltas.
4. Superioridade Empírica: O método demonstra melhorias consistentes sobre fortes baselines de RL (PPO, RLOO, GRPO, GiGPO) em benchmarks complexos de múltiplas voltas.

Resultados Experimentais

Os autores avaliaram o GAGPO em ALFWorld (tarefas domésticas corporificadas) e WebShop (compras online) usando os backbones Qwen2.5-1.5B-Instruct e Qwen2.5-7B-Instruct.

• Ganhos de Desempenho: O GAGPO superou consistentemente todas as baselines.
  • No ALFWorld (modelo 7B), alcançou uma pontuação geral de 95,6, superando a baseline mais forte (GiGPO em 88,8) em 6,8 pontos.
  • No WebShop (modelo 7B), melhorou a pontuação de 86,3 para 90,3 e a taxa de sucesso de 66,4% para 77,5%.
• Dinâmica de Aprendizado: A análise dos primeiros 120 passos de treinamento revelou que o GAGPO aprende mais rápido nas etapas iniciais e mantém uma diferença de desempenho ao longo do treinamento em comparação com GiGPO e GRPO.
• Eficiência de Interação: Os agentes GAGPO completaram tarefas com sucesso em menos passos de interação (comprimentos de episódio mais curtos) em média.
• Estabilidade de Otimização:
  • Norma do Gradiente: O GAGPO exibiu dinâmicas de gradiente mais suaves e menos voláteis em comparação com as flutuações de alta amplitude observadas no GiGPO.
  • Variância da Vantagem: A distribuição das vantagens ao nível do passo no GAGPO foi significativamente mais concentrada (menor Intervalo Interquartil e menos valores extremos) do que no GiGPO, indicando sinais de aprendizado de menor variância.

Significado e Alegações

O artigo afirma que o GAGPO oferece um framework simples, porém altamente eficaz para RL agênico de múltiplas voltas. Seu principal significado reside em demonstrar que:

1. Métodos sem crítico podem ser estendidos efetivamente para agentes interativos de LLM se o crédito for atribuído ao nível dos passos do ambiente e não dos tokens.
2. A propagação temporal de recompensas esparsas via um proxy não paramétrico é suficiente para superar o problema de atribuição de crédito sem a sobrecarga de treinar modelos de valor auxiliares.
3. A normalização por grupo e o alinhamento ao nível da sequência são críticos para estabilizar a otimização de políticas de múltiplas voltas, prevenindo a alta variância e instabilidade frequentemente associadas a atualizações agrupadas ao estilo Monte Carlo.

Os autores concluem que o GAGPO fornece um sinal de treinamento alinhado ao passo, temporalmente consistente e estável, permitindo que agentes de LLM melhorem através de busca e interação de forma mais eficiente. Eles notam limitações relacionadas à dependência de correspondência exata de estados (o que funciona para ambientes de texto determinísticos, mas pode exigir aproximação para configurações estocásticas ou contínuas) e ao escopo de avaliação limitado a benchmarks específicos e tamanhos de modelo.