Resumo Técnico: Otimização de Política de Grafo de Grupo para Aprendizado por Reforço Agêntico de Longo Horizonte

Declaração do Problema

A transição dos Grandes Modelos de Linguagem (LLMs) de chatbots para agentes autônomos capazes de resolver problemas complexos do mundo real requer uma tomada de decisão robusta de longo horizonte. Embora o Aprendizado por Reforço (RL) tenha aprimorado com sucesso o raciocínio em tarefas de turno único (ex: matemática e codificação), a aplicação ao cenários agênticos de múltiplos turnos apresenta desafios significativos.

Os frameworks de RL agêntico existentes migraram amplamente de treinamento ao nível de trajetória para o nível de passo para mitigar a explosão de contexto e o consumo de memória. No entanto, essas abordagens de nível de passo sofrem de duas limitações críticas em tarefas de longo horizonte:

1. Alta Variância na Estimativa de Valor de Estado: Os métodos atuais frequentemente tratam a exploração do agente como uma coleção de trajetórias isoladas e lineares. Como diferentes trajetórias partindo do mesmo estado ambiental podem terminar em resultados vastamente diferentes devido à estocasticidade, estimar o valor de um estado com base no retorno de uma única trajetória é pouco confiável e propenso a alta variância.
2. Atribuição de Crédito de Grão Grosso: Métodos de nível de passo existentes (ex: GiGPO) tipicamente comparam ações apenas dentro de um grupo local de estados idênticos. Essa perspectiva local falha em capturar a importância global de uma transição. Não consegue distinguir entre uma melhoria menor em um estado trivial e uma ação de avanço crítico que impulsiona o progresso absoluto em direção ao objetivo final, levando a uma atribuição de crédito míope.

Além disso, tarefas de longo horizonte são caracterizadas por recompensas esparsas, onde o feedback é frequentemente adiado até o final de dezenas de passos de interação, tornando difícil a atribuição de crédito intermediária.

Metodologia: Otimização de Política de Grafo de Grupo (G2PO)

Para abordar esses gargalos, os autores propõem a Otimização de Política de Grafo de Grupo (G2PO), um novo algoritmo de RL baseado em grupos que transforma explicitamente trajetórias de interação lineares em um grafo de transição de estados global.

1. Construção do Grafo de Grupo de Estados

Em vez de tratar trajetórias como linhas independentes, o G2PO agrega observações ambientais idênticas ou similares em todas as trajetórias amostradas em grupos de estados (nós). As ações do agente servem como arestas direcionadas que conectam esses nós, formando um grafo de transição de estados unificado. Esta estrutura reconhece que diferentes trajetórias frequentemente convergem para os mesmos estados ambientais (ex: a mesma página web ou configuração física).

2. Estimativa de Valor de Estado por Agregação de Grupo

Para mitigar a alta variância inerente à avaliação de trajetória única, o G2PO introduz um mecanismo de agregação de grupo:

• Mecanismo: Para qualquer dado grupo de estado $G_k$, o valor $V(G_k)$ é definido como a média dos retornos descontados de todos os passos intermediários pertencentes a esse grupo em todas as trajetórias amostradas.
• Benefício: Ao tirar a média dos resultados de múltiplas trajetórias que passam pelo mesmo estado, o método estima o valor esperado intrínseco do estado, em vez de um resultado casual de uma única amostra. A análise teórica demonstra que isso reduz a variância da estimativa de valor linearmente em relação ao tamanho do grupo.

3. Estimativa de Vantagem de Multigranularidade

O G2PO sintetiza três tipos de vantagens para fornecer feedback denso e de grão fino:

• Vantagem Centrada no Nó (ANC): Avalia uma ação comparando o valor do estado resultante contra o valor médio de todos os próximos estados possíveis a partir do nó atual. Isso captura preferências locais.
• Vantagem Centrada na Aresta (AEC): Esta é a inovação central. As ações são tratadas como transições entre nós de estado. A vantagem é calculada com base no Erro de Diferença Temporal (TD) ($\delta = V_{next} - V_{current}$), representando o ganho de valor absoluto da transição. Crucialmente, esses erros de TD são padronizados globalmente em todo o grafo, em vez de serem locais dentro de um grupo de estado. Isso permite que o G2PO identifique e priorize explicitamente transições críticas que impulsionam um progresso absoluto substancial, mesmo que a trajetória específica acabe falhando.
• Vantagem de Nível de Episódio (AEP): Mantida do GRPO padrão para garantir que o processo de aprendizado permaneça alinhado com o objetivo final da tarefa.

A vantagem final para um passo é uma combinação ponderada desses componentes:
$$A_{ij} = A_{EP}(a_{ij}) + w \cdot (A_{NC}(a_{ij}) + A_{EC}(a_{ij}))$$

Principais Contribuições

O artigo descreve quatro contribuições primárias:

1. Algoritmo G2PO: Um algoritmo de RL baseado em grupos especificamente projetado para tarefas de agentes de longo horizonte que transforma trajetórias lineares em um grafo de grupo de estados.
2. Estimativa de Valor de Estado por Agregação de Grupo: Um método para abordar a alta variância na estimativa de valor de estado através da agregação de resultados em estados idênticos em diferentes trajetórias.
3. Estimativa de Vantagem Centrada na Aresta: Uma estratégia que redefine ações como transições e mede sua contribuição absoluta para o progresso global via erros de TD padronizados globalmente, superando as limitações das comparações de grupos locais.
4. Validação Empírica: Experimentos extensos demonstrando que o G2PO supera os baselines de última geração com um overhead computacional negligenciável.

Resultados Experimentais

Os autores avaliaram o G2PO em três benchmarks representativos de longo horizonte: WebShop (e-commerce), ALFWorld (ambientes físicos incorporados) e AppWorld (ecossistemas de software complexos). Os experimentos foram conduzidos em modelos Qwen-2.5 (1.5B, 7B e 14B).

• Desempenho: O G2PO superou consistentemente os métodos baseados em prompts (ex: ReAct, Reflexion) e os baselines de RL (PPO, RLOO, GRPO, GiGPO).
  • No WebShop, o G2PO alcançou uma melhoria na taxa de sucesso de até 22,2% sobre o GRPO.
  • No ALFWorld, alcançou uma melhoria de 14,4% sobre o GRPO.
  • No AppWorld, o G2PO superou todos os outros métodos de treinamento de RL, demonstrando generalização robusta para tarefas complexas baseadas em API.
• Eficiência: Modelos treinados com G2PO exigiram menos turnos de interação para completar tarefas em comparação ao GRPO e GiGPO, indicando uma melhor eficiência de decisão.
• Custo Computacional: A construção do grafo e o pipeline de estimativa de vantagem dependem exclusivamente de processamento de CPU. Os autores relatam que o G2PO introduz apenas aproximadamente 1 segundo de overhead adicional por passo de treinamento (cerca de 0,4% do tempo total), preservando a alta eficiência do framework GRPO subjacente.

Significância e Alegações

O artigo afirma que o G2PO representa um avanço significativo no RL agêntico ao mudar a perspectiva de trajetórias lineares isoladas para uma estrutura de grafo global. Ao modelar explicitamente o grafo de transição de estados e utilizar a agregação de grupo, o método resolve efetivamente o problema de atribuição de crédito em cenários de recompensa esparsa e longo horizonte sem o overhead computacional de uma rede crítica aprendida ou os custos de anotação de modelos de recompensa de processo.

Os autores enfatizam que sua abordagem se alinha à filosofia de aproveitar médias empíricas (como visto no GRPO), mas a estende para o nível estrutural das transições de estado. Os resultados sugerem que reconhecer a estrutura de grafo inerente das interações de múltiplos turnos é crucial para reduzir a variância e identificar ações de avanço críticas, levando a ganhos substanciais de desempenho em tarefas agênticas complexas.