🤖 AI

SAPO: Single-Rollout Autoregressive Policy Optimization for Agentic Reinforcement Learning

Este artigo introduz o SAPO, um framework de aprendizado por reforço agêntico com eficiência de memória e otimização de computação que utiliza uma espinha dorsal autorregressiva compartilhada para as funções de política e de valor para alcançar desempenho e estabilidade superiores sobre métodos existentes como PPO e GRPO, ao mesmo tempo em que elimina a necessidade de um modelo crítico separado.

Autores originais: Dayang Liang, Lang Feng, Bo An, Yunlong Liu

Publicado 2026-08-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dayang Liang, Lang Feng, Bo An, Yunlong Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo em rápida evolução da inteligência artificial, uma nova fronteira surgiu onde os programas de computador já não são apenas geradores passivos de texto, mas agentes ativos capazes de raciocinar, pesquisar na web e resolver problemas complexos ao longo de muitas etapas. Este campo, conhecido como aprendizagem por reforço agêntica, ensina estes assistentes digitais permitindo que tentem ações num ambiente simulado e aprendam com os resultados. Imagine um estudante a fazer um teste: se obtiver a resposta certa, sente-se bem; se falhar, tenta perceber o que correu mal. Para uma IA, este processo de aprendizagem baseia-se num sistema que consegue olhar para trás numa longa cadeia de decisões e determinar qual etapa específica levou ao sucesso ou ao fracasso. Tradicionalmente, isto exigia um sistema pesado de duas partes: uma parte para decidir o que fazer a seguir e uma parte "crítica" separada e massiva para avaliar quão boa é a situação atual. Esta separação funciona bem, mas exige uma enorme capacidade de computação e memória, tornando frequentemente o processo de aprendizagem mais lento ou demasiado caro para ser executado em hardware padrão.

Investigadores descobriram recentemente que muitos destes agentes de IA têm dificuldades quando o feedback que recebem é escasso ou atrasado, como esperar até ao final de uma tarefa longa para saber se tiveram sucesso. Os métodos existentes que tentam simplificar este processo removendo o crítico separado acabam por resultar numa aprendizagem instável ou num desempenho medíocre porque carecem de uma forma clara de atribuir crédito a etapas individuais numa sequência longa. Para resolver isto, uma equipa de cientistas da Universidade de Xiamen e da Universidade Tecnológica de Nanyang desenvolveu um novo framework chamado SAPO, que significa Otimização de Política Autorregressiva de Rollout Único (Single-Rollout Autoregressive Policy Optimization). Em vez de usar dois modelos separados ou exigir que a IA gere dezenas de diferentes tentativas para aprender com uma única tarefa, o SAPO ensina um único modelo de linguagem a fazer tudo ao mesmo tempo. Utiliza o fluxo natural de geração de linguagem para decidir simultaneamente sobre uma ação, avaliar o estado antes da ação e julgar o valor da própria ação, tudo dentro de um fluxo contínuo de pensamento.

A inovação central do SAPO reside em como organiza a informação dentro do cérebro da IA. Num diálogo ou tarefa padrão, a IA lê um prompt, pensa e depois escreve uma resposta. Os investigadores perceberam que o momento imediatamente antes de a IA começar a escrever uma resposta é o momento perfeito para perguntar: "Quão boa é esta situação?" e o momento imediatamente após a resposta ser terminada é o momento perfeito para perguntar: "Quão boa foi essa ação específica?". Ao colocar estas duas perguntas em pontos específicos e fixos no processo de geração de texto, o modelo pode aprender a responder a ambas sem precisar de um avaliador separado. Este design permite que a IA aprenda com apenas uma tentativa de uma tarefa, em vez de precisar de gerar um grande grupo de variações para comparar entre si. O sistema aprende efetivamente a generalizar a sua compreensão de valor através de diferentes situações, garantindo que não apenas memoriza um caminho específico para o sucesso, mas compreende a lógica subjacente de por que um movimento foi bom ou mau.

Para testar esta abordagem, a equipa treinou a IA em dois ambientes desafiadores: um ambiente doméstico simulado onde o agente deve completar tarefas físicas como limpar ou aquecer itens, e um cenário complexo de compras na web onde o agente deve navegar em sites para encontrar produtos específicos. Utilizaram dois tamanhos diferentes de modelos de linguagem, um com 1,5 mil milhões de parâmetros e outro com 7 mil milhões, para ver se o método se mantinha em diferentes escalas. Os resultados foram impressionantes. Nas tarefas domésticas, o novo método melhorou a taxa de sucesso em mais de 15 pontos percentuais em comparação com o método padrão que utiliza um crítico separado, e em mais de 12 pontos percentuais em comparação com o método líder que tenta evitar o uso de um crítico. Nas tarefas de compras na web, as melhorias foram igualmente significativas, com a IA a alcançar pontuações mais elevadas e a completar mais tarefas com sucesso. Talvez o mais importante seja que o novo método o fez utilizando significativamente menos memória e correndo cerca de 33 por cento mais rápido por etapa de treino do que a abordagem tradicional, porque eliminou a necessidade de executar um segundo modelo separado para avaliar o desempenho.

O sucesso deste framework sugere que a forma como os grandes modelos de linguagem processam naturalmente a informação pode ser aproveitada para resolver alguns dos problemas mais difíceis no treino de agentes de IA. Ao alinhar o processo de aprendizagem com a estrutura natural da geração de linguagem, os investigadores demonstraram que é possível alcançar um desempenho de alto nível sem o pesado custo computacional de manter sistemas separados para a tomada de decisão e avaliação. Esta abordagem não só torna o treino mais eficiente, como também mais estável, permitindo que os agentes aprendam eficazmente mesmo quando as recompensas pelas suas ações são atrasadas ou infrequentes. À medida que o campo da inteligência artificial se move em direção à criação de agentes mais autónomos e capazes, métodos como este oferecem um caminho prático, provando que a eficiência e o alto desempenho podem andar de mãos dadas sem sacrificar a capacidade de aprender através de interações complexas e de longo prazo.

Resumo Técnico: SAPO (Single-Rollout Autoregressive Policy Optimization)

1. Declaração do Problema

O Aprendizado por Reforço (RL) Agêntico emergiu como uma etapa crítica de pós-treinamento para Grandes Modelos de Linguagem (LLMs), permitindo que eles realizem tarefas interativas de longo horizonte, como raciocínio, uso de ferramentas e navegação na web. Embora os métodos existentes tenham alcançado sucesso, eles enfrentam três limitações primárias:

Falta de Generalização Explícita de Valor: Métodos sem crítico e relativos ao grupo (ex: GRPO) estimam vantagens normalizando recompensas através de múltiplas trajetórias amostradas. Essa abordagem falha em aprender uma função de valor generalizada que possa atribuir crédito a estados ou prompts específicos independentemente do grupo, levando a uma atribuição de crédito temporal fraca.
Colapso de Vantagem (Advantage Collapse): Em tarefas de longo horizonte com feedback esparso, é comum que todos os rollouts em um grupo recebam recompensas idênticas ou quase idênticas. Isso faz com que as vantagens normalizadas desapareçam, resultando em regiões de gradiente zero ou "colapso de vantagem", o que interrompe o aprendizado.
Compensações Ineficientes (Inefficient Trade-offs): Métodos relativos ao grupo exigem uma compensação custosa entre o orçamento de amostragem e o desempenho. Grupos pequenos geram baselines ruidosos, enquanto grupos grandes melhoram a estabilidade às custas de custos computacionais massivos e barreiras de sincronização. Por outro lado, o PPO (Proximal Policy Optimization) tradicional com um crítico aprendido oferece aprendizado de valor explícito, mas incorre em um overhead substancial de memória e computação devido à necessidade de um modelo crítico separado, de escala da política.

Tentativas atuais de mitigar esses problemas (ex: DAPO, ReMax, VinePPO) permanecem dependentes de múltiplos rollouts, retêm atribuição de crédito grosseira ou exigem redes de valor separadas que duplicam parâmetros. Há uma necessidade de um framework que suporte o aprendizado eficiente de rollout único com estimativa de valor temporal explícita sem manter um crítico separado.

2. Metodologia: SAPO

Os autores propõem o Single-Rollout Autoregressive Policy Optimization (SAPO), um framework de baixo consumo de memória e computação que unifica o aprendizado de política e valor dentro de um único backbone autorregressivo.

Arquitetura Central: Ator-Crítico Autorregressivo

O SAPO aproveita a estrutura causal dos LLMs para representar a política, o valor do estado ( $V$ ) e o valor da ação ( $Q$ ) dentro de um único fluxo de modelo.

Limites Causais: O método identifica dois limites causais distintos dentro de um turno do agente:
1. Limite pré-ação: O contexto do estado ( $c^s_t$ ) antes da ação ser gerada.
2. Limite pós-ação: O contexto do estado concatenado com a ação gerada ( $c^{s,a}_t$ ).
Backbone Compartilhado: O mesmo modelo transformer gera os tokens de ação entre esses limites.
Base de Dois Tokens de Valor: Em vez de um head de valor separado, o SAPO reserva dois tokens específicos do vocabulário ( $w^+$ $w^{+}$ e $w^-$ $w^{-}$ ) exclusivamente como uma base de valor. O modelo lê os logits desses dois tokens nos respectivos limites causais para computar valores escalares normalizados:
- $V_\theta(s_t)$ é lido no limite pré-ação.
- $Q_\theta(s_t, a_t)$ é lido no limite pós-ação.
- O valor é derivado da diferença nos logits, clipado para um intervalo normalizado $[-1, 1]$ , e escalonado pelo retorno máximo possível ( $R_{max}$ ).
Separação de Política: Os tokens de valor reservados são excluídos do vocabulário de ação durante a geração da política e da normalização de probabilidade, garantindo que não interfiram na distribuição de ação.

Estimativa de Vantagem de Rollout Único

Ao contrário dos métodos relativos ao grupo, o SAPO amostra apenas um único trajeto por tarefa.

GAE de Nível de Trajetória: O método emprega um Estimador de Vantagem Generalizada (GAE) que propaga recompensas terminais atrasadas para trás através da trajetória usando os valores de estado ( $V$ ) aprendidos.
Alvos (Targets):
- O Valor de Estado é treinado em direção ao retorno $\lambda$ (propagando informações de resultado de longo alcance).
- O Valor de Ação é treinado em direção a um alvo SARSA on-policy (ancorando o limite pós-ação em consequências imediatas).
Normalização de Lote (Batch Normalization): Para estabilizar o treinamento sem estatísticas de grupo, as vantagens de nível de turno são normalizadas usando estatísticas de lote ( $\mu_B, \sigma_B$ ) através do lote de treinamento atual antes de serem transmitidas para todos os tokens da ação.

Otimização Conjunta

O SAPO otimiza uma função objetivo unificada em uma única passagem de retropropagação (backward pass):

Perda de Política de Nível de Token: Uma perda estilo PPO com clipping usando as vantagens normalizadas pelo lote.
Perdas de Valor: Perdas de regressão com clipping para ambos os objetivos $V$ e $Q$ , médias sobre turnos em vez de tokens para garantir peso igual para cada decisão, independentemente do comprimento da resposta.
Regularização: Inclui divergência KL contra uma política de referência e regularização de entropia.

3. Principais Contribuições

Arquitetura Unificada: Introdução de uma arquitetia ator-crítico autorregressiva de rollout único que representa e treina conjuntamente política, valor de estado e valor de ação através de leituras de limites causais, eliminando a necessidade de uma rede crítica separada.
Novo Estimador: Desenvolvimento de um estimador de vantagem de nível de trajetória combinando retornos $\lambda$ com normalização de lote, permitindo atribuição de crédito de nível de turno explícita sem depender de amostragem relativa ao grupo.
Eficiência e Estabilidade: Demonstração de que este framework unificado alcança um equilíbrio favorável de desempenho, estabilidade de treinamento, eficiência de memória e eficiência de tempo de execução em tarefas agênticas de longo horizonte.

4. Resultados Experimentais

Os autores avaliaram o SAPO nos benchmarks ALFWorld (raciocínio incorporado) e WebShop (navegação web) usando modelos de backbone Qwen2.5-1.5B e Qwen2.5-7B.

Desempenho: O SAPO superou consistentemente o PPO padrão e o GRPO.
- No ALFWorld com Qwen2.5-1.5B, o SAPO alcançou 90,1% de sucesso agregado, melhorando sobre o PPO e o GRPO em +35,7 e +17,3 pontos percentuais, respectivamente.
- No WebShop, o SAPO obteve uma melhoria de pontuação de +8,4 pontos e um aumento na taxa de sucesso de +12,2 pontos sobre o PPO.
- Em todos os experimentos (conforme resumido no Abstract), o SAPO treina de forma estável e supera o PPO e o GRPO em uma média de +15,1 e +12,1 pontos percentuais, respectivamente.
- Com o modelo 7B, o SAPO obteve 94,0% de sucesso no ALFWorld e uma pontuação de 88,6 no WebShop com 82,4% de sucesso, superando tanto o PPO quanto o GRPO, bem como variantes recentes em todas as três métricas agregadas.
Eficiência:
- Memória: O SAPO elimina o footprint de memória de um modelo crítico separado (que é tipicamente da escala da política).
- Tempo de Execução: O SAPO reduziu o tempo de execução por iteração em 33,2% em comparação ao PPO. As principais economias vieram da remoção das etapas separadas de inferência de valor e otimização do crítico, reduzindo o tempo total de 451,2s para 301,4s por iteração no ALFWorld.
Estabilidade: O método treinou de forma estável a partir de um único rollout por prompt, evitando os problemas de colapso de vantagem vistos em métodos relativos ao grupo sob feedback esparso.

5. Significância e Alegações

O artigo afirma que o SAPO resolve a tensão entre a generalização de valor explícita dos algoritmos ator-crítico e a eficiência de memória/computação da otimização sem crítico e relativa ao grupo.

Alinhamento Arquitetônico: Os autores argumentam que o fluxo de informação necessário para o aprendizado ator-crítico se alinha naturalmente com a ordem causal da geração de linguagem. Ao explorar esse alinhamento, o SAPO permite a otimização de valor eficiente dentro de um único modelo causal.
Escalabilidade: O framework demonstra que o aprendizado de valor explícito não requer modelos duplicados ou amostragem custosa, oferecendo um caminho viável para o RL agêntico eficiente de longo horizonte.
Generalização: Os resultados sugerem que o alinhamento arquitetônico entre a modelagem autorregressiva e o aprendizado ator-crítico pode reduzir a dependência de engenharia de recompensa densa específica da tarefa, já que o método apresenta bom desempenho com recompensas de resultado esparsas.

O artigo conclui que o SAPO representa um passo significativo para tornar o RL agêntico mais escalável e prático para interações complexas de múltiplos turnos.