Resumo Técnico: Otimização Assíncrona de Rollout Único para Aprendizado por Reforço Agêntico

Declaração do Problema

O Aprendizado por Reforço (RL) tornou-se um componente crítico no pós-treinamento de Grandes Modelos de Linguagem (LLMs), particularmente para tarefas agênticas que envolvem horizontes longos, codificação e raciocínio complexo. No entanto, os pipelines de RL existentes são predominantemente síncronos e intercalados em lotes (batch-interleaved). Nesses sistemas, a política gera um lote de rollouts e a otimização só começa após todo o lote ser coletado. Essa abordagem é ineficiente para cargas de trabalho agênticas onde os comprimentos das trajetórias variam significamente; trajetórias curtas terminam rapidamente, enquanto as longas atuam como retardatárias (stragglers), causando um tempo ocioso substancial nos clusters de GPU.

Embora o RL assíncrono — que atualiza o modelo continuamente conforme os rollouts chegam — ofereça uma solução para melhorar a utilização e a eficiência de tempo de execução (wall-clock efficiency), ele introduz dois desafios primários:

1. Instabilidade de Treinamento e Deriva Off-Policy: Em configurações assíncronas, os rollouts são gerados por múltiplas versões antigas do modelo de política. Esse "atraso da política" (policy lag) cria um comportamento off-policy imprevisível que pode desestabilizar o treinamento.
2. Incompatibilidade com Amostragem por Grupo: Algoritmos amplamente utilizados como o Group Relative Policy Optimization (GRPO) dependem da amostragem de um grupo de respostas por prompt para estimar vantagens via média de nível de grupo. Essa abordagem de grupo é incompatível com o treinamento assíncrono porque o grupo deve esperar pelo membro mais lento para terminar, reintroduzindo latência e viés off-policy. Além disso, a amostragem por grupo é mal adequada para configurações online ou agênticas complexas onde o ambiente geralmente fornece apenas um feedback de trajetória por prompt.

Metodologia: Otimização de Rollout Único Assíncrona (SAO)

Os autores propõem o SAO, um framework projetado para estabilizar o treinamento de RL assíncrono enquanto preserva sua eficiência. O SAO substitui a amostragem por grupo pela amostragem de rollout único (um rollout por prompt) e introduz mecanismos específicos para lidar com os desafios resultantes de off-policy e variância.

1. Amostragem de Importância Direta de Lados Duplos (DIS)

Para abordar o "atraso da política" entre o motor de rollout e o modelo de treinamento sem o custo computacional de rastrear um histórico de políticas antigas:

• Cálculo de Razão Simplificado: O SAO utiliza diretamente a política de rollout ($\pi_{rollout}$) como o proxy de comportamento e a política atual ($\pi_\theta$) para a amostragem de importância, efetivamente eliminando a necessidade de uma política "antiga" ($\pi_{old}$) separada e potencialmente obsoleta. A razão de probabilidade é calculada diretamente dos logs de rollout: $r_t(\theta) = \exp(\log \pi_\theta - \log \pi_{rollout})$.
• Clipping de Nível de Token de Lados Duplos: Ao contrário do clipping padrão do PPO, o SAO emprega uma estratégia de clipping de lados duplos rigorosa. Ele restringe a região de confiança ao intervalo $[1-\epsilon_\ell, 1+\epsilon_h]$. Tokens que caem fora desse intervalo são totalmente mascarados do cálculo do gradiente. Esse mascaramento agressivo evita instabilidades causadas por divergências extremas de política.

2. Amostragem de Rollout Único com Modelagem de Valor Aprimorada

Substituir a amostragem por grupo pela atualização de rollout único reduz a latência, mas aumenta a variância do gradiente. Para mitigar isso, o SAO introduz estratégias específicas de treinamento do modelo de valor:

• Atualizações de Valor Mais Rápidas: A rede de valor ($V_\phi$) é atualizada mais frequentemente que a política ($\pi_\theta$). Especificamente, para cada atualização única de gradiente de política, a rede de valor passa por $K$ atualizações (onde $K=2$ nos experimentos). Isso garante que as estimativas de valor se adaptem rapidamente à política atual antes de serem usadas para o cálculo da vantagem.
• Treinamento de Atenção Congelada: Para estabilizar o modelo de valor, os autores observam que a instabilidade se origina principalmente das camadas de Atenção Total (Full Attention). Consequentemente, eles congelam os parâmetros de atenção no modelo de valor e otimizam apenas as projeções de Mistura de Especialistas (MoE). Isso regulariza o modelo de valor, aproveitando os pesos de atenção pré-treinados enquanto permite que o modelo aprenda funções de valor específicas da tarefa.
• GAE de Nível de Token com Pulo de Observação: Para tarefas agênticas com ações intercaladas ($a_i$) e observações do ambiente ($o_i$), o GAE padrão (Generalized Advantage Estimation) introduz ruído ao calcular vantagens através da fronteira onde o modelo não gera a observação. O SAO deriva um GAE de Pulo de Observação que vincula o valor da ação atual diretamente ao valor da próxima ação, contornando os tokens de feedback externo do ambiente.

3. Escalonamento de Pré-treinamento do Modelo de Valor

Os autores enfatizam que uma inicialização robusta é crítica. Eles escalam significativamente os dados usados para o pré-treinamento do modelo de valor para resolver o problema do "cold start", garantindo que o modelo de valor seja eficaz desde os estágios iniciais do treinamento de rollout único.

Principais Contribuições

1. Mecanismo de Estabilização: Introdução de uma estratégia de amostragem de importância de nível de token simplificada, porém agressiva (DIS), que elimina a necessidade de rastreamento de política histórica enquanto impõe um clipping rigoroso de lados duplos para manter a estabilidade do treinamento.
2. Paradigma de Rollout Único: Uma mudança da amostragem por grupo para a amostragem de rollout único para eliminar barreiras de sincronização em RL assíncrono, acompanhada de designs específicos de treinamento de modelo de valor (atualizações mais rápidas, atenção congelada) para gerenciar a variância resultante.
3. Estimador Específico para Agentes: Derivação de um estimador GAE de nível de token de Pulo de Observação que lida corretamente com a descontinuidade entre ações geradas pelo modelo e feedback do ambiente em trajetórias de múltiplos turnos.
4. Validação Empírica: Demonstração de que o SAO pode treinar estavelmente por mais de 1.000 passos, superando o GRPO e suas variantes em diversos benchmarks.

Resultados Experimentais

O SAO foi avaliado em benchmarks de raciocínio matemático e codificação agêntica, incluindo SWE-Bench Verified, AIME2025, BeyondAIME, HMMT Nov 2025 e IMOAnswerBench.

• Desempenho: O SAO superou consistentemente o baseline (Qwen3-30B-A3B SFT) e as variantes do GRPO em todos os benchmarks.
  • No AIME2025, o SAO alcançou 97,3% de precisão comparado a 84,2% para o GRPO (com python) e 80,4% para o baseline de SFT.
  • No SWE-Bench Verified, o SAO alcançou 29,8% de precisão, superando o GRPO (27,0%) e o baseline (23,0%).
• Estabilidade: Enquanto o GRPO padrão sofreu colapso de desempenho em torno de 160 passos de treinamento, o SAO manteve o desempenho estável e continuou a melhorar até 1.000 passos.
• Estudos de Ablação: Remover componentes como "Atualizações de Valor Mais Rápidas" ou "Atenção Congelada" resultou em degradação de desempenho, confirmando a necessidade dessas escolhas de design.
• Aprendizado Online: Em um cenário simulado de aprendizado online com preferências de recompensa variáveis (estilos de escrita), o SAO demonstrou um rápido realinhamento de política, enquanto um baseline de Média Móvel (Running Mean) exibiu um atraso de adaptação significativo.

Significância e Alegações

O artigo afirma que o SAO aborda com sucesso o compromisso entre eficiência e estabilidade no RL assíncrono para LLMs. Ao se afastar da amostragem por grupo inerente ao GRPO, o SAO permite o treinamento assíncrono real, onde os rollouts são consumidos imediatamente após chegarem, eliminando o efeito de retardatários.

Os autores afirmam que sua abordagem é particularmente eficaz para tarefas agênticas e cenários de aprendizado online onde o feedback de trajetória única é a norma. O deploy bem-sucedido do SAO no pipeline de treinamento do modelo aberto GLM-5.2 (750B-A40B) serve como uma validação prática da escalabilidade e robustez do método em configurações reais de grande escala. O trabalho sugere que, com um design adequado de modelo de valor e correção off-policy, o RL assíncrono pode ser uma alternativa estável e superior aos métodos de lote síncronos para tarefas de raciocínio de longo horizonte e complexas.