Slow-Fast Policy Optimization: Reposition-Before-Update for LLM Reasoning

Título: Otimização de Política Lenta-Rápida (SFPO): Reposicionamento Antes da Atualização para Raciocínio em LLMs

1. Problema Identificado

O Aprendizado por Reforço (RL) tornou-se fundamental para aprimorar o raciocínio em Modelos de Linguagem de Grande Escala (LLMs), com algoritmos on-policy como a Otimização de Política Relativa em Grupo (GRPO) sendo amplamente adotados. No entanto, o GRPO enfrenta limitações estruturais críticas, especialmente nas fases iniciais do treinamento:

• Instabilidade em Atualizações Únicas: O GRPO realiza uma única atualização estocástica por lote de rollouts (amostras geradas). Em estágios iniciais, onde os rollouts são de baixa qualidade ou ruidosos, isso gera gradientes de alta variância, levando a atualizações instáveis e exploração ineficiente.
• Subutilização de Dados: A prática comum de usar apenas um passo de otimização por lote desperdiça informações gradientes que poderiam ser exploradas em passos internos, resultando em ineficiência amostral.
• Deriva Off-Policy: Tentativas simples de reutilizar dados de rollout para múltiplas atualizações (atualização off-policy) tendem a degradar o desempenho à medida que o treinamento avança, devido ao desalinhamento entre a distribuição dos dados e a política atual.

2. Metodologia: SFPO (Slow-Fast Policy Optimization)

Os autores propõem o SFPO, um framework simples, mas eficiente, que reestrutura cada passo de treinamento em três estágios coordenados. O design central é o "reposicionamento antes da atualização", que mantém o objetivo e o processo de rollout inalterados, tornando-o compatível com pipelines existentes.

Os três estágios são:

1. Estágio I: Trajetória Rápida (Fast Trajectory)

   • Em vez de uma única atualização, o modelo executa K atualizações internas consecutivas no mesmo lote de rollouts.
   • Objetivo: Estabilizar a direção de busca. A acumulação de múltiplos passos de gradiente no mesmo lote ajuda a suavizar o ruído estocástico e alinhar a direção de atualização com o campo de gradiente local, funcionando como um filtro passa-baixa sensível à curvatura.

2. Estágio II: Reposicionamento (Reposition)

   • Após a trajetória rápida, o ponto final ($\theta_{s,K}$) é interpolado de volta em direção ao ponto de partida original ($\theta_{s,0}$).
   • Fórmula: $\tilde{\theta}_{s,K} = \theta_{s,0} + \alpha(\theta_{s,K} - \theta_{s,0})$, onde $\alpha \in [0, 1]$.
   • Objetivo: Controlar a deriva off-policy. Como as atualizações internas reutilizam dados gerados pela política antiga, o ponto final pode estar muito distante da distribuição original. O parâmetro $\alpha$ atua como um raio de confiança implícito, garantindo que a atualização não se afaste excessivamente da região on-policy, prevenindo o overfitting a lotes pequenos e ruidosos.

3. Estágio III: Correção Lenta (Slow Correction)

   • Uma atualização final de gradiente é realizada no ponto reposicionado ($\tilde{\theta}_{s,K}$).
   • Objetivo: Alinhar a atualização com a curvatura local no novo ponto, atuando como um passo de correção para garantir que o modelo desça na direção correta do mínimo local.

Agendamento Adaptativo de $\alpha$:
O papel de $\alpha$ é crucial. O SFPO utiliza um mecanismo de controle baseado em entropia:

• Nas fases iniciais (alta entropia, sinal forte), $\alpha$ é mantido alto para explorar a trajetória rápida estabilizada.
• Quando a entropia do modelo cai abruptamente (indicando convergência ou instabilidade próxima a um ótimo local), $\alpha$ é reduzido para 0, revertendo o SFPO para o GRPO padrão para garantir estabilidade final.

3. Contribuições Principais

• Novo Mecanismo de Atualização: Introdução do SFPO, que decompõe a atualização em "rápido-reposicionamento-lento", transformando atualizações únicas ruidosas em trajetórias estruturadas.
• Compatibilidade Plug-and-Play: O método não altera a função objetivo, a geração de rollouts ou a regularização KL. Pode ser integrado diretamente em pipelines de GRPO existentes sem modificações complexas.
• Eficiência Teórica e Prática: O framework oferece insights teóricos sobre como a trajetória rápida atua como um filtro de ruído e como o reposicionamento mitiga a deriva de distribuição, melhorando a eficiência amostral.

4. Resultados Experimentais

Os autores validaram o SFPO em cinco modelos (incluindo Qwen2.5-Math, DeepSeek-R1-Distill e Qwen3) em seis benchmarks de raciocínio matemático (Math500, AIME24/25, AMC, etc.).

• Desempenho Superior: O SFPO superou consistentemente o GRPO padrão.
  • Ganho médio de 2.80 pontos em benchmarks de raciocínio matemático.
  • Em modelos menores (ex: DeepSeek-R1-Distill-Qwen-1.5B), o ganho foi de até +2.80 pontos na precisão média, com melhorias significativas em tarefas difíceis como AIME25 (+7.5 pontos).
• Eficiência de Amostragem:
  • O SFPO alcançou a mesma precisão máxima do GRPO com até 4.93× menos rollouts.
  • Redução no tempo de parede (wall-clock time) de até 4.19× para atingir o mesmo nível de precisão.
• Estabilidade de Treinamento:
  • O SFPO demonstrou convergência mais rápida e estável, evitando o colapso de respostas curtas (comum no GRPO) e mantendo uma entropia mais eficiente (exploração direcionada, não suprimida).
  • Em tarefas de codificação (LiveCodeBench), o SFPO também mostrou melhorias consistentes, indicando generalidade além do raciocínio matemático.

5. Significado e Impacto

O SFPO representa um avanço significativo na otimização de políticas para LLMs de raciocínio:

• Solução para Ineficiência Inicial: Resolve o problema de instabilidade nas fases iniciais do treinamento RL, onde os dados são mais ruidosos, permitindo um aprendizado mais robusto.
• Redução de Custos: Ao reduzir drasticamente a necessidade de rollouts (que consomem >70% do tempo de inferência/treinamento), o SFPO torna o treinamento de modelos de raciocínio avançados muito mais econômico e escalável.
• Paradigma de Otimização: O conceito de "reposicionamento antes da atualização" oferece uma nova perspectiva para lidar com o trade-off entre exploração de dados e estabilidade de distribuição, podendo ser aplicado a outras variantes de RL e algoritmos de otimização.

Em resumo, o SFPO oferece uma melhoria estrutural simples, mas poderosa, que transforma a otimização de políticas on-policy em um processo mais estável, eficiente em dados e rápido, estabelecendo um novo padrão para o treinamento de modelos de raciocínio em LLMs.