Resumo Técnico: ASymPO: Otimização de Política de Escala Assimétrica para Pós-Treinamento de LLM Assíncrono

1. Definição do Problema

O artigo aborda uma instabilidade crítica no aprendizado por reforço (RL) assíncrono para o pós-treinamento de Grandes Modelos de Linguagem (LLMs). Sistemas modernos frequentemente desacoplam a geração de respostas (rollout) da otimização da política (aprendizado) para melhorar o rendimento (throughput). Nesta configuração, os trabalhadores de rollout amostram respostas de snapshots recentes da política, enquanto o aprendiz atualiza uma política mais recente.

Essa assincronia introduz um desvio de distribuição (distribution drift): a política de comportamento ($\pi_b$) que gerou uma resposta difere da política atual ($\pi_\theta$) usada para treiná-la.

• Solução Padrão: Métodos como o PPO usam probabilidades da política de comportamento (log-probs) para calcular razões de importância e aplicar o clipping. Isso exige que o sistema de rollout transmita log-probabilidades de comportamento alinhadas por token, versionadas e numericamente consistentes para o aprendiz, complicando a infraestrutura e introduzindo potencial desvio numérico.
• O Modo de Falha: Os autores identificam que objetivos baseados apenas na política atual (que omitem as log-probabilidades da política de comportamento) são instáveis em configurações assíncronas. Especificamente, no RL relativo ao grupo onde as vantagens somam zero ($\sum A_g = 0$), respostas com vantagem positiva e negativa podem entrar na função de perda em escalas de log-probabilidade negativa atual vastamente diferentes.
  • Respostas estagnadas (stale) com vantagem negativa tendem a ter log-probabilidades negativas atuais muito maiores do que as respostas positivas.
  • Isso faz com que o lado negativo da perda domine, quebrando o cancelamento de soma zero pretendido pelo baseline do grupo.
  • O resultado é o colapso do treinamento, onde o modelo suprime excessivamente as amostras negativas estagnadas sem receber sinais compensatórios das amostras positivas.

2. Metodologia

O artigo propõe dois objetivos baseados apenas na política atual, projetados para estabilizar o treinamento sem exigir informações da política de comportamento. Ambos operam sobre a vantagem relativa ao grupo $A_g$ e a média do log-negativo do token da política atual $S_{\theta,g}$.

2.1 Scaled Policy Optimization (SPO)

O SPO é um baseline heurístico que reduz manualmente a influência das respostas de vantagem negativa.

• Mecanismo: Aplica um coeficiente de escala fixo $\alpha \in (0, 1)$ às vantagens negativas ($A_g < 0$), enquanto deixa as vantagens positivas ($A_g \ge 0$) inalteradas.
• Função de Perda:
  $$L_{SPO}(\theta) = -\frac{1}{G} \sum_{g=1}^G \frac{1}{m_g} \sum_{i=1}^{m_g} \tilde{A}_g \log p_{g,i}(\theta)$$
  onde $\tilde{A}_g = \alpha A_g$ se $A_g < 0$, caso contrário, $A_g$.
• Limitação: O fator de escala $\alpha$ é ajustado manualmente e não se adapta à escala específica de cada resposta ou ao grau de estagnação (staleness).

2.2 Asymmetric-Scale Policy Optimization (ASymPO)

O ASymPO substitui a regra manual por uma normalização adaptativa ao nível da resposta que equilibra automaticamente as contribuições da perda.

• Mecanismo: Normaliza a perda de cada resposta por sua própria média de log-negativo de token atual ($S_{\theta,g}$). Um operador de parada de gradiente (stop-gradient) $sg$ é aplicado ao denominador para evitar que o termo de normalização seja atualizado durante a retropropagação.
• Função de Perda:
  $$L_{ASymPO}(\theta) = \frac{1}{G} \sum_{g=1}^G A_g \frac{S_{\theta,g}}{sg(S_{\theta,g})}$$
• Garantia Teórica: O Teorema 2 prova que, sob vantagens de soma zero, o ASymPO garante um equilíbrio exato de perda ao nível da resposta. A contribuição de perda direta das respostas positivas é igual à magnitude das contribuições das respostas negativas, independentemente de suas diferentes escalas de log-probabilidade atual.
• Gradiente: O gradiente permanece uma direção padrão de gradiente de política, mas a magnitude da atualização para cada resposta é normalizada por sua própria escala atual.

3. Principais Contribuições

1. Identificação do Desequilíbrio de Escala: O artigo identifica formalmente um modo de falha específico no RL assíncrono baseado apenas na política atual, onde amostras negativas estagnadas dominam a perda devido a discrepâncias de escala, quebrando o equilíbrio de vantagem de soma zero.
2. Formulação de SPO e ASymPO: Introduz dois objetivos que estabilizam o treinamento sem as probabilidades da política de comportamento. O ASymPO é provado como capaz de equilibrar exatamente as contribuições de perda positiva e negativa sob vantagens de soma zero.
3. Simplificação de Infraestrutura: O ASymPO permite uma interface rollout–learner estritamente mais compacta. Ele elimina a necessidade de transportar log-probabilidades de comportamento por token, tags de versão de política ou realizar a recomputação de logits na precisão de treinamento (Tabela 1).
4. Validação Empírica: Os métodos são avaliados em tarefas de raciocínio matemático pós-treinamento em três famílias de modelos (Qwen3-1.7B, Qwen3-4B, LLaMA-3.2-3B).

4. Resultados Experimentais

Os experimentos foram conduzidos em tarefas de raciocínio matemático (MATH, AIME, GSM8K, etc.) usando RL assíncrono com um limiar de estagnação de 0,5.

• Estabilidade:
  • A Perda Naive (Naive Loss) e o GPG (um método que evita a amostragem de importância, mas carece de equilíbrio de grupo) colapsaram durante o treinamento em todas as famílias de modelos, não produzindo checkpoints avaliáveis.
  • GRPO (o baseline corrigido pelo comportamento), SPO e ASymPO mantiveram trajetórias de recompensa de treinamento estáveis.
• Desempenho:
  • O ASymPO geralmente alcançou desempenho competitivo ou superior em comparação ao GRPO (o baseline corrigido pelo comportamento) em métricas agregadas, particularmente no LLaMA-3.2-3B-Instruct e Qwen3-4B-Base.
  • O SPO também evitou o colapso e permaneceu competitivo, embora a escala adaptativa do ASymPO frequentemente tenha gerado melhores resultados em benchmarks específicos (ex: AIME24, MATH500).
  • No Qwen3-1.7B-Base, o ASymPO alcançou um mean@8 de 36,98, próximo ao do GRPO (37,45), enquanto o SPO alcançou 36,41.
• Ablação: O artigo observa que o SPO é sensível à escolha de $\alpha$ (definido como 0,2 nos experimentos). Se $\alpha=1$, ele colapsa como a perda naive; se $\alpha=0$, comporta-se como ajuste fino de apenas política positiva com desempenho fraco.

5. Significância e Alegações

O artigo afirma que as probabilidades da política de comportamento não são estritamente necessárias para um RL assíncrono de pós-treinamento competitivo e estável, desde que o desequilíbrio de escala entre as respostas positivas e negativas seja explicitamente corrigido.

• Impacto Prático: O ASymPO oferece um mecanismo para estabilizar o RL de grupo relativo assíncrono, simplificando significativamente a arquitetura do sistema. Ele remove a "condição de correção" que vincula a interface rollout–learner ao transporte de log-probabilidade de comportamento, versionamento e consistência numérica.
• Escopo: Os autores enquadram modestamente a contribuição como o endereçamento de um modo de falha específico (desequilíbrio de escala de perda) em vez de uma solução geral para todo tipo de desvio de distribuição. Eles reconhecem que o ASymPO não limita a razão da política entre a geração e o treinamento como os métodos corrigidos pelo comportamento, e sua eficácia é demonstrada principalmente em tarefas de raciocínio matemático com recompensas verificáveis.
• Trabalhos Futuros: O artigo sugere que é necessária uma caracterização teórica adicional para entender quando a normalização da escala da resposta aproxima a correção de comportamento e quando a informação explícita da política de comportamento permanece inevitável.