Missing Old Logits in Asynchronous Agentic RL: Semantic Mismatch and Repair Methods for Off-Policy Correction

Resumo Técnico: Logits Antigos Ausentes em RL Agente Assíncrono

Definição do Problema
No aprendizado por reforço (RL) assíncrono para Modelos de Linguagem de Grande Escala (LLMs), o desacoplamento da geração de amostras (rollout) da otimização da política é essencial para maximizar a vazão. No entanto, essa arquitetura introduz um modo de falha crítico para a correção off-policy no estilo de Otimização de Política Proximal (PPO).

Idealmente, a razão de importância no PPO deve ser decomposta em dois fatores semanticamente distintos:

1. Discrepância Treinamento–Inferência ($r_d$): Corrige diferenças numéricas entre o motor de inferência (por exemplo, vLLM) e o motor de treinamento (por exemplo, Megatron-LM) na mesma versão da política.
2. Obsolescência da Política ($r_s$): Corrige a lacuna entre a política de comportamento histórica que gerou os tokens e a política atual sendo otimizada.

O artigo identifica que, em pipelines assíncronos práticos, particularmente aqueles envolvendo rollouts parciais e atualizações atrasadas, os logits antigos do lado do treinamento ($\pi_{old}$) necessários para calcular o termo de discrepância $r_d$ frequentemente estão ausentes. Quando o ator atualiza seus pesos antes que o rollout correspondente a uma versão anterior seja totalmente processado, a versão específica da política $\pi_{old}$ usada para gerar esses tokens pode não estar mais disponível.

Esse problema de "logit-antigo-ausente" força os métodos existentes a substituir o verdadeiro $\pi_{old}$ por aproximações (por exemplo, interpolação linear ou proxies estáticos). Os autores argumentam que essa substituição entrelaça o reparo de discrepância com a correção de obsolescência, quebrando a separação semântica pretendida. Consequentemente, os limites de clipping e mascaramento interagem de forma indesejável, levando a uma estabilidade e desempenho de otimização subótimos.

Metodologia
O artigo propõe uma análise unificada de correções off-policy sob uma visão de "dupla restrição" e avalia duas direções principais para resolução:

1. Aquisição Exata de Logits Antigos (Nível de Sistema):
   Os autores investigam três estratégias para recuperar o $\pi_{old}$ ground-truth sem depender de aproximações:

   • Rastreamento de Versão Baseado em Snapshots: Manter snapshots históricos de parâmetros e recarregar a versão específica que gerou cada token. Isso é exato, mas incorre em alto custo de memória e I/O.
   • Modelo Dedicado de Logits Antigos: Manter uma instância de modelo separada exclusivamente para calcular logits antigos enquanto o ator principal treina. Isso permite sobreposição de computação, mas requer partição de recursos.
   • Sincronização via Interrupção de Rollout Parcial: Interromper os trabalhadores de rollout para calcular logits antigos para trajetórias parciais antes que a versão da política seja descartada. Isso evita custos de armazenamento, mas introduz travamentos de sincronização e sobrecarga de reconfiguração de recursos.

2. Correção Aproximada (Nível de Algoritmo):
   Reconhecendo que a recuperação exata é frequentemente muito cara para sistemas em grande escala, o artigo propõe um método revisado PPO-EWMA (Média Móvel Exponencialmente Ponderada).

   • Em vez de usar um proxy de interpolação estática, este método mantém uma política de referência suavizada ($\pi_{prox}$) que rastreia o centro da janela de versões assíncrona.
   • Decaimento Consciente da Obsolescência: O fator de decaimento $\beta$ é definido com base na janela de obsolescência esperada ($W_{stale}$) para garantir que a política de referência se alinhe com o meio da lacuna de versões, em vez de ficar defasada.
   • Redefinição Automática: Para evitar que a política de referência desvie excessivamente e cause o colapso da "Máscara Treinamento-Inferência" (que filtra tokens com alta discrepância), o sistema monitora a fração de tokens ativos. Se essa fração cair abaixo de um limite ($\tau$), a política de referência é redefinida para os parâmetros atuais do ator.

O artigo também fornece uma análise teórica (Proposição 1) demonstrando que proxies baseados em interpolação (linear ou log-linear) não recuperam genuinamente a política de referência ausente; em vez disso, eles meramente reparametrizam os limites de clipping efetivos da razão de importância total.

Contribuições Principais

• Identificação do Problema de Logit-Antigo-Ausente: O artigo define formalmente o modo de falha semântica no RL Agente Assíncrono onde a ausência de $\pi_{old}$ quebra o desacoplamento do reparo de discrepância e da correção de obsolescência.
• Análise Unificada de Correções Off-Policy: Formula variantes existentes de PPO sob uma estrutura de Amostragem por Importância Mascada (MIS), esclarecendo por que uma única razão ou limite é insuficiente para lidar com discrepâncias numéricas e obsolescência da política.
• Análise de Trade-off de Sistema: Avalia três estratégias de aquisição exata, quantificando seus custos em termos de memória, I/O e sobrecarga de sincronização.
• Proposta PPO-EWMA: Introduz um método de correção aproximada de baixo custo que preserva os benefícios da correção desacoplada sem exigir mudanças caras na infraestrutura.

Resultados Experimentais
Os autores avaliaram seus métodos em benchmarks de RL Agente ($\tau^2$-Bench e VitaBench) usando modelos densos (Qwen3-4B) e de Mistura de Especialistas (Qwen3-30B-A3B).

• Desempenho: O método PPO-EWMA superou consistentemente o PPO Desacoplado padrão e proxies de interpolação linear (Linear_prox). No modelo MoE de 30B, o PPO-EWMA alcançou as maiores taxas de aprovação na divisão de companhias aéreas e empatou com o melhor em tarefas de varejo e telecomunicações.
• Comparação com o Ideal: Embora o PPO-EWMA não tenha correspondido totalmente ao desempenho do método "Snapshot" (que assume acesso perfeito aos logits antigos), alcançou resultados muito próximos do caso ideal, sugerindo que uma referência aproximada bem ajustada pode recuperar a maioria dos benefícios da correção exata.
• Sobrecarga de Sistema: Métodos de recuperação exata (Snapshot) incorreram em custos significativos de sistema (por exemplo, ~178 segundos extras por etapa para o modelo de 30B devido a passadas forward históricas). Em contraste, o PPO-EWMA adicionou sobrecarga negligenciável, oferecendo um trade-off superior de desempenho para custo.
• Estudos de Ablação: Experimentos confirmaram que, sem o mecanismo de redefinição automática, a referência EWMA poderia desviar, causando o colapso da Máscara Treinamento-Inferência e a falha do treinamento. O mecanismo de redefinição realinhou com sucesso a referência, mantendo a estabilidade.

Significado e Alegações
O artigo alega que o problema de logit-antigo-ausente é uma questão semântica fundamental no RL de LLM assíncrono que mina as garantias teóricas da correção desacoplada. Os autores afirmam que:

1. A recuperação exata é a única maneira de alcançar reparo de discrepância e correção de obsolescência semanticamente corretos, mas é frequentemente proibitivamente cara.
2. Métodos aproximados baseados em interpolação simples são insuficientes porque falham em restaurar a verdadeira política de referência, meramente deslocando os limites de restrição.
3. O PPO-EWMA oferece uma alternativa prática e de baixo custo que melhora significativamente a velocidade de treinamento e o desempenho de otimização sobre as bases assíncronas existentes, tornando-o uma solução viável para sistemas de RL Agente em grande escala onde a recuperação exata de logits é inviável.

O trabalho conclui que, embora o PPO-EWMA seja uma aproximação e possa ter dificuldades sob não estacionariedade extrema ou lacunas de versão muito grandes, ele representa um passo significativo para a frente na estabilização do treinamento assíncrono sem exigir modificações pesadas na infraestrutura.