Resumo Técnico: Sobre a Dinâmica de Otimização do RLVR

Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) emergiu como um paradigma dominante para o pós-treinamento de Modelos de Linguagem de Grande Escala (LLMs) em tarefas com resultados automaticamente verificáveis, como raciocínio matemático e geração de código. Diferentemente do Aprendizado por Reforço a partir de Feedback Humano (RLHF) tradicional, o RLVR depende de sinais esparsos e binários de sucesso/fracasso, em vez de modelos de recompensa aprendidos ou preferências humanas. Embora algoritmos como a Otimização de Política Relativa em Grupo (GRPO) e suas variantes (por exemplo, DAPO, Dr. GRPO) tenham demonstrado sucesso empírico significativo, a compreensão teórica de suas dinâmicas de otimização permanece limitada. Os praticantes frequentemente recorrem a heurísticas — como normalização de comprimento ou escalamento de recompensa baseado em variância — para estabilizar o treinamento, mas as condições sob as quais esses métodos convergem, estagnam ou falham catastróficamente não são rigorosamente caracterizadas. Este artigo aborda a lacuna entre o desempenho empírico e a compreensão teórica analisando as garantias de convergência de métodos de gradiente de política sob recompensas binárias.

Metodologia

Os autores desenvolvem um quadro teórico para analisar as dinâmicas de treinamento do RLVR em dois níveis de granularidade: o nível de trajetória (tratando a resposta inteira como uma única unidade) e o nível de token (contabilizando o processo de geração autoregressiva).

Conceitos Principais

1. Lacuna de Gradiente: O artigo introduz uma nova quantidade, a Lacuna de Gradiente ($g^+_q - g^-_q$), definida como a diferença entre as funções de pontuação esperadas (gradientes de log-probabilidade) sobre o espaço de respostas corretas ($O^+_q$) e respostas incorretas ($O^-_q$). Essa lacuna formaliza a verdadeira direção de melhoria necessária para deslocar a política de regiões de baixa recompensa para regiões de alta recompensa.
2. Alinhamento da Lacuna: Os autores definem o Alinhamento da Lacuna ($\Delta\mu_q$) como o produto interno entre a direção real de atualização ($w_k$) e a Lacuna de Gradiente. Essa métrica quantifica o quão bem a atualização do algoritmo se alinha com o objetivo verdadeiro.
3. Alinhamento Cumulativo da Lacuna: Para caracterizar o comportamento de longo prazo, o artigo define uma métrica cumulativa ($M_q(K)$) que agrega o sinal de alinhamento ao longo das iterações de treinamento, ponderado pelo tamanho do passo.

Análise Teórica

A análise baseia-se em suposições de regularidade padrão quanto à suavidade e limitação da função de pontuação da política (Suposições 1 e 2) e na natureza subexponencial dos comprimentos de resposta (Suposição 3).

• Análise em Nível de Trajetória: Os autores derivam limites sobre a mudança nas log-odds da taxa de sucesso ($J_q$) por passo de atualização. Eles estabelecem que a melhoria de primeira ordem é impulsionada pelo Alinhamento da Lacuna, enquanto termos de variância de segunda ordem (especificamente a variância do espaço negativo) podem causar instabilidade se o tamanho do passo for muito grande.
• Análise em Nível de Token: Ao decompor o gradiente em contribuições token a token, os autores refinam os limites de convergência. Essa análise incorpora explicitamente o comprimento da resposta ($T_\infty, T_{\psi_1}$), revelando que o tamanho do passo efetivo deve escalar inversamente com o comprimento da sequência para evitar divergência.

Contribuições Principais

1. Quadro Teórico Unificado para RLVR

O artigo fornece um quadro principiado aplicável a qualquer método baseado em gradiente de política (incluindo REINFORCE, GRPO e Dr. GRPO) operando sob recompensas binárias. Ele unifica a análise desses algoritmos caracterizando suas dinâmicas através da lente da Lacuna de Gradiente e do Alinhamento da Lacuna.

2. Limites Nítidos de Tamanho de Passo

Uma contribuição teórica central é a derivação de um limite nítido de tamanho de passo que separa a convergência da divergência.

• Convergência: O artigo prova que, se o tamanho do passo ($\eta_k$) for escalado adaptativamente para ser proporcional ao Alinhamento da Lacuna e inversamente proporcional à variância e ao comprimento da resposta, a política converge para a solução ótima ($J_q \to 1$).
• Falha Catastrófica: Inversamente, os autores provam que, se o tamanho do passo exceder um limite específico (mesmo que a direção de atualização esteja perfeitamente alinhada), o processo de otimização ultrapassará o alvo, fazendo com que a taxa de sucesso diminua estritamente e convirja para zero. Isso explica o fenômeno de "colapso" observado na prática.

3. Explicação de Heurísticas Práticas

A teoria oferece uma justificação rigorosa para práticas comuns de engenharia:

• Normalização de Comprimento: A análise em nível de token demonstra que a taxa de aprendizado efetiva deve diminuir à medida que o comprimento da resposta aumenta. Isso fornece uma base teórica para o motivo pelo qual a normalização de comprimento (usada no GRPO) estabiliza o treinamento, enquanto métodos que carecem dessa normalização (como certas formulações do Dr. GRPO) podem ter dificuldades com sequências mais longas.
• Estagnação: O artigo explica por que taxas de aprendizado fixas podem levar à estagnação em taxas de sucesso estritamente abaixo de 100%. À medida que a política melhora, a estrutura de variância muda, e um tamanho de passo fixo pode eventualmente violar o limite de convergência, fazendo com que o algoritmo pare ou oscile.

4. Validação Empírica

As previsões teóricas são validadas através de:

• Simulações de Bandit Contextual: Experimentos em problemas de bandit sintéticos demonstram a relação logística entre o Alinhamento Cumulativo da Lacuna e a precisão, confirmando a existência de regimes distintos de convergência e estagnação.
• Experimentos com LLMs: Os autores ajustaram finamente o modelo Qwen2.5-Math-7B nos conjuntos de dados GSM8K, DeepScaleR e DAPO-17k usando GRPO. Os dados empíricos mostram uma forte correlação entre o Alinhamento Cumulativo da Lacuna e a precisão do modelo, alinhando-se estreitamente com os limites inferiores teóricos.

Resultados

• Garantias de Convergência: O artigo estabelece que a convergência para desempenho perfeito é garantida se o Alinhamento Cumulativo da Lacuna divergir para infinito ($M_q(K) \to \infty$).
• Limites de Estagnação: Se o sinal de alinhamento for fraco ou o tamanho do passo for muito grande, o desempenho é limitado estritamente abaixo de 1, impedindo que o modelo atinja 100% de precisão.
• Modos de Falha: Os autores constroem instâncias de problemas específicas onde um tamanho de passo constante, apesar de um alinhamento positivo, leva a um decaimento monótono do desempenho até zero, confirmando a existência de um regime de "falha catastrófica".
• Normas de Gradiente vs. Recompensa: O artigo observa que a soma das normas do gradiente da política pode convergir mesmo quando a recompensa não o faz, sugerindo que critérios de convergência padrão baseados em gradiente são insuficientes para RLVR; a métrica de Alinhamento da Lacuna é um indicador mais preciso de melhoria de recompensa.

Significado

O artigo afirma fornecer a primeira base teórica rigorosa para as dinâmicas de otimização do RLVR. Ao ir além de observações empíricas de caixa-preta, ele identifica a Lacuna de Gradiente como o motor fundamental da aprendizagem e o limite de tamanho de passo como o parâmetro de controle crítico para estabilidade.

O significado reside em sua capacidade de:

1. Desmistificar o RLVR: Explica por que certos algoritmos (como GRPO com normalização de comprimento) funcionam enquanto outros falham, movendo o campo de ajustes baseados em intuição para design guiado por teoria.
2. Orientar o Ajuste de Hiperparâmetros: Fornece condições concretas e matematicamente derivadas para a seleção de tamanho de passo, oferecendo um caminho para evitar colapso catastrófico e estagnação.
3. Caracterizar o Comportamento do Algoritmo: Esclarece as limitações das taxas de aprendizado fixas e a necessidade de escalonamento adaptativo em relação ao comprimento da resposta e à dificuldade da tarefa, oferecendo uma explicação teórica para a estagnação observada nas taxas de correção nos pipelines atuais de RLVR.

Os autores concluem que seu quadro caracteriza as dinâmicas de abordagens populares e sugere direções futuras, como atualizações adaptativas ao prompt e treinamento baseado em currículo, para aprimorar ainda mais a estabilidade e a convergência em distribuições diversas de prompts.