Resumo Técnico: RL sem Verificador para LLMs via Recompensa Intrínseca de Norma de Gradiente (VIGOR)

1. Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) emergiu como um paradigma poderoso de pós-treinamento para Modelos de Linguagem de Grande Escala (LLMs), particularmente em tarefas de raciocínio como matemática e programação. No entanto, o RLVR depende fortemente de verificadores externos e específicos de domínio (por exemplo, verificadores de correspondência exata para respostas matemáticas ou testes unitários para código). Essa dependência limita a escalabilidade para novas tarefas ou domínios onde tais verificadores estão indisponíveis ou são difíceis de construir.

Alternativas sem verificador existentes enfrentam desafios significativos:

• Métodos de Votação Majoritária: Estes derivam pseudorótulos do consenso entre múltiplas amostras. Frequentemente assumem que respostas finais podem ser extraídas e normalizadas de forma confiável, limitando sua aplicabilidade a gerações de forma livre.
• Métodos de Sinal Intrínseco: Estes utilizam sinais internos do modelo, como entropia ou autoconfiança. Embora promissores, podem tornar-se frágeis à medida que o treinamento progride, levando à degeneração da recompensa, instabilidade e colapso de desempenho.

O desafio central é desenvolver um sinal de recompensa sem verificador que seja amplamente aplicável a saídas de forma livre, estável durante o aprendizado por reforço e que dependa exclusivamente do próprio modelo de política, sem componentes auxiliares.

2. Metodologia: VIGOR

Os autores propõem o VIGOR (Recompensa Intrínseca de Norma de Gradiente sem Verificador), um método que calcula recompensas utilizando apenas a dinâmica interna de treinamento do modelo de política.

Intuição Central

O método fundamenta-se na teoria de otimização de primeira ordem. Em uma paisagem de perda, uma norma de gradiente menor tipicamente indica que os parâmetros atuais estão próximos de uma região estacionária, implicando atualizações mais suaves e dinâmicas de treinamento mais estáveis. O VIGOR postula que conclusões que induzem normas $\ell_2$ menores dos gradientes de verossimilhança negativa (NLL) forçados pelo professor são mais alinhadas com a política atual e devem receber recompensas mais altas.

Passos Algorítmicos

Para um dado prompt $x$, a política $\pi_\theta$ amostra um grupo de $G$ conclusões $\{y_i\}_{i=1}^G$. O cálculo da recompensa procede da seguinte forma:

1. Cálculo da Norma do Gradiente: Para cada conclusão $y$, a NLL média por token $\ell_{mean}(x, y)$ é calculada. O gradiente $g(x, y) = \nabla_\theta \ell_{mean}(x, y)$ é calculado em relação aos parâmetros atuais $\theta$ (sem atualizar o modelo). O gradiente é desconectado do grafo de computação para servir como um sinal escalar.
2. Correção de Comprimento ($\sqrt{T}$ Escalonamento): A norma de gradiente bruta $\|g\|_2$ exibe um viés sistemático onde ela diminui à medida que o comprimento da sequência $T$ aumenta, mesmo que a qualidade não melhore. Para combater esse "hacking de comprimento", o sinal é escalonado por $\sqrt{T}$:
   $$S_{GN}(x, y) = -\sqrt{T} \|g(x, y)\|_2$$
   O sinal negativo converte a minimização das normas de gradiente em um objetivo de maximização de recompensa.
3. Normalização Baseada em Ranks: Para estabilizar as escalas de recompensa entre diferentes prompts e garantir comparabilidade, os sinais brutos dentro de um grupo são ordenados e mapeados para uma recompensa baseada em rank $R_{GN} \in [-1, +1]$. A pior conclusão (maior norma de gradiente) recebe $-1$, e a melhor (menor norma de gradiente) recebe $+1$.
4. Otimização da Política: Essas recompensas normalizadas por rank são usadas para calcular vantagens relativas ao grupo $\hat{A}_i$ dentro do framework de Otimização de Política Relativa ao Grupo (GRPO). A política é atualizada para maximizar o objetivo, incentivando conclusões com menores normas de gradiente.

3. Contribuições Principais

• Framework VIGOR: Um mecanismo de recompensa intrínseca sem verificador novel que utiliza a norma $\ell_2$ de gradientes forçados pelo professor como proxy para alinhamento da política e estabilidade de treinamento.
• Correção de Comprimento: A introdução de um fator de escalonamento $\sqrt{T}$ para neutralizar o viés sistemático de comprimento inerente às normas de gradiente por token médias, impedindo que o modelo explore a inflação de comprimento para maximizar recompensas.
• Moldagem Baseada em Ranks: Uma técnica de normalização que estabiliza as escalas de recompensa entre prompts ao confiar na ordenação relativa dentro do grupo em vez de magnitudes absolutas de gradiente.
• Validação Empírica: Experimentos extensivos demonstrando que o VIGOR supera as bases sem verificador mais avançadas (especificamente RLIF/INTUITOR) em benchmarks de raciocínio matemático e geração de código, mantendo ao mesmo tempo dinâmicas de treinamento estáveis.

4. Resultados Experimentais

Os experimentos foram conduzidos nos modelos Qwen2.5-3B-Base e Qwen2.5-7B-Base, treinados respectivamente no conjunto de dados MATH e no conjunto de dados CodeContests.

Desempenho em Matemática (Treinado no MATH)

• Qwen2.5-7B: O VIGOR melhorou a precisão média em matemática em +3,31% sobre a linha de base INTUITOR. Especificamente, alcançou 76,20% no MATH500 e 44,42% no AMC.
• Transferência Interdomínio: Quando treinado exclusivamente com dados matemáticos, o VIGOR melhorou a precisão média de código em +1,91% sobre a linha de base INTUITOR, demonstrando transferência interdomínio eficaz.
• Estabilidade: Diferentemente do INTUITOR, que mostrou regressão tardia na precisão, o VIGOR manteve melhoria estável ao longo do treinamento.

Desempenho em Código (Treinado no CodeContests)

• Qwen2.5-3B: O VIGOR melhorou o desempenho médio de código de 16,98% para 23,64%.
• Transferência Interdomínio: O treinamento com dados de código melhorou a média matemática de 48,34% para 56,57%.
• Nota: Na métrica CodeAvg, o VIGOR (23,64%) teve desempenho ligeiramente inferior ao INTUITOR (25,43%), particularmente no benchmark CRUX. Os autores atribuem isso à natureza da programação competitiva, onde a correção frequentemente depende de escolhas algorítmicas discretas não totalmente capturadas pela suavidade do gradiente.

Análise de Dinâmicas de Treinamento

• Estabilidade: O VIGOR exibiu dinâmicas de treinamento mais estáveis em comparação com o INTUITOR, que sofreu degeneração de recompensa (onde amostras de alta recompensa tornaram-se menos alinhadas com a correção ao longo do tempo).
• Controle de Comprimento: O VIGOR efetivamente freou a inflação de comprimento. Enquanto o INTUITOR mostrou um aumento pronunciado no comprimento de geração, o VIGOR produziu saídas substancialmente mais curtas, focando a otimização na qualidade do raciocínio em vez de hacking de comprimento.
• Monotonicidade Rank-Precisão: A análise confirmou uma forte relação monotônica entre a classificação por norma de gradiente e a precisão da tarefa; conclusões classificadas mais alto pelo VIGOR consistentemente alcançaram maior precisão.

Estudos de Ablação

• Sem Correção $\sqrt{T}$: Remover este componente causou degradação catastrófica, particularmente no modelo 3B, resultando em precisão próxima de zero e hacking de comprimento severo.
• Sem Moldagem por Rank: Remover a normalização por rank levou à instabilidade, particularmente no modelo 7B, causando uma queda significativa (8,90%) no desempenho do MMLU-Pro devido à influência de valores extremos nas magnitudes brutas de gradiente.

5. Significado e Limitações

Significado:
O artigo afirma que o VIGOR fornece uma alternativa robusta e sem verificador para pós-treinamento por RL que não depende de rótulos externos ou modelos auxiliares. Ao alavancar a geometria intrínseca da paisagem de perda (normas de gradiente), oferece um sinal estável para otimização de política que generaliza entre domínios (de matemática para código e vice-versa) e mantém a estabilidade de treinamento onde outros métodos intrínsecos falham.

Limitações:

• Escopo da Tarefa: O estudo visa principalmente tarefas de raciocínio verificáveis. Os autores observam que não está claro o quão bem o VIGOR se transfere para configurações de geração mais abertas (por exemplo, escrita de longo formato ou diálogo) sem restrições adicionais.
• Custo Computacional: O VIGOR requer cálculo de norma de gradiente por amostra via diferenciação automática, o que introduz sobrecarga não trivial em comparação com sinais apenas de avanço (forward-only) como verossimilhança ou entropia.
• Natureza de Proxy: A norma de gradiente é um objetivo proxy. Os autores reconhecem que pode não rastrear consistentemente a utilidade downstream, deixando espaço para potencial desalinhamento ou exploração de recompensa.