Resumo Técnico: VIGOR – Alocação de Rollout Online Guiada por Variância

1. Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tornou-se um paradigma dominante para aumentar as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs), com o Group Relative Policy Optimization (GRPO) servindo como uma das principais instâncias. No entanto, o GRPO enfrenta desafios significativos de eficiência e estabilidade:

• Gargalo Computacional: O GRPO depende da geração de um grande número fixo de rollouts de cadeia de pensamento (CoT) por prompt. A análise empírica no artigo revela que a geração de rollouts consome pelo menos 50% do tempo total de treinamento, escalando linearmente com o número de rollouts.
• Descompasso de Informatividade: Uma fração substancial dos rollouts gerados é pouco informativa, frequentemente exibindo pouca ou nenhuma variância de recompensa dentro de um grupo. Essas amostras contribuem com sinais de gradiente negligenciáveis, desperdiçando recursos computacionais.
• Ineficiência das Soluções Existentes: As estratégias atuais para melhorar a eficiência ou geram rollouts excessivos para filtrar prompts difíceis (incorrendo em alto overhead) ou dependem de sinais históricos para filtrar dados em estágios posteriores do treinamento. Essas abordagens falham em priorizar exemplos informativos durante os estágios iniciais de treinamento, que os autores identificam como desproporcionalmente críticos para os ganhos de desempenho final.

2. Metodologia: VIGOR

Os autores propõem o VarIance Guided Online Rollout allocation (VIGOR), um framework de seleção de dados iterativo projetado para alocar adaptativamente os orçamentos de rollout sem modificar o objetivo de treinamento subjacente do GRPO.

Percepção Teórica Central

O método baseia-se em uma observação teórica relativa à magnitude do gradiente do GRPO. Sob uma configuração de recompensa binária (comum em RLVR), os autores provam que a magnitude do sinal de gradiente é controlada diretamente pela variância da recompensa dentro do grupo ($\sigma$). Especificamente, a norma do gradiente é limitada por $M\sigma$, onde $M$ é um limite para os gradientes da razão de importância. Isso implica que prompts com alta variância de recompensa fornecem os sinais de aprendizado mais fortes, enquanto aqueles com variância zero (onde todos os rollouts recebem a mesma recompensa) não fornecem sinal de gradiente.

Estrutura Algorítmica

Ao contrário do GRPO padrão, que aloca um número fixo de rollouts ($G$) para cada prompt em uma única passagem, o VIGOR opera iterativamente dentro de cada etapa de treinamento:

1. Inicialização: Para um lote de prompts, o VIGOR começa com um pequeno orçamento inicial de rollout ($m_0$) para todos os exemplos.
2. Refinamento Iterativo: Ao longo de $T$ iterações de refinamento:
   • Geração: Novos rollouts são gerados para o subconjunto ativo atual de prompts.
   • Estimativa de Variância: O score de utilidade para cada prompt é calculado como a variância das recompensas de seus rollouts acumulados.
   • Seleção: A fração top-$\alpha$ de prompts com maior variância é retida para a próxima iteração.
   • Expansão de Orçamento: O orçamento de rollout para os prompts retidos é multiplicado por um fator de expansção $\gamma$ ($m_{t+1} = \gamma m_t$).
3. Atualização: Uma vez que o orçamento total seja esgotado ou as iterações terminem, todos os rollouts acumulados são usados para calcular vantagens e atualizar a política via GRPO padrão.

Este processo efetivamente concentra recursos computacionais em prompts "difíceis" ou "incertos" (alta variância) enquanto descarta prompts de baixo valor precocemente, evitando o custo de gerar rollouts completos para amostras não informativas.

Aceleração Teórica

Os autores derivam uma razão de aceleração de forma fechada para o VIGOR em relação ao GRPO. Assumindo que a variância de recompensa por prompt segue uma distribuição de Pareto (cauda pesada), a razão de escalas de tempo de treinamento ($\tau_{GRPO} / \tau_{VIGOR}$) cresce com o número de rodadas de refinamento $T$. Isso sugere que os ganhos de eficiência do VIGOR são teoricamente garantidos ao refinar seu foco no subconjunto de dados mais informativo.

3. Principais Contribuições

• Identificação da Variância como um Sinal: O artigo estabelece que a variância da recompensa é um proxy direto para a magnitude do gradiente no GRPO, fornecendo uma base teórica para a seleção guiada por variância.
• Algoritmo VIGOR: Uma nova estratégia de alocação de rollout online que desloca dinamicamente o computação para prompts de alta variância sem exigir modelos auxiliares, filtragem de dados históricos ou modificações no objetivo do GRPO.
• Análise Teórica: Derivação de uma razão de aceleração de convergência demonstrando que o VIGOR supera a alocação uniforme, particularmente sob distribuições de variância de cauda pesada comuns em tarefas de raciocínio.
• Validação Empírica Abrangente: Experimentos extensos em tarefas de raciocínio matemático e codificação usando múltiplas escalas de modelos (Qwen2.5-1.5B/3B/7B, Phi-4-Mini, Qwen3-8B).

4. Resultados Experimentais

Os autores avaliaram o VIGOR contra o GRPO padrão e baselines de estado da arte (GRESO, RL-ZVP, PODS) em seis benchmarks de raciocínio matemático e LiveCodeBench v6.

• Raciocínio Matemático:

  • O VIGOR atinge a precisão alvo com até 2,3$\times$ menos rollouts comparado ao GRPO, GRESO e RL-ZVP (especificamente no Qwen2.5-3B).
  • Sob comparações de rollouts equivalentes, o VIGOR alcança os melhores scores médios em todas as quatro escalas de modelos testadas.
  • Mesmo quando comparado ao GRESO-g (que utiliza aproximadamente o dobro do orçamento de rollout), o VIGOR alcança scores médios mais altos na maioria dos benchmarks.

• Codificação (LiveCodeBench v6):

  • No Qwen3-8B, o VIGOR atinge a taxa de passagem final do GRPO com 1,49$\times$ menos rollouts (uma redução de 32,9%).
  • O VIGOR melhora a taxa média de passagem de testes em 3,4 pontos percentuais (de 63,4% para 66,8%) em comparação ao GRPO.

• Eficiência e Overhead:

  • Medições de tempo de execução (wall-clock time) mostram que o VIGOR não incorre em overhead de tempo adicional em comparação ao baseline GRPO com o mesmo orçamento de rollout.
  • O VIGOR é significativamente mais rápido que o GRESO, que requer a geração de rollouts extras para filtragem.
  • Estudos de ablação confirmam que a seleção baseada em variância supera a seleção aleatória e a seleção baseada em dificuldade, validando a motivação teórica.

5. Significância e Alegações

O artigo afirma que o VIGOR oferece um mecanismo simples e eficaz para melhorar a eficiência do treinamento de RLVR. Sua significância reside em:

• Otimização de Estágio Inicial: Ao alocar recursos adaptativamente com base em sinais de variância online, o VIGOR garante que as fases mais críticas do início do treinamento utilizem computação nos exemplos mais informativos, abordando uma limitação chave de métodos dependentes de histórico.
• Preservação de Paradigma: Diferente de métodos que alteram o objetivo de treinamento ou exigem sinais auxiliares complexos, o VIGOR trabalha dentro do framework padrão do GRPO, tornando-o facilmente integrável.
• Escalabilidade: O método demonstra desempenho robusto através de diferentes tamanhos de modelos e domínios de tarefas (matemática e codificação), sugerindo que a geração de rollout iterativa guiada por variância é uma estratégia generalizável para o uso eficiente de computação no raciocínio.

Os autores concluem que o VIGOR representa uma direção promissora para escalar o RLVR, permitindo que modelos alcancem maior desempenho com orçamentos computacionais significativamente reduzidos.