Resumo Técnico: AdaPrefix-GRPO

Definição do Problema

O Group Relative Policy Optimization (GRPO) é um método de aprendizagem por reforço (RL) on-policy dominante para melhorar o raciocínio de Grandes Modelos de Linguagem (LLMs). No entanto, ele sofre de uma "zona morta" estrutural nos problemas mais difíceis da distribuição de treinamento. Quando um modelo falha em resolver um problema difícil em todos os $G$ rollouts de um grupo, as vantagens relativas ao grupo desaparecem (todos os prêmios são idênticos), resultando em uma contribuição de gradiente zero. Consequentemente, o modelo desperdiça computação de amostragem em problemas de fronteira que ainda não consegue resolver, aprendendo nada com eles.

Remédios existentes, como filtragem dinâmica (descartar grupos onde todos erraram) ou warm-starting com ajuste fino supervisionado (SFT), são insuficientes. A filtragem descarta justamente os dados necessários para a melhoria, enquanto o SFT pode induzir o colapso de entropia que dificulta a exploração subsequente. Trabalhos concomitantes sugerem o preenchimento de prefixos de soluções corretas para tornar os problemas difíceis temporariamente mais fáceis, mas esses métodos tipicamente fixam comprimentos de prefixo uma vez com base na precisão do modelo base. Essa abordagem estática falha em acompanhar a melhoria da política durante o treinamento, fazendo com que os problemas derivem para fora do regime de aprendizado ideal (onde a taxa de sucesso é diferente de zero, mas não saturada).

Metodologia: AdaPrefix-GRPO

O artigo apresenta o AdaPrefix-GRPO, um método que trata o comprimento de um prefixo de solução prependido como um controlador de malha fechada contínuo para maximizar o sinal de aprendizado do GRPO.

Mecanismo Central

1. Prefixo como um Dial de Dificuldade: Prependar um prefixo correto de comprimento $\rho \in [0, 1]$ a um problema aumenta a taxa de sucesso condicional $\kappa(\rho)$ de forma quase monotônica. Isso permite que o sistema ajuste a dificuldade de qualquer problema para atingir uma taxa de sucesso alvo específica.
2. O Ponto de Ajuste Intermediário: Baseando-se na literatura prévia de RL, o método visa uma taxa de sucesso de grupo intermediária de $k/G \approx 0.5$. Nesta taxa, o sinal de gradiente positivo agregado ($p(1-p)$) e o número de pares contrastivos (corretos/incorretos) são maximizados. Taxas próximas a 0 ou 1 geram sinais negligenciáveis.
3. Controle de Malha Fechada: Diferente de métodos estáticos, o AdaPrefix-GRPO ajusta dinamicamente o comprimento do prefixo durante o treinamento:
   • Ajuste de Base Global: Um único prefixo de base $\rho_b$ é atualizado a cada $N$ passos usando um algoritmo de busca de raízes (método da secante com fallback de bisseção) para conduzir a média do lote de sucesso em direção ao alvo $\tau = 0.5$.
   • Desvios por Amostra: Para evitar que o lote se torne bimodal (alguns problemas muito fáceis, outros muito difíceis), um desvio de dificuldade estático $\delta(d_x)$ é aplicado a cada amostra com base em uma estimativa de dificuldade de cold-start. Problemas mais difíceis recebem prefixos ligeiramente mais longos; os mais fáceis recebem prefixos mais curtos.
   • Annealing (Resfriamento): Para garantir que o modelo implantado possa resolver problemas sem assistência, os comprimentos dos prefixos são submetidos a annealing para zero durante a fração final do treinamento. Um envelope superior que encolhe força $\rho \to 0$, transicionando o modelo de uma prática guiada para uma inferência não auxiliada.

Implementação

O método requer mudanças mínimas no treinador de RL. Os prefixos são injetados como mensagens de assistente no pipeline de dados. Os gradientes são mascarados nos tokens do prefixo (impedindo a imitação da referência), enquanto as recompensas são computadas na sequência completa (prefixo + gerado). O treinador permanece, de outra forma, "padrão".

Principais Contribuições

• Controle de Malha Fechada: O artigo enquadra o comprimento do prefixo não como um heurístico fixo, mas como um controlador de ponto de ajuste rastreado, ajustando dinamicamente a dificuldade para manter a razão ótima de $k/G$ conforme a política melhora.
• Maximização de Sinal: Ele operacionaliza a descoberta teórica de que taxas de sucesso intermediárias maximizam os sinais de RL, garantindo que problemas difíceis permaneçam no regime "aprendível" em vez de caírem na zona morta.
• Estratégia de Annealing: Introduz um mecanismo para remover o desvio de distribuição entre treino e teste, garantindo que a política final resolva problemas sem auxílio, tendo aprendido com o suporte (scaffolding).
• Eficiência: O método é implementado puramente na preparação de dados e no mascaramento de perda, não exigindo mudanças arquiteturais no treinador de RL.

Resultados Experimentais

Experimentos foram conduzidos em tarefas de raciocínio matemático difíceis usando modelos Qwen3 (0.6B, 1.7B, 4B) e validação cruzada de família em Qwen3.5 e Gemma 4. Todos os métodos foram comparados em FLOPs de treinamento equivalentes para garantir a justiça.

• Ganhos de Desempenho: No conjunto de teste held-out DeepMath, o AdaPrefix-GRPO superou significativamente o vanilla GRPO e as linhas de base de prefixo fixo (PrefixRL).
  • Qwen3-0.6B: Melhorou o pass@1 de 19.6% para 41.8% (+22.2 pp).
  • Qwen3-1.7B: Melhorou o pass@1 de 30.1% para 48.2% (+18.1 pp).
  • Qwen3-4B: Melhorou o pass@1 de 54.9% para 64.1% (+9.2 pp).
  • Os ganhos foram mais pronunciados para modelos menores, que residem mais profundamente na "zona morta".
• Eficiência e Comprimento de Traço: Apesar do prefixo, os modelos finais implantados (avaliados em $\rho=0$) produziram traços significativamente mais curtos (ex: 4.4k tokens vs. 8.0k para PrefixRL) enquanto alcançavam maior precisão. Isso sugere que o método incentiva o raciocínio eficiente em vez de explorações longas e sortudas.
• Generalização: O método transferiu-se com sucesso para diferentes famílias de modelos (Qwen3.5, Gemma 4) e manteve o desempenho em tarefas fáceis (GSM8K) sem regressão, confirmando que o controlador não aplica prefixos excessivos em problemas fáceis.
• Ablações: Remover o controle de malha fechada (usando comprimentos fixos ou decaimento global) resultou em quedas significativas de desempenho, confirmando que a adaptação dinâmica é o principal motor do sucesso.

Significância e Alegações

O artigo alega que o AdaPrefix-GRPO altera fundamentalmente a dinâmica de treinamento de problemas de raciocínio difíceis ao remover a "barreira de amostragem" da zona morta. Ao controlar o comprimento do prefixo em malha fechada, o método garante que mesmo os problemas mais difíceis contribuam com um sinal de gradiente máximo durante todo o treinamento.

Os autores enfatizam que o método não excede o teto de capacidade inerente do modelo; em vez disso, desloca a restrição de "o modelo consegue resolver isso sem auxílio?" para "o modelo consegue completar isso dado o suporte suficiente?". O processo de annealing garante que as habilidades aprendidas sob o suporte se generalizem para a resolução sem auxílio. O artigo conclui que, para tarefas de raciocínio difíceis, o controle de dificuldade adaptativo via comprimento de prefixo é um mecanismo crítico para extrair sinal onde o GRPO padrão falha, com os maiores benefícios ocorrendo em modelos menores.