Resumo Técnico: Compreendendo o Colapso da Diversidade em RLVR através da Lente do Overtraining

Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tornou-se um método primário para aprimorar as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs) em tarefas com resultados objetivamente verificáveis. No entanto, um problema persistente conhecido como colapso da diversidade assola este paradigma: enquanto a acurácia de amostra única do modelo (Pass@1) melhora, sua capacidade de encontrar uma solução correta através de múltiplas tentativas (high-k Pass@k) frequentemente degrada conforme o treinamento progride.

Explicações anteriores atribuem isso à natureza autorreforçada das atualizações on-policy, onde trajetórias que já são propensas ao sucesso são amostradas e reforçadas com mais frequência, afunilando a distribuição da política sobre um subconjunto decrescente de soluções. Este artigo argumenta que este "viés de afunilamento" é uma propriedade universal das atualizações de RLVR, mas não explica totalmente quando uma atualização expande a fronteira de raciocínio do modelo versus quando ela apenas remodela a massa de probabilidade entre soluções já alcançáveis. Os autores propõem visualizar o colapso da diversidade através da lente do overtraining (sobretreinamento): uma vez que a contribuição de um problema para uma métrica de referência (especificamente o high-k Pass@k) saturou, novas atualizações não podem expandir a fronteira de raciocínio, mas continuam a concentrar a massa de probabilidade, levando ao colapso.

Metodologia

Análise Teórica: Overtraining e Saturação

Os autores formalizam a fronteira de raciocínio usando o Pass@k, definido como $1 - (1-p)^k$ para um problema com probabilidade de sucesso $p$. Eles demonstram que, sob configurações padrão de RLVR (tipicamente $n=8$ rollouts por problema), a taxa de sucesso empírica $\hat{p}$ é quantizada (ex: $0/8, 1/8, \dots$).

• Saturação Agressiva: Para um $k$ grande (ex: $k=256$), mesmo um único sucesso observado ($\hat{p}=1/8$) resulta em um valor de Pass@256 $\approx 1$.
• Regime de Overtraining: Consequentemente, qualquer problema que tenha produzido pelo menos um rollout correto está efetivamente em um regime "saturado" em relação à fronteira de raciocínio. Atualizações nesses problemas (quer reforçando trajetórias corretas ou suprimindo incorretas) fornecem ganho marginal negligenciável ao high-k Pass@k, mas continuam a afunilar a política, causando o colapso da diversidade.
• O Balde de Zero-Sucesso: O único balde onde as atualizações podem significar a expansão da fronteira de raciocínio é o $B_{0/n}$, onde nenhum rollout correto foi observado.

Investigação Empírica

O estudo emprega duas abordagens complementares para validar que o RLVR de fato expande a fronteira de raciocínio, mesmo que métricas agregadas sugiram o contrário:

1. Rastreamento Observacional: Rastreando problemas que são inicialmente insolúveis (Pass@256 = 0) sob o modelo base. Os autores descobrem que uma fração não trivial desses problemas torna-se solúvel durante o treinamento padrão, mesmo enquanto um número maior de problemas anteriormente solúveis sai da fronteira.
2. Restrição Intervencionista: Variantes de treinamento onde as atualizações são restritas a buckets específicos de sucesso de rollout ($B_{m/8}$). Restringir as atualizações para $B_{0/8}$ (o único balde não saturado) resulta em melhorias de Pass@256 sobre o modelo base em benchmarks difíceis, enquanto atualizações em buckets de maior sucesso levam a declínios.

Solução Proposta: Bayesian Boundary Gating (BBG)

Para mitigar o overtraining, os autores propõem o Bayesian Boundary Gating (BBG), um método ao nível do problema que redireciona a otimização para longe de problemas saturados.

• Mecanismo: O BBG estima a contribuição marginal esperada de um problema para a fronteira de raciocínio usando um modelo Bayesiano Beta-Binomial. Dado $m$ sucessos em $n$ rollouts, a distribuição posterior da verdadeira probabilidade de sucesso $p$ é $Beta(m+1, n-m+1)$.
• Cálculo de Utilidade: A utilidade marginal esperada $u(m; n, k)$ é calculada como a expectativa da derivada do objetivo Pass@k: $E[k(1-p)^{k-1}]$.
• Estratégia de Gating: Problemas com utilidade de fronteira negligenciável (onde a contribuição marginal estimada cai abaixo de um limiar $\tau$) são bloqueados via hard-gating e excluídos da retropropagação. Apenas problemas com utilidade estimada significativa (principalmente aqueles em buckets de baixo sucesso) recebem atualizações.
• Implementação: O BBG é aplicado como um coeficiente na perda ao nível do problema, compatível com designs de objetivo existentes como o W-RF (Weighted Reinforcement with Negative Reinforcement).

Principais Resultados

Experimentos foram conduzidos usando o Qwen2.5-Math-7B treinado no dataset MATH, avaliado em quatro benchmarks: MATH-500, OlympiadBench, MinervaMath e AIME 2025.

• Desempenho de Baseline: Métodos padrão de RLVR (REINFORCE, GRPO, W-RF) consistentemente melhoram o Pass@1, mas sofrem degradação significativa no high-k Pass@k (ex: Pass@256) em benchmarks de dificuldade intermediária, confirmando o fenômeno de colapso da diversidade.
• Desempenho do BBG:
  • O BBG alcança o maior Pass@k médio em todo o intervalo $k \in [1, 256]$ em todos os benchmarks.
  • Crucialmente, o BBG é o único método que mantém ou melhora o Pass@256 em relação ao modelo base em todos os quatro benchmarks, prevenindo efetivamente o colapso observado em outros métodos.
  • No benchmark mais difícil (AIME 2025), o BBG mostra ganhos substanciais em todo o intervalo avaliado, enquanto outros métodos degradam em alto $k$.
• Insights de Ablação: Os autores mostram que intervenções simples como early stopping (parar quando o Pass@1 de validação satura) ou bucket masking (excluir buckets de alto sucesso) podem recuperar parcialmente o desempenho de high-k, validando a hipótesa de overtraining. No entanto, o BBG fornece uma solução mais fundamentada e eficaz ao ponderar dinamicamente as atualizações com base na utilidade da fronteira estimada.

Significância e Alegações

O artigo reivindica três contribuições principais:

1. Formalização do Colapso da Diversidade: Ele reestrutura o colapso da diversidade não meramente como um problema de viés de amostragem, mas como uma consequência de overtraining em relação à fronteira de raciocínio. Demonstra que, sob orçamentos padrão de rollout, a vasta maioria das atualizações de RLVR é overtraining para o high-k Pass@k.
2. Reinterpretação do Declínio Agregado: O artigo fornece evidências de que o declínio agregado amplamente relatado no high-k Pass@k não implica uma falha na aquisição de novas capacidades de raciocínio. Em vez disso, reflete um resultado líquido onde os ganhos em problemas inicialmente insolúveis são mascarados por perdas nos problemas já solúveis causadas pelo overtraining.
3. Mitigação Eficaz via BBG: Ao redirecionar a otimização para problemas com contribuições de fronteira não saturadas, o BBG desvincula com sucesso a melhoria do Pass@1 da degradação do high-k Pass@k, melhorando a diversidade de raciocínio geral do modelo.

Os autores mantêm um tom modesto em relação às limitações, observando que seus experimentos são limitados a modelos de escala 7B e um único conjunto de treinamento. Eles reconhecem que o colapso da diversidade pode ter outras causas (ex: atribuição de crédito ao nível de token) e que o bloqueio de atualizações em problemas de alto sucesso pelo BBG pode reduzir o Pass@1 em cenários onde a acurácia de amostra única é a única prioridade. No entanto, o trabalho estabelece uma nova perspectiva sobre a dinâmica de treinamento de RLVR, sugerindo que o "afunilamento" da política é frequentemente um subproduto da otimização para uma métrica que já foi maximizada para problemas específicos.