Resumo Técnico: A Coleira Invisível? Por que o RLVR Pode ou Não Escapar de sua Origem

Declaração do Problema

Avanços recentes em Grandes Modelos de Linguagem (LLMs), particularmente em raciocínio matemático e lógico, têm sido impulsionados pelo Aprendizado por Reforço com Recompensas Verificáveis (RLVR - Reinforcement Learning with Verifiable Rewards). Embora o RLVR tenha demonstrado melhorias significativas na precisão de tentativa única (pass@1), um debate fundamental persiste: o RLVR genuinamente expande as fronteiras de raciocínio de um modelo para descobrir novas soluções, ou ele apenas amplifica saídas de alta recompensa que o modelo base já possui, melhorando a precisão ao custo da diversidade?

A literatura atual oferece visões conflitantes. Alguns estudos sugerem que o RLVR realiza uma otimização conservadora dentro das capacidades existentes, enquanto outros argumentam que ele expande o raciocínio em domínios específicos. Além disso, métricas de avaliação padrão como o pass@k capturam primariamente a recuperação de soluções, em vez da capacidade de raciocínio novel. Há uma falta de investigação empírica sistemática sobre como o RLVR remodela o suporte de raciocínio efetivo do modelo ao longo do treinamento, especificamente se ele pode descobrir soluções que eram anteriormente inacessíveis ao modelo base.

Metodologia

Os autores introduzem um framework centrado no Suporte Empírico, definido como o conjunto de soluções corretas que um modelo pode realisticamente descobrir sob amostragem finita. Eles formalizam a dinâmica da acessibilidade de soluções categorizando as conclusões corretas em quatro regiões, baseadas em se o modelo base ($q$) e o modelo treinado via RLVR ($\pi_\theta$) atribuem massa de probabilidade não-negligível (acima de um limiar $\epsilon$) a elas:

1. Preservação de Suporte: Soluções corretas acessíveis a ambos os modelos.
2. Expansão de Suporte: Soluções corretas novas e acessíveis ao RLVR (negligenciáveis no base, não-negligíveis no RLVR).
3. Encolhimento de Suporte: Soluções corretas acessíveis ao modelo base, mas perdidas no RLVR.
4. Fora de Suporte: Soluções corretas perdidas por ambos.

Para quantificar essas dinâmicas, o artigo propõe quatro métricas:

• Taxa de Retenção de Suporte (SRR): Mede a preservação das soluções do modelo base.
• Taxa de Descoberta Líquida (NDR): Mede a fração de novas descobertas genuínas.
• Pontuação de Dinâmica de Suporte (SDS): Uma média harmônica que equilibra retenção e descoberta.
• Taxa de Mudança de Suporte Líquido (NSCR): Captura a expansão ou encolhimento líquido do espaço de soluções.

O estudo emprega experimentos empíricos extensos através de diversos escalonamentos de modelos (1.5B a 32B de parâmetros) e domínios (matemática, raciocínio lógico, QA factual, geração de código e raciocínio visual). Os modelos avaliados incluem variantes de ProRL, Nemotron, Skywork, AceReason, Phi4 e DAPO. Os autores também analisam a dinâmica da entropia, distinguindo entre entropia de nível de token (incerteza local durante a geração) e entropia de nível de resposta (diversidade global das saídas finais). Adicionalmente, fornecem provas teóricas sobre os limites das atualizações de RL on-policy.

Contribuições Principais e Resultados

1. Preservação Predominante com Expansão Limitada

Os resultados empíricos indicam que o RLVR atua primariamente como um mecanismo de otimização restrito ao suporte. Em todos os modelos e domínios testados:

• Alta Retenção, Baixa Descoberta: As Taxas de Retenção de Suporte (SRR) são consistentemente altas (0.90–0.99), indicando que o RLVR preserva de forma confiável as soluções acessíveis do modelo base. No entanto, as Taxas de Descoberta Líquida (NDR) são extremamente baixas (frequentemente $\le 0.04$), o que significa que a descoberta genuína de novos caminhos de raciocínio é rara.
• Encolhimento Líquido: Em quase todos os casos, o número de soluções corretas perdidas (Encolhimento) excede o número de novas soluções encontradas (Expansão). A Taxa de Mudança de Suporte Líquido (NSCR) é consistentemente negativa, sugerindo que o RLVR estreita sistematicamente o conjunto de soluções acessíveis.
• Paradoxo de Desempenho: Embora os modelos RLVR frequentemente superem os modelos base em orçamentos de amostragem baixos (ex: pass@1), os modelos base frequentemente dominam em orçamentos de amostragem altos (ex: pass@8192) devido à sua cobertura de soluções mais ampla.

2. O Trade-off Precisão-Diversidade

O estudo identifica um trade-off fundamental onde o RLVR aumenta a precisão ao concentrar a massa de probabilidade em trajetórias de alta recompensa conhecidas, mas reduz a diversidade das soluções globais.

• Dinâmica de Entropia: Embora alguns modelos RLVR exibam aumento na entropia de nível de token (parecendo mais incertos durante a geração), eles consistentemente mostram diminuição na entropia de nível de resposta. Isso indica que, apesar da estocasticidade local, os modelos convergem para um conjunto menor de respostas finais distintas.
• Análise de Perplexidade: Modelos RLVR apresentam maior perplexidade quando avaliados contra traços de raciocínio externos diversos (ex: de DeepSeek-R1 ou Claude Sonnet), confirmando que eles reduzem a capacidade do modelo de atribuir probabilidade a estilos de solução diversos.

3. Mecanismos de Expansão Rara

Quando a expansão ocorre (ex: em tarefas como Dice, Arc 1D ou Boxnet), o artigo identifica dois mecanismos específicos:

• Recomposição de Sub-habilidades: O modelo base possui os subcomponentes necessários (fragmentos), mas falha em montá-los globalmente. O RLVR amplifica esses componentes fracamente representados.
• Alinhamento de Formato de Prompt: O RLVR corrige desalinhamentos na formatação de resposta, desbloqueando capacidades que estavam presentes, mas suprimidas devido a falhas de seguimento de instrução.
  Crucialmente, essas expansões não representam a descoberta de soluções verdadeiramente ausentes da distribuição base; são reponderações de capacidades existentes na cauda longa.

4. Limites Teóricos

O artigo fornece provas teóricas (Teorema C.1 e Corolário C.2) demonstrando que atualizações padrão de RLVR on-policy não podem expandir o suporte da política além do suporte inicial do modelo base. Se o modelo base atribui probabilidade zero a uma solução correta, o RLVR não pode descobri-la. Além disso, o desempenho assintótico pass@k de um modelo RLVR é limitado pelo do seu modelo base.

Significância e Alegações

O artigo afirma revelar uma "coleira invisível" que restringe as práticas atuais de RLVR. A principal significância deste trabalho reside em:

• Reenquadramento do Papel do RLVR: Posiciona o RLVR não como um expansor de capacidade que desbloqueia novos horizontes de raciocínio, mas como um potencializador de precisão que afia a distribuição em torno de modos de alta recompensa conhecidos.
• Limitações dos Paradigmas Atuais: Desafia a suposição de que o RLVR leva inerentemente a um raciocínio mais profundo ou resolução de problemas inéditos. Em vez disso, sugere que, sem estratégias de exploração explícitas, o RLVR é fundamentalmente limitado pela inicialização do modelo base.
• Implicações para Avaliação: Os achados sugerem que confiar apenas em métricas de pass@1 ou de baixo orçamento pode superestimar as capacidades do RLVR, pois essas métricas favorecem as distribuições concentradas que o RLVR produz, ignorando a perda de diversidade que prejudica o desempenho em cenários de alto orçamento ou múltiplas soluções.
• Direções Futuras: Os autores concluem que quebrar essa "coleira invisível" requer inovações futuras que semeiem explicitamente massa de probabilidade em regiões de solução sub-representadas, indo além da otimização on-policy padrão para estratégias híbridas ou mecanismos de exploração explícitos.

O trabalho não pretende resolver essas limitações, mas sim fornecer uma base empírica e teórica rigorosa para entender os trade-offs inerentes entre precisão e diversidade no aprendizado por reforço baseado em recompensas verificáveis.