💬 NLP

Rethinking RL for LLM Reasoning: It's Sparse Policy Selection, Not Capability Learning

Este artigo argumenta que o aprendizado por reforço melhora o raciocínio dos LLMs não ao ensinar novas capacidades, mas ao fazer correções esparsas e previsíveis em pontos de decisão de alta entropia, levando ao desenvolvimento do ReasonMaxxer, um método altamente eficiente e sem RL que iguala o desempenho do RL completo com custo de treinamento mínimo.

Autores originais: Ömer Faruk Akgül, Rajgopal Kannan, Willie Neiswanger, Viktor Prasanna

Publicado 2026-05-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ömer Faruk Akgül, Rajgopal Kannan, Willie Neiswanger, Viktor Prasanna

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: O Modelo Já Sabe a Resposta

Imagine que você tem um aluno muito inteligente (o Modelo Base) fazendo uma prova de matemática. Esse aluno, na verdade, conhece as respostas certas na maioria das vezes, mas é um pouco indeciso. Quando chega a um passo complicado, ele pode hesitar e jogar uma moeda entre dois ou três caminhos possíveis.

Por muito tempo, os pesquisadores pensaram que o Aprendizado por Reforço (RL) era como um treinador superexigente que ensinava ao aluno novas formas de resolver problemas, inventando estratégias inteiramente novas do zero.

Este artigo argumenta que isso está errado.

Os autores descobriram que o "treinador" (RL) não está ensinando truques novos ao aluno. Em vez disso, o treinador apenas sussurra: "Ei, quando você estava hesitando no passo 5, você escolheu o caminho errado. Basta escolher a segunda melhor opção que você já estava considerando."

O aluno já sabia a resposta certa; ele só precisava de um pequeno empurrão para se comprometer com ela.

A Descoberta: Tudo Se Resume ao "Bifurcação"

Os pesquisadores observaram exatamente o que acontece dentro do computador quando uma IA aprende com RL. Eles descobriram três coisas surpreendentes:

É incrivelmente raro: O treinador de RL só muda a mente do aluno em cerca de 1% a 3% dos passos. Para 97% da prova, o aluno faz exatamente o que queria fazer de qualquer maneira.
É sempre uma mudança "segura": O treinador nunca diz ao aluno para escolher uma resposta louca ou estranha que ele nunca considerou. Ele apenas diz para mudar para a 2ª ou 3ª melhor opção que o aluno já estava pensando.
Ocorre apenas em momentos de "Bifurcação": Essas mudanças acontecem apenas quando o aluno está confuso (alta "entropia"). Se o aluno está confiante, o treinador permanece em silêncio. Se o aluno está inseguro, o treinador aponta para o caminho certo.

A Analogia:
Imagine que você está dirigindo um carro em uma estrada familiar. Você conhece a rota perfeitamente.

O Modelo Base é você dirigindo.
O Treinador RL é um GPS.
A Visão Antiga: Pensávamos que o GPS estava ensinando você a dirigir um carro que você nunca tinha visto antes.
A Nova Visão: O GPS apenas diz: "Você está em um cruzamento confuso. Você estava prestes a virar à esquerda, mas deveria virar à direita." Você já sabia como virar à direita; só precisava ser lembrado.

O Problema: O Treinador é Muito Caro

Atualmente, treinar esses "treinadores" (RL) é como contratar uma equipe massiva de engenheiros para assistir ao aluno fazendo a prova, simular milhões de cenários e calcular matemática complexa para descobrir aquele pequeno empurrão. Custa milhares de dólares e leva semanas de tempo de computador.

O artigo pergunta: Se o treinador está apenas apontando para alguns pontos específicos em um mapa que já temos, precisamos de toda a equipe de treinamento cara?

A Solução: REASONMAXXER (O "Empurrão Inteligente")

Os autores criaram um novo método superbarato chamado REASONMAXXER. Em vez de um treinador massivo, ele usa uma ferramenta pequena e barata.

Veja como funciona, passo a passo:

Encontrar a Confusão: O sistema observa os próprios pensamentos do aluno (Modelo Base). Ele pergunta: "Onde você está ficando confuso?" Ele usa um truque matemático simples chamado Entropia para encontrar os momentos de "Bifurcação" onde o aluno está inseguro.
O Empurrão Contrastivo: Ele pega alguns exemplos do aluno acertando a resposta e alguns exemplos dele errando. Em seguida, diz: "Nesses momentos confusos, quando você acertou, você escolheu este caminho. Quando você errou, você escolheu aquele caminho. Lembre-se de escolher o primeiro."
Mudanças Mínimas: Ele atualiza apenas uma parte microscópica do cérebro do modelo (menos de 1% de seus parâmetros) para lembrar dessa regra.

Os Resultados: Mesma Inteligência, Custo Mínimo

O artigo testou esse novo método contra os treinadores RL caros e padrão em seis benchmarks diferentes de matemática.

Desempenho: O REASONMAXXer performou tão bem quanto, ou até melhor do que, os modelos RL caros.
Custo: Este é o grande choque.
- RL Padrão: Custa entre $200 e$ 100.000 para treinar.
- REASONMAXXER: Custa cerca de $4 a$ 25 para treinar.
- Tempo: Leva minutos em uma única placa de computador, enquanto o RL leva dias ou semanas.

A Conclusão

O artigo conclui que a grande tendência da indústria de usar Aprendizado por Reforço massivo e caro para ensinar raciocínio à IA pode ser exagero.

O "Raciocínio" não é um novo superpoder que estamos desbloqueando; é apenas uma questão de ajudar a IA a se comprometer com a escolha certa quando ela está insegura.

Não precisamos de uma equipe de construção gigante para construir uma casa que já está quase pronta; precisamos apenas de um marceneiro para apertar alguns parafusos soltos nos momentos críticos. O REASONMAXXER é esse marceneiro, e ele faz o trabalho por centavos.

Resumo Técnico: Repensando o RL para o Raciocínio em LLMs

Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tornou-se o paradigma padrão para aprimorar as capacidades de raciocínio em Modelos de Linguagem de Grande Escala (LLMs), com sistemas como DeepSeek-R1 e OpenAI o1 demonstrando ganhos significativos. A premissa predominante é que o RL permite que os modelos adquiram estratégias de raciocínio genuinamente novas por meio de exploração orientada por recompensas. No entanto, evidências emergentes sugerem que o RL pode não estar ensinando novas capacidades, mas sim redistribuindo a massa de probabilidade sobre soluções que o modelo base já possui.

Este artigo aborda uma lacuna crítica: embora trabalhos anteriores tenham identificado que os efeitos do RL se concentram em pontos específicos, esses estudos ainda operam dentro do próprio framework de RL. Os autores questionam se o loop de otimização do RL é necessário se o mecanismo subjacente for simplesmente direcionar o modelo para caminhos que ele já conhece. Eles hipotetizam que a melhoria no raciocínio não é uma questão de aquisição de capacidade, mas de seleção esparsa de políticas.

Metodologia

1. Análise Mecanística dos Efeitos do RL

Os autores conduziram uma análise sistemática ao nível de tokens em múltiplas famílias de modelos (Qwen, Mistral, DeepSeek) e algoritmos de RL (GRPO, PPO, RLOO). Eles compararam as saídas dos modelos base com suas contrapartes treinadas com RL em prompts idênticos para caracterizar a natureza das mudanças.

Discordância Esparsa: Eles descobriram que os modelos de RL discordam dos modelos base em apenas 1–3% das posições de tokens.
Reclassificação Conservadora: Os tokens "promovidos" escolhidos pelos modelos de RL estão quase exclusivamente dentro dos cinco principais candidatos do modelo base (rank médio ~2,2). O RL raramente introduz tokens novos; ele eleva alternativas existentes.
Localização da Entropia: Essas discordâncias ocorrem quase exclusivamente em pontos de decisão de alta entropia (tokens de ramificação) onde o modelo base está incerto sobre qual ramo de raciocínio seguir. A entropia nessas posições é 5–12 vezes maior do que em posições inalteradas.
Verificação Causal: Usando uma "intervenção oráculo", os autores substituíram os tokens do modelo base pelos tokens preferidos pelo professor de RL apenas nesses pontos de discordância. Essa intervenção recuperou exatamente a precisão do modelo de RL, provando que as edições esparsas são causalmente responsáveis pelo ganho de desempenho. Substituições aleatórias nesses pontos falharam em melhorar o desempenho.
Baixa Dimensionalidade: Os autores destilaram o comportamento do professor de RL em um adaptador LoRA de baixo rank treinado em apenas 100 problemas. Um adaptador de rank 32 (modificando <0,5% dos parâmetros) foi suficiente para capturar a mudança distribucional completa, indicando que a correção é de baixa dimensionalidade no espaço de parâmetros.

2. REASONMAXXER: Um Método Livre de RL

Com base nessas descobertas, os autores propõem o REASONMAXXER, um método mínimo de pós-treinamento livre de RL que contorna inteiramente o loop de otimização do RL.

Seleção de Dados: O método amostra trajetórias (rollouts) de um modelo base congelado e retém apenas problemas onde o modelo base exibe sucesso misto (alguns corretos, alguns incorretos). Isso garante a presença de um sinal contrastivo bilateral.
Identificação de Pontos de Decisão: Em vez de usar um professor de RL para identificar tokens críticos, o REASONMAXXER usa a própria entropia de tokens do modelo base como um portão. Posições onde a entropia excede um limiar $\tau$ são marcadas como pontos de decisão.
Ajuste Fino Contrastivo:
- Em Pontos de Decisão: Aplica-se uma perda contrastiva ponderada por vantagem. Trajetórias corretas reforçam os tokens observados, enquanto trajetórias incorretas os penalizam.
- Em Pontos Não Decisórios: Uma perda de divergência de Kullback-Leibler (KL) ancora o modelo à distribuição base, prevenindo overfitting e preservando o comportamento do modelo base onde nenhuma correção é necessária.
Arquitetura: O método utiliza um adaptador LoRA anexado ao modelo base, mantendo os pesos base congelados.

Resultados Chave

Os autores avaliaram o REASONMAXXER em três famílias de modelos, seis escalas e seis benchmarks de raciocínio matemático (MATH-500, GSM8K, AIME, etc.), comparando-o com baselines de RL completo.

Paridade de Desempenho: O REASONMAXXER iguala ou supera o desempenho de modelos totalmente treinados com RL. Por exemplo, no Qwen2.5-7B, o REASONMAXXER alcançou 70,6% no MATH-500, superando o SimpleRL-Zoo (65,6%) e aproximando-se do Open-Reasoner-Zero (73,2%).
Redução Drástica de Custos: O método reduz os custos de treinamento em duas a três ordens de grandeza.
- Computação: O REASONMAXXER requer minutos de treinamento em uma única GPU (dezenas de horas de GPU no total), enquanto as baselines de RL exigem centenas a dezenas de milhares de horas de GPU.
- Dados: O REASONMAXXER treina em 50 problemas (gerando ~1.000 sequências), enquanto as baselines de RL frequentemente treinam em dezenas de milhares de problemas (por exemplo, 57.000 para o Open-Reasoner-Zero).
- Custo Monetário: Os custos estimados de treinamento para o REASONMAXXER variam de $4 a$ 25, comparados a $200 a$ 103.000 para as baselines de RL.
Generalização: O método desempenha bem mesmo contra baselines que utilizam aprimoramentos sofisticados (por exemplo, RL iterativo, verificadores baseados em modelo, dados de múltiplos domínios), sugerindo que os ganhos centrais nessas pipelines derivam do mesmo mecanismo de seleção esparsa de políticas.

Significado e Afirmações

O artigo reformula o problema de melhorar o raciocínio em LLMs de aquisição de capacidade para seleção esparsa de políticas.

O RL Não é Necessário para Ganhos de Raciocínio: Os autores afirmam que o loop de otimização do RL não é um pré-requisito para a melhoria do raciocínio. O "sinal" capturado pelo RL é uma correção esparsa e previsível em pontos de decisão de alta entropia, que pode ser aprendida diretamente via ajuste fino contrastivo sem exploração online.
O Modelo Base Contém a Solução: As descobertas sugerem que o modelo base já possui os caminhos de raciocínio e o vocabulário necessários; ele apenas precisa ser direcionado a comprometer-se com o ramo correto em momentos de incerteza.
Eficiência sobre Infraestrutura: O artigo desafia o investimento padrão da comunidade em infraestrutura pesada de RL. Argumenta-se que a complexidade do problema (seleção esparsa) não justifica a complexidade da solução (pipelines massivas de RL), abrindo caminho para métodos de pós-treinamento muito mais eficientes.

Em conclusão, os autores demonstram que, ao identificar e corrigir apenas os pontos de decisão críticos e de alta entropia usando os próprios sinais do modelo base, é possível replicar os benefícios do RL com uma fração dos dados e da computação, alterando fundamentalmente a análise de custo-benefício do treinamento de modelos de raciocínio.