Resumo Técnico: Aprendizado de Raciocínio Eficiente com Aprendizado por Reforço Descontado

Declaração do Problema

Modelos de Raciocínio de Grande Escala (LRMs) resolvem tarefas complexas (por exemplo, matemática, código) emitindo tokens de raciocínio intermediários antes de uma resposta final. Embora o pós-treinamento com Aprendizado por Reforço (RL) melhore a precisão, isso frequentemente leva a cadeias de pensamento excessivamente longas, inflando custos computacionais, uso de memória (via caches KV em crescimento) e latência de inferência.

A suposição predominante no campo é que respostas mais longas melhoram inerentemente a precisão, sugerindo uma compensação entre o comprimento da resposta e a correção. Este artigo desafia essa suposição. Ele postula que, até um regime determinado pela classe do modelo e pela instância do problema, não há compensação inerente: é possível reduzir o comprimento da resposta até um limiar dependente da instância específica sem sacrificar a precisão. O objetivo é treinar LRMs que alcancem respostas corretas de forma eficaz e eficiente, análogo a encontrar a trajetória de sucesso mais curta em um problema de Caminho Mais Curto Estocástico (SSP).

Metodologia

Estrutura Teórica: Optimalidade de Blackwell

Os autores modelam o raciocínio baseado em verificador como um Processo de Decisão de Markov (MDP) de horizonte finito com recompensa terminal binária (1 para correto, 0 para incorreto). Para formalizar o objetivo de maximizar a precisão enquanto minimiza o comprimento do caminho, eles utilizam a optimalidade de Blackwell.

• Definição: Uma política é Blackwell ótima se for ótima para todos os fatores de desconto $\gamma$ suficientemente próximos de 1.
• Mecanismo: Em MDPs de alcance de objetivo com recompensas terminais binárias, maximizar o retorno descontado $J_\gamma(\pi)$ à medida que $\gamma \to 1$ maximiza primeiro a probabilidade de sucesso (precisão). Entre as políticas que alcançam a probabilidade de sucesso máxima, o mecanismo de desconto quebra empates preferindo aquelas com comprimentos de trajetória esperados mais curtos.
• Insight Chave: Para uma classe de políticas finita $\Pi$, existe um fator de desconto crítico $\gamma_{bw} < 1$ tal que, para todo $\gamma \in (\gamma_{bw}, 1)$, o conjunto de políticas $\gamma$-ótimas coincide com o conjunto de políticas Blackwell ótimas. Essas políticas maximizam simultaneamente a precisão e minimizam o comprimento de trajetória esperado entre os maximizadores de precisão.

Receita Prática de Treinamento

Guiados pelos resultados teóricos, os autores propõem uma metodologia de treinamento específica usando Otimização de Política Relativa em Grupo (GRPO):

1. Apenas Recompensa Ambiental Descontada: O fator de desconto $\gamma \in (0, 1)$ é aplicado exclusivamente à recompensa extrínseca do ambiente (correção). Recompensas intrínsecas (formatação, modelagem estrutural) permanecem não descontadas para garantir que o modelo produza saídas bem estruturadas.
2. Mascaramento de Tokens de Raciocínio: O desconto é aplicado apenas aos tokens identificados como parte do "intervalo de raciocínio" (por exemplo, tokens entre as tags <reasoning> e </reasoning>). Tokens necessários para adesão ao prompt, formatação e a resposta final não são descontados.
3. Regularização KL: Uma penalidade KL é aplicada contra uma política de referência móvel (atualizada periodicamente) para evitar o colapso da política (onde o modelo para de raciocinar muito cedo) e estabilizar a aprendizagem.
4. Orçamentos de Tokens Comparáveis: Para garantir comparação justa, o número de simulações (rollouts) é ajustado para que o número total de tokens processados durante o treinamento seja comparável entre métodos descontados e não descontados.

A função objetivo otimizada é:
$$\mathbb{E}_{S_1 \sim \mu, \tau \sim \pi(S_1)} [\gamma^{K(\tau)} r_e(\tau) + r_f(\tau)] - \beta \text{KL}(\pi || \pi')$$
Onde $K(\tau)$ é a contagem de tokens de raciocínio, $r_e$ é a recompensa do ambiente e $r_f$ é a recompensa de formatação.

Contribuições Principais

1. Garantia Teórica de Ausência de Compensação: O artigo prova que, dentro de qualquer classe de políticas fixa (possivelmente restrita), as políticas Blackwell ótimas maximizam a probabilidade de sucesso não descontada e, entre esses maximizadores, minimizam o comprimento de trajetória esperado. Isso estabelece que precisão e comprimento de caminho não são inerentemente compensados até um limiar dependente da instância.
2. Existência do Fator Blackwell: Para classes de políticas finitas, os autores provam a existência de um fator de desconto Blackwell $\gamma_{bw} < 1$. Eles fornecem limites sobre quão próximo $\gamma$ deve estar de 1 para manter a precisão enquanto encurta as respostas, esclarecendo a seleção de hiperparâmetros para classes de implantação restritas.
3. Validação Empírica: Usando GRPO com o objetivo descontado, os autores demonstram que os modelos podem reduzir substancialmente o comprimento médio da resposta em benchmarks de matemática (GSM8K, MATH, AMC, AIME, etc.) enquanto igualam a precisão Pass@1 de baselines não descontadas.

Resultados Experimentais

Os autores avaliaram quatro modelos ajustados por instrução (Qwen2.5 7B/14B, Llama 3 8B, Phi-4) em vários conjuntos de dados de matemática.

• GSM8K & MATH: Modelos descontados igualaram ou superaram ligeiramente a precisão Pass@1 de baselines não descontadas enquanto reduziam significativamente a contagem de tokens.
  • Qwen2.5 7B (GSM8K): A precisão permaneceu estável (91,06% vs 91,07%), enquanto o comprimento médio da resposta caiu de 217,60 para 170,08 tokens (~22% de redução).
  • Llama 3 8B (GSM8K): A precisão melhorou ligeiramente (80,87% vs 81,07%), com o comprimento caindo de 125,43 para 108,67 tokens (~13% de redução).
• Benchmarks Mais Difíceis (AMC, AIME, MINERVA, OLYMPIAD): A tendência manteve-se para modelos maiores (Qwen2.5 14B, Phi-4) treinados no DeepScaleR. Modelos descontados alcançaram precisão comparável ou superior com trajetórias significativamente mais curtas (por exemplo, Phi-4 no AMC 2023: 51,00% $\to$ 61,00% de precisão, 1134 $\to$ 716 tokens).
• Sensibilidade ao Fator de Desconto: Experimentos variando $\gamma$ confirmaram a compensação teórica: à medida que $\gamma$ se afasta de 1, os comprimentos de resposta encurtam de forma confiável, mas a precisão eventualmente cai se o desconto for muito agressivo.

Significado e Alegações

O artigo alega fornecer um mecanismo principiado e consciente da instância para raciocínio eficiente que não depende de dados curados ou engenharia de prompt. Ao aproveitar a optimalidade de Blackwell, a abordagem reformula o problema do "raciocínio eficiente" como um objetivo padrão de RL com uma estratégia de desconto específica.

Os autores afirmam que seus resultados:

• Refutam a compensação inerente entre comprimento e precisão: Eles mostram que raciocínio mais curto é possível sem perda de precisão até um limiar específico determinado pela capacidade do modelo.
• Unificam Penalidades de Comprimento: O trabalho sugere que métodos que usam pequenas recompensas negativas por passo são equivalentes ao desconto neste cenário, implicando que vários métodos existentes de penalidade de comprimento podem recuperar a mesma ordenação precisão-então-comprimento quando implementados corretamente.
• Oferecem uma Receita Prática: O método proposto não requer alterações algorítmicas na otimização padrão de políticas (como GRPO), apenas uma modificação no cálculo da recompensa (descontando tokens de raciocínio) e o uso de uma política de referência móvel.

O artigo conclui observando que, embora trajetórias mais curtas melhorem a eficiência, o potencial do raciocínio comprimido para melhorar a generalização permanece uma questão em aberto para trabalhos futuros.