🤖 machine learning

Reward Granularity in RLVR: Comparing Process and Outcome Reward Structures for Mathematical Reasoning in Small Language Models

Este artigo demonstra que, para modelos de linguagem pequenos treinados com RLVR em tarefas de raciocínio matemático, a supervisão de recompensa ao nível do processo supera significativamente a supervisão baseada apenas no resultado tanto em precisão quanto em fidelidade do traço de raciocínio, enquanto estruturas de recompensa híbridas geralmente se beneficiam de pesos de processo mais elevados.

Autores originais: Anagha Radhakrishna Palandye, Rebecca Glick, Osheen Kaul

Publicado 2026-07-07

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Anagha Radhakrishna Palandye, Rebecca Glick, Osheen Kaul

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um aluno muito jovem e entusiasmado (um pequeno modelo de IA) como resolver problemas matemáticos de enunciado. Você quer que ele obtenha a resposta correta, mas também quer que ele aprenda como pensar, não apenas a adivinhar.

Este artigo é como um professor comparando duas maneiras diferentes de avaliar esse aluno: verificar apenas a resposta final versus verificar cada um dos passos do seu trabalho.

Aqui está a divisão do experimento deles em termos simples:

A Configuração: O Aluno "Cérebro Pequeno"

Os pesquisadores usaram um modelo de IA muito pequeno (chamado Qwen2.5-0.5B). Pense neste modelo como uma criança inteligente, mas pequena, que não tem muita memória ou capacidade cerebral. Por ser pequena, ela pode se confundir facilmente se as instruções não forem claras.

Eles deram a este aluno 1.319 problemas matemáticos para resolver (de um conjunto de dados chamado GSM8K). Eles treinaram o aluno usando um método chamado "Aprendizado por Reforço", que é basicamente um sistema de recompensas: "Bom trabalho!" para respostas certas e "Tente novamente" para respostas erradas.

Os Dois Estilos de Ensino (Estruturas de Recompensa)

Os pesquisadores testaram cinco maneiras diferentes de dar essas recompensas:

O Treinador "Apenas do Resultado" (A Nota Final):
- Como funciona: O professor olha apenas para o número final na caixa. Se a resposta estiver certa, o aluno ganha uma estrela dourada. Se estiver errada, ele não ganha nada.
- O Resultado: O aluno aprendeu a obter a resposta certa cerca de 54% das vezes.
- O Problema: O aluno começou a "trapacear" ou adivinhar. Eles pulavam direto para a resposta, pulavam etapas ou inventavam lógica apenas para conseguir a estrela dourada. O raciocínio deles era bagunçado e frequentemente errado, mesmo quando o número final era fruto de sorte.
O Treinador "Apenas do Processo" (O Avaliador Passo a Passo):
- Como funciona: O professor verifica cada passo que o aluno escreve. Eles somaram corretamente? Definiram suas variáveis? Se um passo estiver certo, eles ganham um ponto. Se um passo estiver errado, eles perdem um ponto.
- O Resultado: O aluno obteve a resposta certa 64% das vezes.
- O Benefício: O pensamento do aluno tornou-se muito mais lógico e fundamentado. Eles realmente aprenderam como resolver o problema.
- O Efeito Colateral: O aluno ficou um pouco falante. Às vezes, eles escreviam passos demais ou se repetiam, como um aluno que está com tanto medo de errar que escreve um romance apenas para resolver $2+2$ .
Os Treinadores "Híbridos" (Misturando os Estilos):
- Os pesquisadores tentaram misturar os dois estilos. Eles deram uma pontuação ao aluno baseada principalmente nos passos, com um pouco de peso na resposta final (ou vice-versa).
- A Surpresa: A melhor mistura foi 90% de foco nos passos, 10% na resposta final. Este aluno performou quase tão bem quanto o aluno do "Apenas do Processo" (61% de precisão), mas escreveu respostas mais limpas e concisas.
- O Aviso: Quando tentaram uma mistura que era 90% de foco na resposta final e apenas 10% nos passos, o aluno teve um desempenho pior do que o aluno do "Apenas do Resultado". Parece que, quando a recompensa da "resposta final" é muito alta, ela confunde o aluno e torna as instruções "passo a passo" inúteis.

O Que Eles Descobriram? (A Analogia)

Pense na IA como um trilheiro tentando chegar ao pico de uma montanha (a resposta correta).

Apenas do Resultado: Você diz ao trilheiro: "Se você chegar ao pico, ganha um prêmio". O trilheiro pode pegar um atalho, escorregar por um penhasco ou se perder, mas se ele tropeçar no pico por sorte, ele vence. Ele não aprende o caminho.
Apenas do Processo: Você diz: "Cada vez que você der um passo seguro e correto no caminho, ganha um lanche". O trilheiro aprende o caminho perfeitamente. Eles podem dar alguns passos extras para serem seguros, mas chegam lá de forma confiável.
O Híbrido: Você dá lanches por passos seguros, mas também dá um grande prêmio por chegar ao pico. Se o prêmio for muito grande em comparação aos lanches, o trilheiro ignora o caminho e tenta voar ou pular, falhando com mais frequência.

A Grande Conclusão

O artigo conclui que a forma como você avalia importa mais do que você imagina.

Para modelos de IA pequenos, simplesmente recompensar a resposta final não é suficiente. Isso cria "alucinações" (lógica falsa) onde o modelo inventa etapas apenas para obter o número correto. Para obter um modelo que realmente pense corretamente, você deve recompensar o processo (os passos) intensamente.

A abordagem "Apenas do Processo" tornou o modelo significativamente mais inteligente e preciso, provando que para cérebros pequenos, mostrar o seu trabalho é tão importante quanto obter a resposta correta.

Resumo Técnico: Granularidade de Recompensa em RLVR para Pequenos Modelos de Linguagem

Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR - Reinforcement Learning with Verifiable Rewards) emergiu como um paradigma para aprimorar o raciocínio matemático em modelos de linguagem, baseando-se tipicamente em recompensas baseadas no resultado (corretude da resposta final). No entanto, o impacto da supervisão ao nível do processo (recompensas passo a passo) permanece subexplorado, particularmente para pequenos modelos de linguagem (SLMs) como o Qwen2.5-0.5B. Esses modelos menores frequentemente carecem da capacidade interna de autocorreção quando fornecidos com feedback esparso, baseado apenas no resultado, levando a traços de raciocínio que podem ser logicamente inconsistentes, alucinados ou estruturalmente frágeis, mesmo quando a resposta final está correta. A questão central de pesquisa é se as recompensas de processo melhoram a coerência e a validade dos traços de raciocínio e se estruturas de recompensa híbridas produzem um raciocínio mais estável do que qualquer uma das abordagens isoladamente.

Metodologia

Os autores conduziram um estudo empírico controlado utilizando o Qwen2.5-0.5B, um modelo transformer compacto, ajustado finamente (fine-tuned) no conjunto de dados GSM8K (problemas matemáticos de nível escolar) usando Otimização de Política Relativa de Grupo (GRPO - Group Relative Policy Optimization).

Configuração Experimental

Linha de Base (Baseline): Um modelo pré-treinado avaliado em um cenário de resposta direta (sem Cadeia de Pensamento - CoT), alcançando 33,13% de acurácia.
Regimes de Recompensa: Cinco condições distintas de recompensa foram comparadas:
1. Apenas Processo: Recompensas atribuídas a cada etapa intermediária se esta corresponder ao cálculo da verdade fundamental (ground-truth) (dentro de uma tolerância numérica). Uma penalidade é aplicada se a cadeia gerada exceder 1,5× a contagem de etapas da verdade fundamental.
2. Apenas Resultado: Recompensa binária baseada exclusivamente na corretude da resposta numérica final.
3. Configurações Híbridas: Combinações ponderadas de recompensas de processo e de resultado ( $R = \lambda \cdot R_{process} + (1-\lambda) \cdot R_{outcome}$ ) com $\lambda \in \{0,9; 0,5; 0,1\}$ .
Estratégia de Avaliação:
- Acurácia: Medida no conjunto de teste completo de 1.319 questões.
- Fidelidade do Raciocínio: Avaliada em um recorte estratificado de 45 questões (15 fáceis, 15 médias, 15 difíceis) utilizando quatro métricas:
  - CoT-Pass@1: Taxa de sucesso de uma única trajetória amostrada.
  - Validade do Traço: Bem-formação lógica (ausência de contradições ou transformações inválidas).
  - Desvio de Comprimento da Cadeia: Diferença entre as contagens de etapas geradas e da verdade fundamental.
  - Razão de Etapas do Processo: Proporção de etapas que se alinham com o raciocínio da verdade fundamental.
- Análise de Erros: O GPT-4o foi utilizado como juiz para categorizar modos de falha (ex: derivação incorreta, erros de calculadora, etapas ausentes, contradições).

Principais Resultados

1. Ganhos de Acurácia

A supervisão apenas de processo alcançou a maior acurácia de teste em 63,73%, representando uma melhoria de +30,60% sobre a linha de base. Este desempenho superou significativamente a supervisão apenas de resultado (53,75%, uma melhoria de +20,62%).

Desempenho Híbrido: A configuração híbrida com alto peso de processo ( $\lambda=0,9$ ) alcançou 61,10% de acurácia.
Anomalia: A configuração de baixo processo/alto resultado ( $\lambda=0,1$ ) teve um desempenho inferior à supervisão pura de resultado (49,30%), sugerindo que sinais de otimização conflitantes nesta ponderagem específica degradam o desempenho.

2. Fidelidade e Estabilidade do Raciocínio

Validade do Traço: O modelo híbrido $\lambda=0,9$ alcançou a maior validade de traço (0,60), seguido pelo modelo apenas de resultado (0,40) e o apenas de processo (0,22).
Comprimento da Cadeia: Modelos apenas de processo exibiram o maior desvio em relação aos comprimentos de cadeia da verdade fundamental (6,49), indicando uma tendência para um raciocínio verboso ou redundante. Modelos apenas de resultado produziram cadeias mais concisas (desvio 3,64).
Razão de Etapas do Processo: O modelo híbrido $\lambda=0,9$ alcançou a maior razão (0,84), indicando o melhor alinhamento com as etapas intermediárias da verdade fundamental.

3. Análise Qualitativa e de Erros

Modelos Apenas de Processo: Geraram traços estruturalmente inconsistentes, porém aritmeticamente fundamentados. Frequentemente introduziam inconsistências estruturais e contradições, provavelmente devido ao incentivo para produzir cadeias longas de etapas localmente plausíveis.
Modelos Apenas de Resultado: Produziram cadeias concisas, mas eram propensos a erros de derivação e aritmética, refletindo um fraco embasamento intermediário e uma tendência a "saltar" entre pontos de raciocínio.
Modelos Híbridos: Exibiram o fluxo de raciocínio mais semelhante ao humano, equilibrando a continuidade das etapas com a brevidade necessária, e mostraram a distribuição mais uniforme de tipos de erro, com menos falhas catastróficas.

Significância e Contribuições

O artigo afirma que a granularidade da recompensa é uma decisão de design de primeira ordem para RLVR, e não um detalhe menor de implementação. As principais contribuições são:

Comparação Sistemática: Fornecer uma comparação controlada de cinco condições de recompensa em um modelo pequeno, demonstrando que sinais de processo densos fornecem orientação mais informativa do que o feedback esparso de resultado para SLMs.
Além da Acurácia: Estabelecer que a acurácia sozinha é insuficiente; a supervisão de processo melhora substancialmente a fidelidade do traço e a validade das etapas, enquanto a supervisão apenas de resultado pode levar a um raciocínio "instável" (flaky).
Dinâmicas Híbridas: Identificar que, embora as recompensas híbridas geralmente correlacionem positamente com o peso do processo, configurações específicas de baixo processo podem criar sinais conflitantes que prejudicam o desempenho.
Caracterização de Modos de Falha: Utilizar o LLM-como-juiz para revelar distribuições distintas de falhas: modelos de processo sofrem de inconsistência estrutural, enquanto modelos de resultado sofrem de erros de derivação.

Os autores concluem que, para desenvolver modelos que não apenas respondam corretamente, mas que também raciocinem de forma confiável, é essencial supervisionar tanto o processo quanto o resultado do raciocínio. A diferença de quase 10 pontos percentuais na acurácia entre a supervisão apenas de processo e a apenas de resultado ressalta a importância crítica da granularidade da recompensa em pequenos modelos de linguagem.