Resumo Técnico: RREDCoT – Redistribuição de Recompensa em Nível de Segmento para Modelos de Raciocínio

Declaração do Problema

Os avanços recentes em modelos de linguagem de raciocínio dependem fortemente do ajuste fino por Aprendizado por Reforço (RL), particularmente utilizando o algoritmo Group Relative Policy Optimization (GRPO) combinado com o paradigma Reinforcement Learning with Verifiable Rewards (RLVR). Neste cenário, os modelos geram um traço de Cadeia de Pensamento (Chain-of-Thought - CoT) antes de produzir uma resposta final. No entanto, existe um gargalo crítico: o sinal de recompensa é tipicamente atribuído apenas após a conclusão de todo o traço de CoT e a verificação da resposta final. Isso cria um problema de recompensa atrasada.

Abordagens padrão como o GRPO correspondem a métodos de Monte Carlo em RL, que sofrem de alta variância porque a recompensa é distribuída uniformemente por todo o trajeto, não fornecendo supervisão direta para passos de raciocínio individuais. A Amostragem de Monte Carlo (MCS) pode estimar valores de estados intermediários, mas requer a geração de múltiplas conclusões para cada segmento, levando a um overhead computacional proibitivo para atribuição de crédito de alta granularidade em contextos longos. Alternativas existentes, como o uso de modelos julgadores para análise passo a passo ou a extração de utilidade intermediária a partir de estatísticas do modelo, frequentemente introduzem ruído ou exigem recursos computacionais adicionais.

Metodologia: RREDCoT

Os autores propõem o RREDCoT (Reward REDistribution for Chain of Thoughts), um método que adapta os princípios do algoritmo RUDDER à estrutura específica da geração de CoT. O objetivo central é redistribuir a recompensa final para segmentos intermediários do traço de CoT para fornecer sinais de aprendizado mais densos sem exigir modelos adicionais ou etapas extras de geração.

1. Formulação MDP

O processo de geração de CoT é modelado como um Processo de Decisão de Markov (MDP), onde o estado $s_t$ consiste na consulta original e na sequência de segmentos gerados até $t-1$. O espaço de ação é particionado em:

• $Y$ (Resposta): Ações que disparam a saída final.
• $U$ (Continuação): Ações que geram novos segmentos de CoT.
  A recompensa imediata para gerar um pensamento é zero; a recompensa só é realizada ao gerar uma resposta final correta.

2. Redistribuição Ótima de Recompensa

O RREDCoT deriva uma redistribuição de recompensa ótima $\sigma$ baseada na diferença nos retornos esperados entre estados consecutivos. O método utiliza o próprio modelo de linguagem gerador para aproximar a função de valor, evitando a necessidade de um LSTM auxiliar (como usado no RUDDER original) ou de amostragem extensiva.

A redistribuição é calculada como:
$$\sigma_t \propto \hat{R}_{t+1} - \hat{R}_t + \hat{v}_{t+1} - \hat{v}_t$$
Onde:

• $\hat{R}_t$ é a estimativa de recompensa imediata (probabilidade da resposta de referência dada a trajetória atual).
• $\hat{v}_t$ é o valor estimado do estado (utilidade esperada de conclusões futuras).

Para estimar esses valores de forma eficiente, os autores empregam um estimador de Recompensa de Probabilidade (PR) usando amostragem de importância sobre um conjunto de caminhos de solução de referência ($Y^\star, U^\star$). Isso permite que o modelo atue como uma função de dinâmica (modelo de mundo) para estimar a probabilidade de alcançar um estado de alta utilidade a partir do segmento atual.

3. Estratégia de Segmentação Híbrida

Para tornar a atribuição de crédito tratável, o RREDCoT introduz uma estratégia de segmentação híbrida baseada em palavra-chave e entropia:

1. Divisão Inicial: O traço é dividido por palavras-chave genéricas (ex: quebras de linha).
2. Fusão Iterativa: Segmentos consecutivos com a menor entropia combinada são fundidos até que um número alvo de segmentos seja alcançado.
3. Racional: Tokens de alta entropia representam pontos de alta pluralidade (pontos de decisão) e servem como "pontos de saída" naturais para estimar contribuições imediatas. Esta estratégia garante que os segmentos sejam o mais desacoplados possível, minimizando o viés na estimativa da função de valor.

4. Integração com Objetivos de RL

As recompensas redistribuídas são integradas ao objetivo padrão de gradiente de política. O método garante a equivalência de retorno, o que significa que a soma das recompensas redistribuídas é igual ao retorno original do episódio, preservando a política ótima enquanto acelera a convergência.

Principais Contribuições

1. Algoritmo RREDCoT: Um algoritmo de atribuição de crédito e redistribuição de recompensa tratável para traços de CoT que não requer modelos adicionais ou etapas extras de geração, utilizando o próprio modelo gerador para estimativa de valor.
2. Segmentação Baseada em Entropia: Uma estratégia de segmentação inovadora adaptada para o RREDCoT que equilibra a divisão por palavras-chave com a fusão por entropia para otimizar a estimativa de contribuições intermediárias.
3. Análise Teórica e Empírica: Uma análise detalhada comparando o estimador proposto contra a amostragem de Monte Carlo e vários métodos de atribuição (ex: valores de Shapley, Leave-One-Out), demonstrando que métodos de atribuição não condicionadas a soluções corretas capturam aspectos de geração diferentes da redistribuição de recompensa.

Resultados Experimentais

Os autores avaliaram o RREDCoT em diversos benchmarks, incluindo os datasets AIME, MATH e Minerva.

• Desempenho em Contexto Longo: No dataset Numina-CoT, com comprimentos de geração de até 25k tokens, o RREDCoT demonstrou desempenho superior em comparação ao GRPO padrão. Por exemplo, no modelo Qwen3-4B Instruct, o RREDCoT alcançou uma pontuação AIME24 de 0.908 contra os 0.850 do GRPO.
• Refinamento em Pequena Escala: Ao ser aplicado a pequenos modelos de raciocínio (1.5B de parâmetros) para refinamento online, o RREDCoT mostrou resultados competitivos ou superiores comparados a modelos ajustados com GRPO e ajuste de hiperparâmetros, particularmente nos benchmarks AMC23 e MATH500.
• Variância e Viés: O estudo mostrou que, embora a amostragem de Monte Carlo truncada leve a uma perda significativa de conclusões válidas (introduzindo viés), o estimador do RREDCoT alinha-se bem com os resultados de amostragem MC com uma fração do custo computacional.
• Análise de Correlação: O artigo descobriu que os métodos de atribuição baseados em gradiente e Leave-One-Out (LOO) são altamente correlacionados entre si, mas menos correlacionados com o RREDCoT. Isso sugere que os métodos de atribuição capturam propriedades de sinal diferentes da redistribuição de recompensa, e usar apenas a atribção para treinar pesos pode ser redundante ou subótimo.

Significância e Alegações

O artigo afirma que o RREDCoT aborda os problemas de alta variância e recompensa atrasada inerentes ao ajuste fino de RL de modelos de raciocínio. Ao redistribuir recompensas para segmentos intermediários baseando-se nas próprias capacidades preditivas do modelo, o método acelera a convergência e melhora o desempenho final sem as proibições computacionais da amostragem de Monte Carlo.

Os autores enfatizam que sua abordagem é uma aproximação tratável da redistribuição ótima de recompensa. Eles observam que o método depende da disponibilidade de soluções de referência e de alguma estrutura de subobjetivos (ex: soluções únicas em problemas matemáticos). Embora o método introduza um overhead computacional de 1.5–2x em relação ao GRPO ingênuo, ele é significativamente mais eficiente do que a amostragem completa de Monte Carlo. O trabalho posiciona o RREDCoT tanto como um amplificador de sinal de treinamento quanto como uma ferramenta de análise, oferecendo uma nova perspectiva sobre atribuição de crédito que é distinta das técnicas tradicionais de atribuição.