Resumo Técnico: Back to Basics: Revisiting Exploration in Reinforcement Learning for LLM Reasoning via Generative Probabilities

1. Definição do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tornou-se um paradigma dominante para aprimorar o raciocínio em Grandes Modelos de Linguagem (LLMs), particularmente para gerar caminhos longos de Cadeia de Pensamento (CoT). No entanto, os métodos padrão de otimização de política, como o Group Relative Policy Optimization (GRPO), sofrem de colapso de entropia e colapso de modo.

A questão central advém do objetivo de maximização de verossimilhança ponderada pela recompensa. Durante a otimização, esse objetivo amplifica desproporcionalmente a massa de probabilidade de trajetórias de alta recompensa (corretas). Consequentemente, o modelo converge para políticas de baixa entropia que suprimem cadeias de raciocínio alternativas válidas, levando a uma severa falta de diversidade de saída. Embora soluções existentes, como regularização de entropia ou clipping dinâmico, tentem mitigar isso, elas permanecem limitadas a modificações locais dentro da estrutura de maximização de recompensa e falham em melhorar fundamentalmente a modelagem de diversos caminhos de raciocínio.

2. Metodologia: ProGRPO

Os autores propõem o ProGRPO (Probabilistic based GRPO), um novo paradigma que reexamina a construção da função de Vantagem sob a perspectiva das probabilidades generativas. A inovação central é um Mecanismo de Reponderação de Vantagem (ARM) projetado para equilibrar os níveis de confiança em todas as respostas corretas.

2.1. Mecanismo de Reponderação de Vantagem (ARM)

Em vez de modificar o sinal de recompensa diretamente (o que poderia distorcer as atualizações se todas as respostas em um grupo forem corretas ou incorretas), o ProGRPO ajusta a Vantagem ($\tilde{A}_i$) incorporando sinais internos do modelo:

• Confiança do Prompt ($c_\theta(q_i)$): A confiança do modelo na entrada do prompt, calculada como o exponencial da média do log-probabilidade dos tokens de baixa probabilidade no prompt.
• Confiança da Resposta ($c_\theta(o_i | q_i)$): A confiança do modelo em gerar uma resposta específica $o_i$ para o prompt $q_i$, calculada de forma semelhante sobre os tokens de baixa probabilidade na resposta.

A vantagem reponderada é definida como:
$$\tilde{A}_i = A_i + \alpha (c_\theta(q_i) - c_\theta(o_i | q_i))$$
onde $A_i$ é a vantagem padrão do GRPO e $\alpha$ é um coeficiente de ponderação. Este mecanismo remodela dinamicamente o sinal de recompensa: ele atenua as atualizações de gradiente para caminhos de raciocínio excessivamente confiantes e redistribui a massa de probabilidade para soluções corretas subexploradas.

2.2. Normalização de Comprimento de Tokens de Baixa Probabilidade

Os autores observam que aplicar a normalização de comprimento sobre uma sequência inteira dilui o sinal de recompensa com tokens "triviales" de alta confiança. A incerteza preditiva está tipicamente concentrada em uma pequena fração dos passos de geração (aprox. 20%).

• Estratégia: O método identifica um subconjunto crítico de tokens ($T^{low}$) que representa as posições com a maior incerteza preditiva.
• Implementação: Os scores de confiança tanto para prompts quanto para respostas são calculados exclusivamente sobre este subconjunto informativo, preservando variações significativas que refletem a qualidade do raciocínio em vez de certezas superficiais.

2.3. Função Objetivo

A função objetivo final integra essas vantagens reponderadas na perda padrão do GRPO, utilizando um objetivo substituto com clipping para garantir a estabilidade do treinamento enquanto incentiva a exploração diversificada.

3. Principais Contribuições

• Inovação Metodológica: A introdução do ProGRPO, que estende o GRPO ao incorporar um Mecanismo de Reponderação de Vantagem (ARM) consciente da confiança. Isso permite uma exploração direcionada sem comprometer a estabilidade do treinamento.
• Eficácia Abrangente: Validação em diversos benchmarks (Matemática e Geração de Código) usando múltiplas escalas de modelos (Qwen2.5-7B/32B, DeepSeek-R1-Distill-Qwen-1.5B/7B). O método supera consistentemente as principais linhas de base como GRPO e FlowRL.
• Robustez OOD: Demonstração de adaptabilidade superior Out-of-Distribution (OOD), mantendo um desempenho robusto em distribuições de dados não vistas (ex: GPQA, MMLU-Pro).
• Ganhos Significativos de Desempenho: O método alcança um trade-off superior entre exploração e explotação, aumentando significativamente tanto a precisão quanto a diversidade de saída.

4. Resultados Experimentais

Experimentos foram conduzidos em benchmarks de raciocínio matemático (AIME, AMC, MATH, OlympiadBench) e geração de código (LiveCodeBench, CodeForces, HumanEval+).

• Raciocínio Matemático:
  • No Qwen2.5-7B, o ProGRPO supera o GRPO em 5,7% no Pass@1 e 13,9% no Pass@32.
  • No Qwen2.5-32B, ele melhora o Pass@1 em 4,8% sobre o GRPO.
  • No DeepSeek-R1-Distill-Qwen-1.5B, o Pass@1 melhorou de 49,4% (GRPO) para 58,3% (ProGRPO).
• Geração de Código:
  • No CodeForces, o ProGRPO alcançou um rating de 1422.49, excedendo o GRPO por quase +180 pontos e o FlowRL por +293 pontos.
  • No HumanEval+, alcançou um score Avg@16 de 84,01%, o melhor entre os métodos comparados.
• Diversidade e Entropia:
  • A análise de entropia de treinamento mostra que, enquanto o GRPO leva ao colapso de entropia, o ProGRPO exibe um aumento estável na entropia, indicando uma exploração sustentada.
  • Métricas de diversidade (Self-BLEU, Cosseno Semântico) no AIME 2024 mostram uma redundância significativamente menor nas saídas do ProGRPO em comparação ao GRPO, confirmando a geração de caminhos de raciocínio estruturalmente diversos.
• Estudos de Ablação:
  • O hiperparâmetro $\alpha$ (coeficiente de ponderação) mostrou-se crítico. Um $\alpha$ de 0,3 forneceu o equilíbrio ideal entre desempenho e estabilidade. Valores de 0 (GRPO puro) geraram resultados mais fracos, enquanto valores mais altos (0,7, 1,0) degradaram o desempenho ao enfatizar excessivamente os sinais de confiança.

5. Significância e Alegações

O artigo afirma que o ProGRPO aborda o fundamental trade-off Exploração-Explotação em tarefas de raciocínio de LLM. Ao mudar o foco da simples maximização de recompensa para o equilíbrio das probabilidades generativas e da confiança, o método:

1. Mitiga o Colapso de Entropia: Impede que o modelo converja para um único caminho de raciocínio dominante.
2. Aumenta a Diversidade: Gera uma variedade mais ampla de cadeias de raciocínio válidas, evidenciada pelos ganhos significativos nas métricas Pass@k (onde $k > 1$).
3. Melhora a Generalização: Mantém um desempenho robusto em datasets OOD, sugerindo que as capacidades de raciocínio aprendidas são mais transferíveis.

Os autores posicionam este trabalho como uma abordagem "back to basics", revisitando a natureza probabilística da geração de LLMs para resolver as limitações dos atuais paradigmas de RLVR, pavimentando o caminho para um aprendizado por reforço mais estável e exploratório em modelos de raciocínio.