Resumo Técnico: Momentum para o Raciocínio: Sinais Intrínsecos Densos na Otimização de Políticas

Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tornou-se o paradigma dominante para estimular o raciocínio de cadeia longa em Grandes Modelos de Linguagem (LLMs), utilizando principalmente a Otimização de Política Relativa ao Grupo (GRPO). No entanto, a dependência de recompensas binárias de resultado (correto/incorreto) induz dois modos de falha estruturais que prejudicam a eficiência do treinamento e a qualidade do raciocínio:

1. Colapso de Vantagem Zero (Zero-Advantage Collapse): Em um grupo de rollouts, se todas as trajetórias compartilharem o mesmo resultado (ex: todas corretas ou todas incorretas), a vantagem relativa ao grupo torna-se zero ($\sigma_R = 0$). Isso resulta em um gradiente evanescente, desperdiçando o esforço computacional de todo o grupo. Este regime torna-se cada vez mais frequente à medida que o treinamento progride e os prompts ou saturam (prompts fáceis) ou permanecem não resolvidos (prompts difíceis).
2. Certeza Alucinada (Hallucinated Certainty): No estágio final do treinamento, a entropia da política do modelo diminui mesmo em rollouts incorretos em tokens de decisão de alto risco. O modelo torna-se "confiante no erro", ossificando padrões de raciocínio errôneos. Recompensas binárias não conseguem distinguir entre um erro confiante e um erro hesitante, falhando em penalizar esta patologia específica.

A causa raiz de ambos os modos é que uma recompensa de resultado binária indica se uma trajetória teve sucesso, mas não fornece informações sobre como ela chegou à resposta, deixando a política sem sinais de nível de processo.

Metodologia: ISPO (Otimização de Política de Sinal Intrínseco)

Os autores propõem o ISPO, um aumento de nível de recompensa para o GRPO que densifica a recompensa de resultado esparsa usando dois sinais intrínsecos computados inteiramente a partir das próprias probabilidades condicionais da política. Esta abordagem não requer nenhum modelo de recompensa externo ou anotação de processo.

1. Sinal de Nível de Sequência: IFD Condicional

Para abordar o Colapso de Vantagem Zero, o ISPO introduz um sinal de nível de sequência que mede o quanto a trajetória de pensamento ($T$) informa a resposta final ($A$).

• Definição: A Dificuldade de Seguimento de Instrução Condicional (IFD) é definida como a diferença de log-probabilidade entre prever a resposta com o rastro de pensamento versus sem ele:
  $$\text{IFD}_{\text{cond}}(\tau) = \frac{1}{|A|} [\log p_\theta(A|Q, T) - \log p_\theta(A|Q)]$$
• Garantia Teórica: Os autores provam que o valor esperado deste termo é igual à divergência de Kullback-Leibler condicional $D_{KL}(p_\theta(\cdot|Q, T) \parallel p_\theta(\cdot|Q))$. Esta identidade garante formalmente que, mesmo quando a recompensa de resultado é homogênea ($\sigma_{\text{outcome}}=0$), a variância da recompensa composta permanece não nula ($\sigma_R > 0$) desde que os rastros de pensamento sejam diferentes, preservando assim o gradiente.

2. Sinal de Nível de Token: Modelagem Direcional

Para abordar a Certeza Alucinada, o ISPO adiciona uma recompensa de nível de token refinada e condicionada ao resultado, restrita a um subconjunto de "tokens críticos".

• Seleção de Tokens Críticos: Os tokens são selecionados via interseção de dois filtros:
  1. Filtro de Entropia ($\mathcal{A}$): Seleciona tokens com alta incerteza local (top-$k\%$ de entropia).
  2. Filtro de Drift ($\mathcal{C}_\Delta$): Seleciona tokens onde a política atual derivou significativamente da política base congelada.
     Esta interseção isola tokens que são simultaneamente incertos e ativamente moldados pelo RL, representando pontos de decisão de alto alavancagem.
• Recompensa Direcional:
  • Rollouts Corretos: Recompensa a baixa perplexidade (alta probabilidade) nos tokens críticos para reforçar a execução fluente.
  • Rollouts Incorretos: Recompensa a alta entropia. Crucialmente, uma penalidade de dobradiça (hinge penalty) $\max(0, \tau_H - H_t)$ é aplicada a tokens de baixa entropia. Isso penaliza assimetricamente previsões "confiantes no erro" (baixa entropia em caminhos incorretos) enquanto deixa tokens incorretos incertos relativamente inalterados, visando diretamente o regime de certeza alucinada.

3. Recompensa Composta

A recompensa final $R(\tau)$ combina o resultado binário $R_o$ com os sinais intrínsecos:
$$R(\tau) = R_o + \lambda_1 (2R_o - 1) \text{IFD}_{\text{cond}}(\tau) + \lambda_2 R_{\text{token}}(\tau)$$
O fator de sinal $(2R_o - 1)$ garante que uma forte dependência entre pensamento-resposta seja recompensada para respostas corretas, mas penalizada para respostas incorretas.

Principais Contribuições

1. Formalização dos Modos de Falha: O artigo identifica e analisa formalmente o Colapso de Vantagem Zero e a Certeza Alucinada como falhas estruturais do RLVR de resultado binário.
2. Design de Sinal Intrínseco: Propõe o ISPO, que integra um IFD condicional de nível de sequência (com uma identidade exata de KL condicional) e uma modelagem de token direcional com uma dobradiça de certeza alucinada.
3. Preservação de Gradiente Teórica: Fornece uma proposição provando que o ISPO preserva gradientes não nulos em lotes de vantagem zero, efetivamente "destravando" dados de treinamento que o GRPO padrão descarta.
4. Superioridade Empírica: Experimentos extensos demonstram ganhos consistentes de desempenho em múltiplas escalas de modelos e benchmarks.

Resultados Experimentais

Os autores avaliaram o ISPO em três modelos base Qwen2.5 (1.5B, 7B Math e 7B General) através de cinco benchmarks de raciocínio matemático: AIME24, AIME25, AMC23, MATH-500 e OlympiadBench.

• Desempenho: O ISPO superou consistentemente as linhas de base competitivas (incluindo Vanilla GRPO, Dr. GRPO, PACR, Scaf-GRPO e PREPO).
  • No Qwen2.5-Math-7B, o ISPO alcançou um Pass@1 de 55,4% (média entre os benchmarks), superando a linha de base mais forte (Scaf-GRPO em 51,3%) por 4,1 pontos.
  • Os maiores ganhos foram observados nos benchmarks mais difíceis (AIME24/AIME25), onde o Colapso de Vantagem Zero é mais frequente. Por exemplo, no AIME24 com o modelo 7B, o ISPO atingiu 48,9% comparado a 43,3% do Scaf-GRPO.
• Eficiência: O ISPO recuperou gradientes em lotes que seriam descartados pelo GRPO. Enquanto o Vanilla GRPO descartava ~24,7% dos rollouts devido à vantagem zero, o ISPO manteve 100% dos rollouts úteis com apenas ~4,4% de overhead de tempo de execução (devido a uma passagem forward extra para a probabilidade apenas da resposta).
• Avaliação Multi-Amostra: Em avaliações pass@32, o ISPO mostrou melhorias significativas (ex: +13,7% no AIME24 pass@32 sobre o ProGRPO), indicando que o método preserva com sucesso a diversidade de nível de amostra e evita o colapso em um raciocínio confiante porém errado.
• Estudos de Ablação: A remoção do IFD condicional ou da modelagem de token direcional resultou em quedas de desempenho, confirmando que ambos os componentes são necessários. A interseção dos filtros de entropia e drift mostrou-se superior ao uso de apenas um deles.

Significância e Alegações

O artigo afirma que o ISPO aborda a limitação fundamental das recompensas binárias esparsas no RLVR ao alavancar a própria superfície de probabilidade do modelo como uma fonte densa de informação. Os autores caracterizam os sinais intrínsecos densos como um "momentum para o raciocínio" que mantém o aprendizado ativo onde os gradientes de resultado desaparecem.

A significância do trabalho reside em sua capacidade de:

1. Estabilizar o Treinamento: Ao prevenir o Colapso de Vantagem Zero, o ISPO garante que prompts difíceis (que frequentemente resultam em grupos de todos incorretos) continuem a fornecer sinais de aprendizado em vez de serem descartados.
2. Corrigir Patologias: Ao penalizar explicitamente erros confiantes, o ISPO mitiga o modo de falha de "Certeza Alucinada", levando a trajetórias de raciocínio mais robustas.
3. Integração Ortogonal: O método compõe-se ortogonalmente com refinamentos de nível de otimizador e estratégias de curadoria de dados, oferecendo uma melhoria generalizável para o pipeline de RLVR sem exigir mudanças no processo de geração de rollouts ou modelos de recompensa externos.

Os autores observam limitações, especificamente que a abordagem é atualmente restrita a tarefas com resultados verificáveis e foi validada primariamente em tarefas de raciocínio matemático com modelos Qwen2.5.