Resumo Técnico: EP-GRPO

Declaração do Problema

O artigo identifica três falhas fundamentais de atribuição de crédito inerentes à Otimização de Política Relativa em Grupo (GRPO), um algoritmo líder para Aprendizado por Reforço com Recompensas Verificáveis (RLVR) em Modelos de Linguagem de Grande Porte (LLMs). Essas limitações prejudicam a eficiência e a eficácia de tarefas de raciocínio:

1. Granularidade Uniforme em Nível de Token: O GRPO padrão atribui um valor de vantagem uniforme a todos os tokens dentro de uma sequência gerada. Essa granularidade grosseira ignora o valor informacional heterogêneo dos tokens. A análise empírica mostra que tokens de alta entropia (representando pivôs de decisão) são críticos para o raciocínio, enquanto tokens de baixa entropia frequentemente representam derivações determinísticas e redundantes. Tratá-los igualmente dilui o sinal de gradiente em pontos de decisão cruciais.
2. Polaridade Uniforme: O GRPO atribui o mesmo sinal de vantagem (positivo ou negativo) a cada token em uma sequência com base exclusivamente no resultado final. Isso leva a um "desalinhamento de polaridade", onde etapas intermediárias corretas em uma trajetória falha são penalizadas, e etapas incorretas em uma trajetória bem-sucedida são inadvertidamente recompensadas. Soluções existentes, como Modelos de Recompensa de Processo (PRMs), abordam isso, mas exigem anotações externas custosas e lutam com a generalização.
3. Colapso de Variância Zero: Quando todas as respostas amostradas em um grupo recebem recompensas idênticas (comum no treinamento inicial ou em tarefas difíceis), a vantagem normalizada torna-se zero para todos os tokens. Isso faz com que o sinal de gradiente orientado pelo resultado desapareça completamente, paralisando o aprendizado. Embora aumentar o tamanho do grupo mitigue isso, é computacionalmente caro. Correções existentes frequentemente dependem de amostragem adicional ou remodelagem heurística que não se alinha com o progresso lógico.

Metodologia: EP-GRPO

Os autores propõem o GRPO Alinhado a Entropia e Progresso (EP-GRPO), um framework que transforma feedback esparsos, apenas de resultado, em sinais de aprendizado densos, auto-supervisionados e em nível de token, sem modelos de recompensa externos. O método consiste em três componentes principais:

1. Vantagem de Resultado Portada por Entropia

Para abordar a granularidade, o EP-GRPO modula a vantagem original em nível de sequência ($\hat{A}_i$) usando um peso em nível de token derivado da entropia preditiva ($H_{i,t}$).

• Mecanismo: O método calcula a entropia preditiva para cada token. Um portão sigmoide mapeia valores de entropia padronizados para pesos ($W_{i,t}$).
• Efeito: Tokens de alta entropia (pivôs de decisão) recebem pesos amplificados, enquanto tokens de baixa entropia (derivações determinísticas) são suprimidos. A vantagem modulada é $\hat{A}^{outcome}_{i,t} = W_{i,t} \cdot \hat{A}_i$. Isso preserva a direção original, mas ajusta a magnitude com base no conteúdo informacional.

2. Vantagem de Progresso Implícito

Para abordar a polaridade e o colapso de variância zero, o EP-GRPO introduz um sinal direcional derivado da divergência da política.

• Geração de Sinal: Calcula-se a divergência de log-probabilidade entre a política atual ($\pi_\theta$) e uma política de referência congelada ($\pi_{ref}$): $s_{i,t} = \lambda (\log \pi_\theta - \log \pi_{ref})$. Isso serve como um sinal de processo auto-supervisionado.
• Ancoragem Direcional: Como a divergência carece de direcionalidade intrínseca (a confiança pode estar mal posicionada), ela é ancorada à vantagem de resultado.
  • Se a variância da recompensa do grupo for não nula, a âncora é $\text{sign}(\hat{A}_i)$.
  • Se a variância for zero (colapso), a âncora degrada-se para o sinal de recompensa bruto ($\text{sign}(r_i - \theta_{reward})$).
• Alinhamento de Progresso: Para normalizar esses sinais em trajetórias de raciocínio assíncronas, os tokens são mapeados para "buckets de progresso lógico" com base na entropia cumulativa ($\tau_{i,t}$). A normalização (escore-Z) é realizada dentro desses buckets, e não por posição física, garantindo que tokens em estágios de raciocínio semelhantes sejam comparados.
• Resultado: Isso produz uma recompensa direcional e densa ($\hat{A}^{progress}_{i,t}$) que permanece ativa mesmo quando as vantagens de resultado desaparecem.

3. Vantagem Final em Nível de Token

A vantagem final combina ambos os sinais:
$$\hat{A}^{final}_{i,t} = \hat{A}^{outcome}_{i,t} + \hat{A}^{progress}_{i,t}$$
A análise teórica prova que este gradiente é equivalente a um objetivo GRPO regularizado com um termo de log-ratio quadrado ponderado por entropia, atuando efetivamente como uma regularização guiada por precisão que estabiliza a exploração em pontos de decisão críticos.

Contribuições Principais

1. Modulação Portada por Entropia: Um mecanismo para transformar vantagens em nível de sequência grosseiras em pesos em nível de token, priorizando atualizações de gradiente em pivôs de decisão de alta entropia.
2. Sinais de Processo Implícitos Ancorados: Um método para converter divergência de política em recompensas de processo direcionais ancorando-as às vantagens de resultado. Isso fornece feedback granular sem PRMs externos e mantém o fluxo de gradiente durante o colapso de variância zero.
3. Alinhamento de Progresso Lógico: Uma estratégia de mapeamento de entropia cumulativa que projeta trajetórias assíncronas em um sistema de coordenadas unificado, permitindo normalização alinhada ao progresso e garantindo sinais significativos mesmo quando gradientes baseados em resultados desaparecem.

Resultados Experimentais

Os autores avaliaram o EP-GRPO nos modelos Qwen2.5-3B e Qwen2.5-7B em cinco benchmarks de raciocínio matemático: MATH500, AMC23, Minerva, AIME24 e AIME25.

• Ganhos de Desempenho: O EP-GRPO superou consistentemente o GRPO padrão e suas variantes (por exemplo, temperatura mais alta, mais rollouts).
  • No Qwen2.5-3B, a precisão média melhorou de 18,14% (GRPO) para 22,93% (+26,4%).
  • No Qwen2.5-7B, a precisão média melhorou de 27,11% (GRPO) para 30,34% (+11,9%).
  • Notavelmente, o modelo EP-GRPO de 3B superou o DeepSeek-R1-671B comercial no benchmark AMC23.
• Desempenho Pass@k: O EP-GRPO mostrou vantagens significativas em conjuntos de dados de alta dificuldade (AIME24/25) à medida que o número de amostras ($k$) aumentava, indicando uma capacidade superior de descobrir caminhos de raciocínio corretos em cenários complexos.
• Estudos de Ablação: A remoção de qualquer componente único (Portão de Entropia, Sinais de Progresso Implícitos ou Degradação de Variância Zero) resultou em quedas de desempenho, confirmando que os três mecanismos são não redundantes e coletivamente necessários.
• Eficiência: O tempo de treinamento em tempo real foi comparável ao GRPO padrão, pois os cálculos adicionais (entropia, divergência) são leves. No entanto, o EP-GRPO produziu cadeias de raciocínio aproximadamente 20% mais longas, indicando raciocínio mais profundo sem custo temporal.

Significado

O artigo afirma que o EP-GRPO aborda as limitações fundamentais do GRPO em RLVR ao introduzir um mecanismo de atribuição de crédito denso e auto-supervisionado. Ao aproveitar o fluxo de informação intrínseco do modelo (entropia) e a dinâmica da política (divergência), elimina a necessidade de Modelos de Recompensa de Processo externos e custosos, ao mesmo tempo que resolve o colapso de variância zero que aflige a otimização baseada em grupos padrão. Os resultados sugerem que uma atribuição de crédito aprimorada, em vez de meramente aumentar a escala do modelo ou o orçamento de amostragem, é uma alavanca crítica para melhorar as capacidades de raciocínio de LLMs.