Resumo Técnico: GTPO e GRPO-S

1. Definição do Problema

Os algoritmos atuais de Aprendizagem por Reforço (RL) para Grandes Modelos de Linguagem (LLMs), particularmente o Group Relative Policy Optimization (GRPO) e suas variantes como o DAPO, sofrem de uma atribuição de crédito de granularidade grosseira (coarse-grained credit assignment). Nestes frameworks, uma recompensa uniforme (ex: +1 para uma resposta final correta, 0 ou -1 para uma incorreta) é atribuída a cada token dentro de uma sequência gerada. Este paradigma cria duas limitações críticas:

1. Penalização de Raciocínio Correto: Uma sequência contendo dezenas de passos lógicos corretos recebe recompensa zero se a resposta final for incorreta, descartando efetivamente o valor do raciocínio intermediário.
2. Recompensa de Caminhos Falhos: Por outro lado, uma sequência que alcança uma resposta correta através de passos intermediários adivinhados ou falhos recebe crédito total, reforçando padrões de raciocínio incorretos.
3. Viés de Comprimento: Os designs padrão do GRPO favorecem implicitamente sequências mais longas para respostas corretas devido à agregação de vantagens uniformes, o que é estatisticamente suboptimal.

Embora trabalhos recentes tenham utilizado a entropia da política como uma restrição de regularização ou uma máscara binária para filtrar tokens, eles falham em remodelar ativamente o sinal de recompensa para distinguir entre a exploração de alto valor em soluções corretas e erros confiantes em soluções incorretas.

2. Metodologia

Os autores propõem o Pesagem Dinâmica de Entropia (Dynamic Entropy Weighting), um framework que reaproveita a entropia da política como uma âncora intrínseca para atribuição de crédito de granularidade fina. A hipótese central é que uma alta entropia de política dentro de uma sequência de raciocínio correlaciona-se com pontos de decisão cruciais (esforço cognitivo). O framework redistribui recompensas baseando-se nesta entropia, operando através de dois algoritmos complementares:

A. Group Token Policy Optimization (GTPO)

O GTPO opera ao nível do token, atribuindo uma recompensa ponderada pela entropia única para cada token.

• Sequências Bem-sucedidas ($O^+$): Tokens com alta entropia (indicando exploração valiosa ou incerteza) recebem um bônus de recompensa. A recompensa é moldada como:
  $$\tilde{r}^+_{i,t} = \alpha_1 r_i + \alpha_2 \frac{H_{i,t}}{\sum_{k} H_{k,t}} \cdot d_t$$
  onde $H_{i,t}$ é a entropia de geração do token, e $d_t$ é a contagem de sequências bem-sucedidas ativas no passo $t$. Isso reforça passos incertos, porém corretos.
• Sequências Mal-sucedidas ($O^-$): Tokens com baixa entropia (indicando alta confiança) recebem penalidades mais pesadas. A recompensa é moldada usando a entropia inversa:
  $$\tilde{r}^-_{j,t} = \alpha_1 (-1) + \alpha_2 \frac{1/H_{j,t}}{\sum_{k} (1/H_{k,t})} \cdot h_t \cdot (-1)$$
  Isso penaliza erros confiantes, incentivando o modelo a romper padrões de raciocínio incorretos.
• Cálculo de Vantagem: Funções de vantagem separadas são computadas para os conjuntos positivos e negativos, normalizadas sobre todos os tokens no lote para garantir uma escala consistente.

B. Sequence-Level GRPO (GRPO-S)

O GRPO-S é uma variante leve, ao nível da sequência, projetada para estabilidade em tarefas de Cadeia de Pensamento (CoT) longas.

• Em vez de recompensas ao nível do token, ele modula a recompensa global para uma sequência inteira com base na sua entropia média ($\hat{H}_k$).
• Sequências bem-sucedidas com maior exploração recebem bônus, enquanto sequências incorretas com alta confiança (baixa entropia média) recebem penalidades.
• Esta abordagem oferece um compromisso entre a precisão de micro-nível do GTPO e a estabilidade macro-nível do GRPO.

Garantias Teóricas

O artigo fornece análise teórica provando:

1. Conservação de Massa de Recompensa: Sob restrições específicas de hiperparâmetros ($\alpha_1 + \alpha_2 = 1$), a soma das recompensas positivas moldadas é igual à soma das recompensas binárias originais, garantindo que o sinal de aprendizado total permaneça imparcial em relação à verdade fundamental (ground truth).
2. Consistência Assintótica: À medida que o treinamento progride e a variância da entropia entre sequências bem-sucedidas diminui, o viés de gradiente introduzido pela pesagem de entropia desaparece, garantindo a convergência para o mesmo ótimo global do GRPO/DAPO padrão.
3. Redução de Variância: A normalização ao nível do token usada no GTPO é estatisticamente superior à média de dois estágios do GRPO padrão, reduzendo a variância do gradiente.

3. Principais Contribuições

1. Identificação de Limitações de Granularidade Grosseira: O artigo otimiza fundamentalmente o framework GRPO ao abordar sua incapacidade de atribuir crédito a passos de raciocínio específicos.
2. Algoritmo GTPO: Introduz a primeira verdadeira atribuição de crédito de granularidade fina, por token, dentro do eficiente framework GRPO usando pesagem dinâmica de entropia.
3. Algoritmo GRPO-S: Propõe uma variante ao nível da sequência que captura o valor exploratório de sequências inteiras, oferecendo estabilidade superior para raciocínio CoT longo.
4. Análise Teórica: Fornece provas para a imparcialidade e convergência das funções de objetivo propostas.
5. Validação Empírica: Demonstra ganhos significativos de desempenho em benchmarks desafiadores de raciocínio matemático.

4. Resultados Experimentais

Experimentos foram conduzidos nos modelos Qwen2.5-7B e Qwen2.5-32B nos benchmarks AIME 2024, AIME 2025 e MATH 500.

• Desempenho: Tanto o GTPO quanto o GRPO-S estabeleceram novos estados da arte, superando consistentemente o GRPO, DAPO e a linha de base avançada "DAPO w/ Forking Tokens".
  • No AIME 2024 (Qwen2.5-7B), o GTPO alcançou um Pass@32 de 64,89%, uma melhoria massiva sobre os 35,51% do DAPO.
  • No AIME 2025, o GRPO-S alcançou um Pass@32 de 23,33% (7B) e 34,33% (32B), superando todas as linhas de base.
• Exploração vs. Estabilidade: Ao contrário do DAPO, que frequentemente estagna devido ao colapso prematuro da política (entropy collapse), o GTPO e o GRPO-S exibiram um fenômeno de "rebote de entropia". Os modelos mantiveram uma exploração mais alta, levando a cadeias de raciocínio mais longas e diversas e a tetos de recompensa final mais elevados.
• Eficiência de Amostragem: Os métodos convergiram em aproximadamente 210 passos de treinamento, indicando que os ganhos de desempenho não se devem a um treinamento mais longo, mas a sinais de aprendizado mais eficientes.

5. Significância e Alegações

O artigo afirma que aproveitar e direcionar a incerteza do modelo é uma fronteira promissora para o desenvolvimento de sistemas de IA confiáveis. Ao tratar a entropia da política não apenas como um termo de regularização, mas como um sinal dinâmico para modelagem ativa de recompensa, os métodos propostos permitem:

• Atribuição de Crédito Precisa: Distinguir entre exploração valiosa em caminhos corretos e erros confiantes em caminhos incorretos sem a necessidade de uma rede de valor explícita.
• Raciocínio Robusto: Levar os LLMs além da imitação de padrões em direção ao raciocínio verificável, passo a passo.
• Escalabilidade: Fornecer um compromisso principista entre a precisão granular (GTPO) e a estabilidade de sequência (GRPO-S) que escala efetivamente através de diferentes tamanhos de modelo e dificuldades de tarefa.

Os autores concluem que seu framework resolve o compromisso entre estabilidade e exploração inerente aos métodos atuais de RLHF, permitindo que os modelos explorem espaços de raciocínio complexos de forma mais eficaz, evitando as armadiligas do raciocínio incorreto e excessivamente confiante.