💻 computer science

Selective-Advantage Entropy-Adaptive Horizon GRPO: Asymmetric Token-Level Discounting for Efficient Reinforcement Learning of Language Models

Este artigo apresenta o Selective-Advantage Entropy-Adaptive Horizon GRPO (SA-AH-GRPO), um algoritmo de aprendizado por reforço que aplica assimetricamente o desconto baseado em entropia para rollouts de vantagem negativa enquanto preserva sinais de gradiente completos para trajetórias bem-sucedidas, estabilizando significativamente o treinamento e melhorando o desempenho em benchmarks de raciocínio matemático em comparação ao GRPO padrão.

Autores originais: Chirag Chawla, Rohan Charudatt Salvi, Madhav S. Baidya

Publicado 2026-06-05

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chirag Chawla, Rohan Charudatt Salvi, Madhav S. Baidya

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um aluno (um modelo de linguagem de IA) como resolver problemas matemáticos. O aluno está tentando aprender através da prática, recebendo feedback e ajustando seus hábitos de estudo. Este artigo apresenta uma maneira mais inteligente de fornecer esse feedback, tornando o processo de aprendizagem mais rápido, estável e menos confuso.

Aqui está a divisão das ideias do artigo usando analogias simples:

O Problema: O Tutor "Tamanho Único"

O método padrão atual para ensinar esses modelos de IA é chamado de GRPO. Pense no GRPO como um tutor rigoroso que trata cada palavra que o aluno escreve da mesma forma.

O Problema: Se o aluno está confiante e escreve uma frase clara e correta, o tutor lhe dá um "high-five". Mas se o aluno está confuso, gagueja ou adivinha loucamente (alta "entropia" ou incerteza), o tutor dá a ele exatamente a mesma quantidade de atenção — às vezes até punindo-o tão severamente quanto se ele estivesse errando com confiança.
O Resultado: Isso confunde o aluno. Quando o aluno já está adivinhando, receber uma penalidade severa pode fazê-lo entrar em pânico e aprender as coisas erradas. Inversamente, se o aluno acerta um problema, mas cometeu alguns erros hesitantes ao longo do caminho, o tutor pode acidentalmente punir esses erros hesitantes, enfraquecendo a lição de que "este caminho leva à resposta correta".

A Solução: Duas Novas Estratégias de Ensino

Os autores propõem uma atualização para este sistema de tutoria, que eles chamam de AH-GRPO e SA-AH-GRPO.

1. O "Desconto de Incerteza" (AH-GRPO)

Imagine que o tutor tem uma regra especial: "Se o aluno estiver claramente confuso, nós baixamos o volume do feedback."

Como funciona: O tutor verifica o quão incerto o aluno está em cada palavra. Se o aluno estiver adivinhando loucamente (alta entropia), o tutor diz: "Ok, esta parte está bagunçada, então não vou contar tanto contra você."
O Benefício: Isso evita que o aluno seja sobrecarregado pelo ruído quando está tendo dificuldades. Isso encurta o "horizonte da lição", focando apenas nas partes da resposta que estão claras.

2. A Regra da "Vantagem Seletiva" (SA-AH-GRPO) — A Estrela do Show

Isso é a principal inovação do artigo. Ela adiciona uma reviravolta crucial à regra acima: "Só abaixe o volume se o aluno errar a resposta inteira."

Cenário A: O Aluno Acerta (Vantagem Positiva)
Mesmo que o aluno tenha hesitado ou adivinhado algumas palavras ao longo do caminho, se ele eventualmente resolver o problema corretamente, o tutor diz: "Bom trabalho! Cada palavra que você escreveu, mesmo as hesitantes, ajudou você a chegar lá. Nós contamos todas elas!"
- Por quê? Porque o resultado final foi um sucesso. Queremos reforçar todo o caminho que levou à vitória.
Cenário B: O Aluno Erra (Vantagem Negativa)
Se o aluno não conseguir resolver o problema, o tutor diz: "Você errou. Agora, vamos olhar para onde você estava confuso. Nós ignoraremos as partes onde você estava apenas adivinhando loucamente, para não ensinar acidentalmente a lição errada a partir desses palpites. Focaremos apenas nos erros claros."
- Por quê? Quando você está errado e também confuso, seus palpites são apenas ruído. Punir o ruído com muita dureza cria um sinal de aprendizado caótico.

Os Resultados: Uma Jornada Mais Suave

Os autores testaram este novo método em problemas matemáticos usando dois tamanhos diferentes de modelos de IA (um modelo menor de 1.5B e um maior de 3B).

Para o Modelo Maior (3B): O novo método não necessariamente tornou o modelo mais inteligente do que o antigo (ele já era bastante inteligente), mas tornou o treinamento muito mais estável. Imagine dirigir um carro: o método antigo era como dirigir em uma estrada esburacada onde o carro balançava para a esquerda e para a direita. O novo método suavizou a estrada. O "balanço" (variância) foi reduzido em 3,6 vezes. O carro chegou ao mesmo destino, mas com uma viagem muito mais suave.
Para o Modelo Menor (1.5B): O novo método realmente ajudou o modelo a aprender melhor. Ele melhorou a pontuação final em quase 5 pontos percentuais em comparação com o início do zero. Parece que o modelo menor precisava dessa estabilidade extra para aprender de forma eficaz.

A "Receita Secreta": Por Que Funciona

O artigo argumenta que esta abordagem respeita a diferença entre exploração e explotação:

Quando um modelo está explorando (adivinhando), tudo bem estar incerto.
Quando um modelo tem sucesso, devemos recompensar toda a jornada, incluindo as partes incertas.
Quando um modelo falha, devemos ter cuidado para não punir o "ruído" da incerteza com muita dureza, ou confundiremos o sinal de aprendizado.

Resumo

Pense no SA-AH-GRPO como um treinador sábio que sabe quando ser rigoroso e quando ser condescendente.

Se você vence o jogo, o treinador celebra cada movimento que você fez, mesmo os arriscados.
Se você perde o jogo, o treinador ignora os momentos em que você estava apenas adivinhando e foca apenas nos erros claros, para que você não fique desanimado ou confuso.

Essa mudança simples na forma como o feedback é ponderado torna o processo de treinamento de IA mais rápido, mais estável e mais eficaz, especialmente para modelos menores que precisam de ajuda extra para encontrar seu caminho.

Resumo Técnico: SA-AH-GRPO (Selective-Advantage Entropy-Adaptive Horizon GRPO)

Declaração do Problema

O Group Relative Policy Optimisation (GRPO) emergiu como um algoritmo dominante para Reinforcement Learning from Verifiable Rewards (RLVR) em modelos de linguagem, particularmente para tarefas de raciocínio. No entanto, o GRPO padrão sofre de duas limitações primárias em relação ao peso dos gradientes:

Pesagem de Tokens Simétrica: Ele trata cada posição de token de forma igual, independentemente da incerteza local (entropia) do modelo. Em posições de alta entropia, onde o modelo está explorando múltiplas continuações plausíveis, o sinal de gradiente é inerentemente ruidoso. Aplicar pesos uniformes a essas posições pode desestabilizar o treinamento ao tratar atualizações ruidosas com a mesma magnitude que atualizações confiantes e de baixa entropia.
Tratamento de Rollout Simétrico: Ele aplica o mesmo peso de gradiente tanto para trajetórias bem-sucedidas (vantagem positiva) quanto para falhas (vantagem negativa). Penalizar posições de tokens incertos em uma trajetória bem-sucedida é contraproducente, pois esses tokens contribuíram para uma solução correta e devem receber crédito total. Inversamente, a penalização agressiva de posições incertas em trajetórias falhas pode introduzir sinais de gradiente conflitantes.
Abordagens existentes para pesagem ao nível de token dependem de modelos de recompensa auxiliares ou heurísticas fixas. Este artigo propõe um método que deriva pesos diretamente da própria incerteza preditiva do modelo sem supervisão adicional.

Metodologia

Os autores introduzem duas extensões hierárquicas ao GRPO: Adaptive-Horizon GRPO (AH-GRPO) e Selective-Advantage AH-GRPO (SA-AH-GRPO).

1. Desconto de Horizonte Adaptativo à Entropia (Entropy-Adaptive Horizon Discount)

O mecanismo central é um peso por token derivado da entropia normalizada cumulativa da trajetória até aquele ponto.

Entropia Normalizada: Para um token $t$ no rollout $i$ , a entropia normalizada $\tilde{H}^{(i)}_t$ é calculada como a entropia de Shannon da distribuição da política dividida por $\log V$ (tamanho do vocabulário), estimada usando os top- $K$ logits ( $K=500$ ) para eficiência.
Fator de Desconto: Um desconto por passo $\gamma^{(i)}_t = \exp(-\alpha \tilde{H}^{(i)}_t)$ é aplicado.
Peso Cumulativo: O peso para o token $t$ é o produto de todos os descontos precedentes: $w^{(i)}_t = \prod_{s=1}^t \gamma^{(i)}_s = \exp(-\alpha \sum_{s=1}^t \tilde{H}^{(i)}_s)$ .
Efeito: Quando $\alpha > 0$ , prefixos de alta entropia resultam em um desconto mais forte, encurtando efetivamente o "horizonte efetivo" sobre o qual os gradientes se propagam através de sequências incertas.

2. AH-GRPO (Aplicação Uniforme)

No AH-GRPO, o peso baseado em entropia $w^{(i)}_t$ é aplicado uniformemente a todos os tokens em todos os rollouts, independentemente de a trajetória ser bem-sucedida ou falha. Isso reduz a influência de gradientes ruidosos em posições incertas, mas corre o risco de atenuar o sinal em soluções corretas que por acaso contenham etapas incertas.

3. SA-AH-GRPO (Aplicação Seletiva)

O SA-AH-GRPO introduz uma assimetria baseada na vantagem normalizada pelo grupo $\hat{A}_i$ :

Vantagem Positiva ( $\hat{A}_i \geq 0$ ): A trajetória é considerada bem-sucedida. Todos os tokens, incluindo aqueles em posições de alta entropia, recebem um peso de $1$ (sem desconto). Isso preserva o sinal de gradiente total para soluções corretas.
Vantagem Negativa ( $\hat{A}_i < 0$ ): A trajetória é considerada falha. O peso adaptativo à entropia $w^{(i)}_t$ é aplicado. Isso suprime atualizações de gradiente em posições estruturalmente ambíguas (alta entropia) dentro de trajetórias falhas, evitando que o modelo autocorrija com base em sinais ruidosos.

A função de perda é modificada para normalizar pelo número de tokens efetivos (ponderados) em vez da contagem bruta de tokens.

Configuração Experimental

Modelos: Qwen 2.5-1.5B-Instruct e Qwen 2.5-3B-Instruct.
Dataset: GSM8K (raciocínio matemático), utilizando 800 exemplos de treinamento e 500 de avaliação.
Fine-tuning: Low-Rank Adaptation (LoRA) com rank $r=16$ .
Função de Recompensa: Uma recompensa composta ( $r_{max}=7.5$ ) combinando correção, adesão ao formato (tags XML específicas), presença de tags de solução e densidade de etapas de raciocínio.
Baselines: GRPO padrão ( $\alpha=0$ ) e AH-GRPO ( $\alpha=0.5$ ).
Ablação: Uma varredura de $\alpha \in \{-0.25, 0.0, 0.10, 0.25, 0.50\}$ no modelo 1.5B.

Principais Resultados

1. Precisão e Estabilidade (Modelo 3B)

No modelo Qwen 2.5-3B-Instruct, o baseline zero-shot é forte (Pass@1 $\approx$ 0.831).

Precisão de Pico: O SA-AH-GRPO alcançou um pico de Pass@1 de 0.858 (passo 30), igualando o desempenho de pico do GRPO padrão (0.852) e do AH-GRPO (0.862).
Variância de Treinamento: O SA-AH-GRPO reduziu significativamente a variância do treinamento para 0.0246, representando uma redução de 3.6 $\times$ em comparação com o GRPO padrão (0.0885) e uma redução de 2.6 $\times$ em comparação com o AH-GRPO (0.0630).
Conclusão: Na escala 3B, o principal benefício é a estabilização substancial do treinamento sem sacrificar a precisão de pico.

2. Precisão e Estabilidade (Modelo 1.5B)

No modelo Qwen 2.5-1.5B-Instruct, o baseline zero-shot é mais baixo (Pass@1 $\approx$ 0.637).

Precisão de Pico: O SA-AH-GRPO alcançou um pico e final de Pass@1 de 0.686, um aumento de +4.9 pontos percentuais sobre o baseline zero-shot. Isso superou o GRPO padrão (pico 0.668) e o AH-GRPO (pico 0.676).
Variância: Curiosamente, o modelo 1.5B mostrou maior variância de treinamento (0.1718) com o SA-AH-GRPO em comparação com outros métodos. Os autores atribuem isso ao fato de o modelo ter mais "espaço para melhorar" (headroom), levando a uma maior variação de recompensa durante o processo de aprendizagem, enquanto ainda se beneficia do sinal de gradiente irrestrito em rollouts positivos.

3. Estudo de Ablação ( $\alpha$ )

A varredura no modelo 1.5B confirmou que valores positivos de $\alpha$ (desconto de entropia) superam consistentemente valores negativos de $\alpha$ (amplificação de entropia).

$\alpha = -0.25$ degradou o desempenho abaixo do baseline.
Entre os valores positivos, $\alpha=0.10$ yielded o maior pico, mas menor estabilidade final, enquanto $\alpha=0.50$ ofereceu um melhor equilíbrio.
Crucialmente, o SA-AH-GRPO em $\alpha=0.50$ (0.686) superou significativamente o AH-GRPO simétrico no mesmo $\alpha$ (0.676), validando a estratégia de aplicação seletiva.

4. Dinâmicas de Treinamento

Currículo Implícito: À medida que o treinamento progride, a entropia normalizada média diminui (de ~0.029 para ~0.009 no modelo 3B). Consequentemente, o fator de desconto naturalmente se aproxima de 1, agindo como um esquema de annealing implícito onde o modelo depende menos do filtro de entropia conforme se torna mais confiante.
Comprimento de Resposta: O comprimento médio de geração diminuiu ao longo do treinamento (ex: 243 para 171 tokens no 3B), sugerindo que o método incentiva cadeias de raciocínio mais concisas.

Significância e Alegações

O artigo afirma ser o primeiro trabalho a introduzir o desconto adaptativo à entropia por token e por rollout em um cenário de RLVR, e o primeiro a aplicá-lo assimetricamente com base no sinal da vantagem.

Os autores argumentam que o SA-AH-GRPO fornece um viés indutivo principiado para RLVR em tarefas de geração estruturada ao:

Preservar Sinais de Gradiente: Garante que soluções corretas, mesmo aquelas contendo etapas incertas, recebam crédito total, evitando a supressão de sinais de aprendizado válidos.
Estabilizar o Treinamento: Ao atenuar seletivamente gradientes apenas em trajetórias falhas em posições incertas, reduz direções de gradiente conflitantes e a variância do treinamento.
Eliminar Modelos Auxiliares: O mecanismo de pesagem depende exclusivamente da própria incerteza preditiva da política, não exigindo modelos de recompensa adicionais ou heurísticas fixas.

Os resultados sugerem que o desconto de entropia assimétrico é uma melhoria prática para o ajuste fino baseado em GRPO, oferecendo estabilidade superior em modelos maiores e ganhos consistentes de precisão em modelos menores. Trabalhos futuros são propostos para avaliar esses métodos em escalas maiores (7B, 70B) e em diferentes domínios de tarefas.