🤖 machine learning

SoftmaxGRPO: Learning to Reason using Softmax Advantage Group Estimation

O artigo apresenta o SoftmaxGRPO, um método de aprendizado por reforço que substitui a normalização z-score por vantagens softmax com escala de temperatura para evitar a ponderação divergente em prompts fáceis, realocando assim os orçamentos de gradiente de forma mais eficaz e melhorando significativamente o desempenho de raciocínio em tarefas como DeepMath e Poetry em comparação ao GRPO padrão.

Autores originais: Jefferson Hernandez, Jaywon Koo, Zilin Xiao, Chen Wei, Vicente Ordonez

Publicado 2026-08-11

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jefferson Hernandez, Jaywon Koo, Zilin Xiao, Chen Wei, Vicente Ordonez

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a resolver quebra-cabeças. Você dá a ele uma pilha de problemas e, toda vez que ele tenta resolver um, recebe uma nota simples de "Sim" ou "Não". Se ele acertar, recebe um "toca aqui"; se errar, recebe um gentil "tente novamente". Este é o mundo do Aprendizado por Reforço, onde uma IA aprende por tentativa e erro. Mas aqui está a parte complicada: como você diz ao robô quais tentativas específicas foram as mais importantes para aprender?

No passado, pesquisadores usavam um método chamado GRPO (Otimização de Política Relativa de Grupo). Pense no GRPO como um professor que observa as respostas de um grupo de dez alunos. Se nove alunos acertarem uma questão e um errar, o professor foca intensamente em quem falhou. Mas se todos os dez alunos acertarem uma questão (uma questão "fácil"), o professor fica confuso. Como a matemática usada pelo GRPO tenta encontrar a "média" da diferença, ela acaba gritando mais alto nas questões que os alunos já sabem resolver, enquanto sussurra nas difíceis. É como um treinador gritando com um jogador estrela por errar uma bandeja fácil, enquanto ignora um novato que está lutando para driblar. Isso desperdiça a capacidade cerebral do robô em coisas que ele já sabe, deixando-o travado quando precisa aprender algo novo.

Este artigo apresenta um novo método chamado SoftmaxGRPO. Em vez de usar essa matemática de "média" confusa, os autores sugerem usar uma abordagem de "softmax escalonada por temperatura". Imagine um mapa de calor onde a atenção do robô é naturalmente atraída para as tentativas mais interessantes. Se uma questão é fácil e o robô a acerta, o método diz: "Bom trabalho, mas não precisamos estudar isso tão intensamente". Se a questão é difícil e o robô tem dificuldades, o método diz: "Esta é a que precisamos focar!". Ele atua como um filtro inteligente que desvia automaticamente a atenção do robô de problemas fáceis para aqueles onde ele pode realmente aprender. Os pesquisadores testaram isso em problemas de matemática, escrita criativa e resumo de reuniões, e descobriram que seu novo método consistentemente ajudou o robô a aprender de forma mais rápida e melhor do que o método antigo, mesmo quando as "notas" que recebiam eram apenas estimativas brutas em vez de pontuações perfeitas.

O Problema: O Professor que Grita com as Estrelas

Vamos mergulhar na história da IA e de seu professor. No mundo da IA, frequentemente usamos uma técnica chamada Aprendizado por Reforço Baseado em Grupos. Imagine que você pede a uma IA para resolver um problema de matemática. Em vez de apenas tentar uma vez, você pede que ela tente dez maneiras diferentes (estas são chamadas de "rollouts"). Você então olha para todas as dez respostas juntas.

O método antigo, GRPO, funciona como um professor que calcula o desempenho "médio" do grupo. Se a IA acerta uma questão, o GRPO lhe dá uma recompensa. Se ela erra, dá uma recompensa menor. O problema surge com as questões fáceis. Se a IA já é muito boa em um tipo específico de problema matemático, ela acertará quase todas as dez tentativas. Na matemática do antigo GRPO, isso cria uma situação estranha: como a "média" é muito alta, as pequenas diferenças entre as respostas "perfeitas" e as "quase perfeitas" são amplificadas. A matemática acaba gritando com a IA para mudar seu comportamento em questões que ela já domina. É como um treinador gritando com um jogador profissional de basquete por errar um lance livre por uma fração de polegada, enquanto ignora um iniciante que nem consegue segurar a bola. A IA desperdiça sua energia tentando "consertar" coisas que não estão quebradas, deixando-a sem energia para aprender as coisas difíceis.

A Solução: Um Mapa de Calor Mais Inteligente

Os autores deste artigo, da Universidade Rice, propuseram uma correção chamada SoftmaxGRPO. Eles perceberam que, em vez de usar um "z-score" (que mede o quão longe um número está da média), eles deveriam usar uma função softmax.

Pense no softmax como um "mapa de calor" para a atenção. Ele pega as recompensas (as notas) e as transforma em pesos usando uma fórmula especial envolvendo uma configuração de "temperatura" (chamada de $\tau$ ).

Temperatura Alta: O mapa de calor é plano. Cada tentativa recebe aproximadamente a mesma atenção. Isso é como o antigo método REINFORCE, onde a IA aprende de forma lenta e aleatória.
Temperatura Baixa: O mapa de calor torna-se muito nítido. A IA foca intensamente nas melhores tentativas e ignora o resto. Isso é como o método MaxRL, que é ótimo para encontrar a melhor resposta única, mas pode ser instável.

O SoftmaxGRPO situa-se exatamente no meio. Ele usa uma configuração de temperatura para criar uma curva suave. Se a IA acerta uma questão fácil, o mapa de calor permanece frio, dizendo à IA: "Bom trabalho, siga em frente". Se a IA erra uma questão difícil, o mapa de calor permanece quente, dizendo à IA: "Isto é importante, estude isto!".

A magia é que este método mantém os pesos limitados. Não importa o quão fácil seja a questão, o "grito" nunca será infinito. Isso evita que a IA desperdice sua capacidade cerebral em prompts fáceis.

O Que Eles Descobriram: A Prova do Resultado

Os autores não apenas adivinharam; eles fizeram os cálculos e realizaram os testes.

1. A Matemática é Sólida (para Recompensas Binárias)
Para questões que têm uma resposta simples de "Certo" ou "Errado" (recompensas binárias), eles provaram que o SoftmaxGRPO cria um objetivo perfeito e suave. Eles mostraram que, conforme a temperatura diminui, o método naturalmente se transforma no MaxRL (um método que foca no melhor resultado possível), e conforme o tamanho do grupo se torna enorme, ele se comporta como Máxima Verossimilhança (o padrão ouro do aprendizado). Crucialmente, eles provaram que, ao contrário do GRPO, o SoftmaxGRPO nunca "explode" em questões fáceis.

2. Os Limites da Magia
Eles também encontraram um limite. Se as recompensas não forem apenas "Certo" ou "Errado", mas tiverem muitos níveis diferentes (como uma pontuação de 1 a 100 com vários passos), a matemática torna-se complexa. Eles mostraram que, para grupos com três ou mais níveis de recompensa, nem sempre é possível encontrar um único "objetivo escalar" perfeito (uma fórmula simples) que funcione para todos os tamanhos de grupo. Isso significa que o método é mais teoricamente perfeito para cenários simples de "Certo/Errado", mas ainda funciona bem na prática para pontuações mais complexas.

3. Resultados no Mundo Real
Eles testaram isso em um modelo de 1,5 bilhão de parâmetros (uma IA de tamanho médio) em várias tarefas:

Matemática (GSM8K, Countdown, DeepMath): Ao usar recompensas de "verificador" perfeitas (onde um computador verifica a resposta exatamente), o SoftmaxGRPO alcançou 51,8% de precisão no DeepMath, superando o antigo método GRPO. No Countdown, atingiu 58,1%.
Escrita Criativa (Poesia): Foi aqui que ficou realmente interessante. Para poesia, não existe uma resposta "certa". Você só pode usar uma "pontuação de similaridade" (o quanto o poema se parece com um bom exemplo). Estas são recompensas "fracas" e ruidosas. O antigo GRPO teve dificuldades aqui. O SoftmaxGRPO, no entanto, pegou um modelo que começou em 35,0% e o elevou para 68,0% em Poesia. Esse é um salto massivo, provando que o método funciona mesmo quando o professor não é perfeito.
Sumarização (MeetingBank): Melhorou as pontuações de sumarização de 35% para 70%.

4. Para Onde Vai a Atenção
A evidência mais reveladora veio ao observar onde a IA gastava seu "orçamento de gradiente" (sua energia de aprendizado).

Antigo GRPO: Gastou 36,4% de sua energia em prompts "quase resolvidos" (questões que a IA já tinha mais de 90% de probabilidade de acertar). Estava perdendo tempo com as coisas fáceis.
SoftmaxGRPO: Gastou apenas 10,0% nesses prompts fáceis. Ele deslocou essa energia para as questões mais difíceis, onde a IA estava enfrentando dificuldades (na faixa de 20% a 90%).

A Conclusão

O artigo sugere que, ao simplesmente trocar a forma como calculamos a "importância" de uma média padrão para um softmax escalonado por temperatura, podemos corrigir uma falha importante na forma como a IA aprende. Isso impede que a IA se torne obcecada por coisas que já conhece e a força a focar nos desafios que realmente a tornarão mais inteligente.

Embora a matemática seja mais rigorosa para recompensas simples de "Certo/Errado", os experimentos mostram que o método funciona maravilhosamente bem mesmo com recompensas vagas e fracas, como as usadas para escrever poemas ou resumir reuniões. É uma substituição direta ("drop-in replacement"), o que significa que é uma pequena mudança no código que leva a grandes melhorias em como a IA aprende a raciocinar. Os autores concluem que este método é uma forma robusta de realocar sinais de aprendizado, garantindo que a IA gaste seu tempo onde ele realmente importa.

Resumo Técnico: SoftmaxGRPO

Definição do Problema
Objetivos de aprendizado por reforço baseados em grupos, como o Group Relative Policy Optimization (GRPO), tornaram-se o padrão para o pós-treinamento de grandes modelos de linguagem em tarefas de raciocínio. Esses métodos amostram $M$ rollouts por prompt, normalizam as recompensas dentro do grupo e otimizam um substituto (surrogate) do tipo PPO. No entanto, o artigo identifica uma patologia crítica na estratégia de normalização do GRPO: sob recompensas de correção binária, a normalização z-score induz uma função de ponderação que diverge conforme a probabilidade de acerto $p \to 1$ . Isso faz com que o sinal de aprendizado se concentre excessivamente em prompts "fáceis" que o modelo já resolve confiavelmente, desperdiçando o orçamento de gradiente. Este problema é particularmente prejudicial em configurações com recompensas fracas, ruidosas ou esparsas (ex: métricas de sobreposição de strings para geração criativa), onde a alocação ineficiente de gradiente deixa sinal insuficiente para os prompts onde o aprendizado é mais necessário.

Metodologia: SoftmaxGRPO
Os autores introduzem o SoftmaxGRPO, um substituto direto para o GRPO que troca as vantagens normalizadas por z-score por vantagens softmax escalonadas por temperatura. Dado um grupo de $M$ rollouts com recompensas $\{r_i\}$ , o método calcula os pesos intra-grupo:
$w_i = \frac{\exp(r_i / \tau)}{\sum_{j=1}^M \exp(r_j / \tau)}$
e as vantagens centralizadas $A_i = M w_i - 1$ . A regra de atualização central permanece um erro de perda do tipo substituto PPO usando essas vantagens, mas a geometria subjacente do objetivo muda fundamentalmente.

Contribuições Teóricas
O artigo fornece uma análise teórica rigorosa do SoftmaxGRPO em diferentes regimes de recompensa:

Recompensas Binárias (Grupo Finito): Para recompensas binárias no regime on-policy sem truncamento (unclipped), os autores derivam o objetivo exato da população de $M$ finito. Eles provam que o SoftmaxGRзо induz uma função de ponderação de prompt $\omega_{M,\tau}(p)$ que permanece limitada conforme $p \to 1$ . Diferente do GRPO, que escala como $[p(1-p)]^{-1/2}$ , o SoftmaxGRPO evita o "estouro de prompts fáceis" (easy-prompt blow-up).
- Comportamento de Limite: Conforme a temperatura $\tau \to 0$ para $M$ finito, o método converge exatamente para o MaxRL (Maximum Likelihood Reinforcement Learning) com um parâmetro de truncamento $T = M-1$ . No limite conjunto de baixa temperatura e grande tamanho de grupo, ele se aproxima da ponderação de Máxima Verossimilhança (ML) ( $1/p$ ).
- Interpolação: A temperatura $\tau$ controla uma interpolação suave entre o comportamento do REINFORCE ( $\tau$ alto, ponderação uniforme) e o comportamento do MaxRL/ML ( $\tau$ baixo, enfatizando prompts difíceis).
Recompensas Escalares Limitadas (Grupo Grande): Para recompensas escalares limitadas, os autores mostram que, conforme $M \to \infty$ , a atualização do SoftmaxGRPO otimiza exatamente a função geradora de momentos logarítmica da recompensa (equivalente a um objetivo de utilidade exponencial).
- Não Existência de um Objetivo Escalar Universal para Grupos Finitos: O artigo prova que, para recompensas escalares gerais com três ou mais níveis, não existe um objetivo escalar universal para $M$ finito. A atualização de grupo finito é geralmente não-conservativa (ou seja, não é o gradiente de um potencial escalar), a menos que a distribuição de recompensa seja restrita (ex: binária). Isso distingue o SoftmaxGRPO de métodos estabelecidos de recompensa exponencializada, como RAML ou MPO, que não abordam essa obstrução geométrica de grupo finito.
Otimização Prática: Na prática, o método é implementado usando o clipping do PPO e uma penalidade KL de modelo de referência para garantir estabilidade, tratando os objetivos derivados como o alvo de nível de população para a aproximação de região de confiança (trust-region).

Resultados Experimentais
Os autores avaliam o SoftmaxGRPO em oito benchmarks, incluindo tarefas verificáveis (GSM8K, Countdown, DeepMath) e não-verificáveis (Escrita de Poesia, Resumo de MeetingBank, AlpacaEval 2.0, MMLU, GPQA).

Tarefas Verificáveis: Usando verificadores exatos, o SoftmaxGRPO-Exact atinge 75,8% no GSM8K, 58,1% no Countdown e 51,8% no DeepMath, superando o GRPO-Exact em todos os três. Notavelmente, ele iguala ou supera o desempenho do OPD (que usa destilação densa por token de um professor mais forte) no GSM8K e Countdown.
Recompensas Fracas/Não-Verificáveis: Sob identicas recompensas de similaridade fracas (sem verificadores de verdade fundamental), o SoftmaxGRPO-Sim supera consistentemente o GRPO-Sim. Os ganhos mais significativos aparecem em tarefas criativas: na Escrita de Poesia, o SoftmaxGRPO atinge uma pontuação de 68,0, o que é uma melhora de +13,4 pontos sobre o próximo melhor baseline, o GRPO-Sim (54,6). Isso representa um aumento substancial em relação ao escore do modelo Base de 35,0.
Alocação de Gradiente: A análise da alocação de orçamento de gradiente confirma as afirmações teóricas. No GSM8K, o GRPO atribui 36,4% de seu orçamento de gradiente a prompts quase resolvidos ( $p \ge 0,9$ ), enquanto o SoftmaxGRPO reduz isso para 10,0%, realocando o sinal para prompts de dificuldade moderada ( $p \in [0,2, 0,9)$ ) onde o aprendizado é mais eficaz.
Ablações: O método é robusto ao tamanho do grupo de rollout ( $M$ ) em baixas temperaturas ( $\tau \le 0,5$ ). O desempenho degrada conforme $\tau$ aumenta, confirmando que a nitidez da ponderação da recompensa é crítica para a eficácia do método.

Significância e Alegações
O artigo alega que o SoftmaxGRPO oferece uma solução principiada para o desequilíbrio de ponderação de dificuldade de prompt inerente ao aprendizado por reforço baseado em grupos. Sua significância reside em três áreas:

Correção Geométrica: Ele substitui a ponderação divergente do GRPO por uma família de objetivos controlados por temperatura e limitados que naturalmente realoca sinais de aprendizado para longe de problemas já resolvidos.
Rigor Teórico: Estabelece o objetivo exato de grupo finito para recompensas binárias e identifica as condições precisas sob as quais um objetivo escalar existe (recompensas binárias) versus quando ele não existe (recompensas de múltiplos níveis gerais).
Eficácia Prática: Demonstra que um simples substituto de uma linha para o cálculo de vantagem do GRPO produz melhorias consistentes em domínios verificáveis e não-verificáveis, destacando-se especialmente em cenários com sinais de recompensa fracos ou ruidosos, onde a normalização tradicional falha.

Os autores mantêm a modéstia quanto ao escopo, observando que o teorema de grupo finito é exato apenas para recompensas binárias sob otimização sem clipping, e que a implementação prática depende de aproximações PPO. Eles identificam a seleção de temperatura adaptativa e recompensas de processo mais ricas como direções futuras.

O Problema: O Professor que Grita com as Estrelas

A Solução: Um Mapa de Calor Mais Inteligente

O Que Eles Descobriram: A Prova do Resultado

A Conclusão

Mais como este