💬 NLP

Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning

Este artigo propõe o mecanismo de "Clipping de Razão de Entropia" (ERC), uma restrição global bidirecional que estabiliza o treinamento por reforço em modelos de linguagem ao quantificar e limitar as mudanças na exploração da política, superando as limitações do PPO-Clip e melhorando o desempenho em algoritmos como DAPO e GPPO.

Autores originais: Zhenpeng Su, Leiyu Pan, Minxuan Lv, Tiehua Mei, Zijia Lin, Yuntao Li, Wenping Hu, Ruiming Tang, Kun Gai, Guorui Zhou

Publicado 2026-04-24

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Zhenpeng Su, Leiyu Pan, Minxuan Lv, Tiehua Mei, Zijia Lin, Yuntao Li, Wenping Hu, Ruiming Tang, Kun Gai, Guorui Zhou

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô superinteligente (um Modelo de Linguagem) a resolver problemas de matemática complexos. Para isso, você usa um método chamado Aprendizado por Reforço (RL). É como se o robô jogasse um jogo: ele tenta uma resposta, recebe um "ponto" (recompensa) se acertar e um "zero" se errar, e depois ajusta sua estratégia para ganhar mais pontos no futuro.

O problema é que, às vezes, o robô fica tão empolgado com a ideia de ganhar pontos que ele muda sua estratégia de forma descontrolada. Ele pode esquecer tudo o que sabia antes, ficar confuso ou começar a "alucinar" respostas. Isso é chamado de instabilidade no treinamento.

Aqui entra o papel deste novo artigo: eles criaram um novo "freio de segurança" chamado ERC (Entropy Ratio Clipping). Vamos entender como funciona usando analogias do dia a dia.

1. O Problema: O "Cego" que Só Vê o que Toca

Atualmente, os robôs usam um método antigo (chamado PPO-Clip) para evitar mudanças bruscas.

A Analogia: Imagine que o robô é um motorista dirigindo em uma estrada de neblina. O método antigo (PPO-Clip) é como um sensor que só avisa se o carro tocar na faixa da estrada.
O Erro: Se o carro começar a desviar para o lado, mas ainda não tiver tocado na faixa, o sensor não avisa. O carro pode estar girando em círculos ou indo para o abismo, mas como ele não "tocou" na linha proibida, o sensor não freia.
Na prática: O robô muda a probabilidade de escolher palavras que ele não usou na resposta atual. O método antigo ignora essas mudanças silenciosas, e elas se acumulam até o robô ficar instável.

2. A Solução: O "Termômetro de Curiosidade" (ERC)

Os autores do artigo perceberam que, em vez de olhar apenas para as palavras que o robô escolheu, precisamos olhar para a mentalidade geral dele. Eles criaram uma métrica chamada Razão de Entropia.

O que é Entropia? Pense na "Entropia" como o nível de curiosidade ou caos do robô.
- Baixa Entropia: O robô é muito confiante e chato. Ele só diz "2 + 2 = 4" e nada mais. Ele não explora nada novo.
- Alta Entropia: O robô está super nervoso e confuso. Ele está chutando aleatoriamente, dizendo coisas sem sentido.
- Entropia Ideal: O robô é confiante, mas ainda aberto a novas ideias.
A Analogia do ERC: O ERC é como um termômetro de saúde que mede se a "curiosidade" do robô mudou drasticamente entre uma tentativa e a outra.
- Se o robô estava calmo e de repente ficou super nervoso (entropia explodiu), o ERC corta o aprendizado.
- Se o robô estava criativo e de repente ficou robótico e chato (entropia caiu muito), o ERC também corta.

3. Como Funciona na Prática?

O ERC funciona como um guarda de trânsito global.

O Método Antigo (PPO-Clip): Só olha para as palavras que o robô escreveu. Se a palavra "sim" mudou um pouquinho de chance, ele deixa passar. Mas se as palavras que ele não escreveu mudaram muito, ele não vê.
O Novo Método (ERC): Olha para o todo. Ele pergunta: "A distribuição geral das minhas escolhas mudou muito?".
- Se a resposta for "sim, mudou muito", o ERC diz: "Pare! Vamos voltar um pouco e manter a estabilidade."
- Ele não impede o robô de explorar, mas impede que ele pule de um extremo ao outro.

4. Por que isso é genial? (A Metáfora do Jardineiro)

Imagine que você é um jardineiro cuidando de uma planta (o modelo de IA).

PPO-Clip é como podar apenas os galhos que tocam a cerca. Se a planta começar a crescer torta para o lado de dentro do vaso, o jardineiro não vê e a planta morre.
ERC é como um jardineiro que observa a forma geral da planta. Se a planta começar a crescer muito rápido e desequilibrada, ou se parar de crescer e murchar, o jardineiro intervém imediatamente, garantindo que ela cresça reta e saudável, mesmo que não tenha tocado na cerca.

5. Os Resultados

Os pesquisadores testaram isso em modelos de IA que resolvem matemática e programação.

Estabilidade: O treinamento ficou muito mais suave. Não houve mais aquelas oscilações onde o modelo melhora e depois piora drasticamente.
Performance: O modelo aprendeu melhor e ficou mais inteligente em tarefas difíceis (como competições de matemática).
Exploração: O modelo continuou sendo criativo (não ficou "chato"), mas de forma controlada.

Resumo em uma frase

O ERC é um novo freio de segurança que monitora a "estabilidade mental" geral do robô, garantindo que ele não fique nem muito confiante (chato) nem muito confuso (caótico), permitindo que ele aprenda de forma mais rápida, segura e inteligente.

Título: Entropy Ratio Clipping como uma Restrição Global Suave para Aprendizado por Reforço Estável

1. O Problema

O treinamento de Grandes Modelos de Linguagem (LLMs) na fase de pós-treinamento, utilizando Aprendizado por Reforço (RL), enfrenta desafios persistentes de instabilidade. O paradigma off-policy (onde os dados são gerados por políticas antigas e usadas para atualizar a política atual) introduz um desvio de distribuição (distribution shift).

Embora métodos populares como PPO-Clip mitiguem esse problema através do "clipping" (limitação) da razão de amostragem de importância para ações amostradas, eles possuem uma limitação fundamental:

Cegueira para ações não amostradas: O PPO-Clip apenas restringe as mudanças de probabilidade das ações que foram efetivamente escolhidas durante a geração. As probabilidades das ações não amostradas permanecem descontroladas.
Consequências: Isso leva a um desvio global da distribuição da política, resultando em:
1. Instabilidade da Entropia: Flutuações drásticas na entropia da política (comportamento de exploração excessiva ou degenerada).
2. Instabilidade do Gradiente: Explosão ou desaparecimento da magnitude dos gradientes, prejudicando a convergência.

2. Metodologia Proposta

Os autores propõem uma nova métrica e um mecanismo de restrição chamado Entropy Ratio Clipping (ERC).

A. Razão de Entropia (Entropy Ratio)

Em vez de focar apenas na razão de probabilidade de ações individuais, o ERC introduz a razão de entropia entre a política atual ( $\pi_\theta$ ) e a política antiga ( $\pi_{old}$ ) avaliada no mesmo dado:
$\rho_t = \frac{H(\pi_\theta, t)}{H(\pi_{old}, t)}$
Onde $H$ representa a entropia da distribuição de tokens no vocabulário. Essa métrica captura a mudança global na distribuição da política, incluindo ações que não foram amostradas, superando a limitação do importance sampling tradicional.

B. Mecanismo de Clipping (ERC)

O ERC aplica um "clipping" (truncamento duro) aos gradientes se a razão de entropia $\rho_t$ sair de um intervalo predefinido $(1 - \beta_{low}, 1 + \beta_{high})$ .

Restrição Bidirecional: Diferente de regularizadores de entropia que apenas incentivam ou desencorajam a exploração, o ERC impõe limites tanto superiores quanto inferiores.
- Limite Superior: Previne a "explosão" da entropia (política tornando-se excessivamente estocástica).
- Limite Inferior: Previne o colapso da entropia (política tornando-se excessivamente determinística).
Integração: O ERC é integrado aos objetivos de RL existentes (como DAPO e GPPO) como uma condição adicional. Se a razão de entropia violar os limites, o gradiente correspondente é zerado, independentemente da razão de importância da ação amostrada.

3. Contribuições Principais

Nova Métrica Global: Introdução da Razão de Entropia como um indicador eficaz para medir o desvio global da distribuição da política durante atualizações de RL.
Mecanismo ERC: Proposta de um mecanismo de clipping que atua no nível da distribuição global, complementando o PPO-Clip (que atua no nível local das ações amostradas) e mitigando o desvio da região de confiança (trust-region).
Validação Experimental: Integração e avaliação do ERC em algoritmos de RL modernos (DAPO e GPPO), demonstrando estabilidade consistente e melhorias de desempenho em múltiplos benchmarks.

4. Resultados Experimentais

Os experimentos foram conduzidos em modelos de diferentes escalas (1.5B e 7B parâmetros) baseados em DeepSeek-R1-Distill-Qwen, utilizando o conjunto de dados KlearReasoner-MathSub-30K.

Desempenho em Benchmarks: O ERC-DAPO superou consistentemente as linhas de base (GRPO, DAPO padrão, GPPO) em tarefas de raciocínio matemático (AIME24/25, HMMT25, MATH500) e raciocínio de código. As melhorias foram particularmente notáveis em benchmarks mais desafiadores.
Estabilidade de Treinamento:
- Entropia: A curva de entropia tornou-se significativamente mais suave, eliminando oscilações bruscas observadas no PPO-Clip.
- Norma do Gradiente: A norma do gradiente permaneceu bem comportada, evitando explosões.
Análise de Clipping:
- O ERC aumentou a taxa de clipping de ~0.02% (PPO-Clip) para ~20%. Isso indica que o ERC remove uma grande quantidade de atualizações "ruinosas" que o PPO-Clip ignoraria.
- A maioria dos tokens removidos pelo ERC estava em regiões de baixa entropia (símbolos matemáticos determinísticos), enquanto tokens de alta entropia (palavras de raciocínio como "portanto", "espere") foram preservados, mantendo a capacidade exploratória do modelo.
Comparação com Outros Métodos: O ERC superou métodos baseados em regularização KL (PPO-Penalty) e regularização de entropia direta, oferecendo um equilíbrio superior entre estabilidade e exploração.

5. Significado e Impacto

O trabalho resolve uma lacuna crítica no treinamento de RL para LLMs: a falta de controle sobre a distribuição global da política quando apenas ações amostradas são restringidas.

Complementaridade: O ERC não substitui o PPO-Clip, mas atua de forma ortogonal e complementar, fechando a "zona cega" das ações não amostradas.
Estabilidade Robusta: Ao impor uma restrição suave e global na evolução da entropia, o método permite atualizações mais conservadoras e seguras, evitando o desvio da região de confiança sem sacrificar a capacidade de exploração necessária para o aprendizado.
Generalidade: A eficácia demonstrada em diferentes algoritmos (DAPO e GPPO) sugere que o ERC é um componente robusto e aplicável a diversas arquiteturas de RL modernas.

Em resumo, o Entropy Ratio Clipping oferece uma solução elegante e eficaz para a instabilidade no treinamento de RL de LLMs, garantindo que a política evolua de forma controlada e estável, resultando em modelos com melhor capacidade de raciocínio e alinhamento.