📊 statistics

Variance-Aware Baselines and Adaptive Learning Rates for Reinforcement Learning with Verifiable Rewards

Este artigo estabelece um arcabouço teórico para baselines sensíveis à variância e taxas de aprendizado adaptativas em aprendizagem por reforço com recompensas verificáveis (RLVR), derivando um baseline ponderado pelo gradiente ótimo e um cronograma de taxa de aprendizado baseado na relação sinal-ruído que coletivamente formam o método OBLR-PO para melhorar significativamente o desempenho da otimização da política.

Autores originais: Zixun Huang, Jiayi Sheng, Zeyu Zheng

Publicado 2026-07-31

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zixun Huang, Jiayi Sheng, Zeyu Zheng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô muito inteligente, mas ligeiramente caótico, a resolver enigmas matemáticos complexos. Você não tem um professor ao lado dele corrigindo cada erro; em vez disso, você recebe apenas um simples "Sim" ou "Não" ao final de sua tentativa. Este é o mundo do Aprendizado por Reforço com Recompensas Verificáveis (RLVR). É uma forma popular de treinar cérebros de IA gigantes para raciocinar melhor. O robô tenta uma solução, recebe uma pontuação e, então, ajusta seu cérebro para fazer melhor na próxima vez.

No entanto, há um problema: o processo de aprendizado do robô é como tentar pilotar um navio através de uma tempestade de neblina usando uma bússola que oscila descontroladamente. Para dar sentido às pontuações de "Sim" ou "Não", o robô precisa de duas coisas: uma linha de base (um ponto de referência para saber se uma pontuação é realmente boa ou apenas média) e uma taxa de aprendizado (o tamanho do passo que ele deve dar com base nessa pontuação). Atualmente, os engenheiros escolhem essas configurações por meio de suposições ou seguindo regras práticas antigas, o que frequentemente deixa o robô tropeçando na neblina, aprendendo muito devagar ou dando passos tão selvagens que ele esquece tudo o que acabou de aprender.

Este artigo, intitulado "Baselines de Variância Conscientes e Taxas de Aprendizado Adaptativas para Aprendizado por Reforço com Recompensas Verificáveis", atua como um novo sistema de navegação de alta tecnologia para esse navio. Os autores, Zixun Huang, Jiayi Sheng e Zeyu Zheng, decidiram parar de adivinhar. Eles construíram um mapa matemático para descobrir exatamente como escolher o melhor ponto de referência e o tamanho de passo perfeito para o robô. Eles descobriram que o método antigo de tirar a média das pontuações é muito desajeitado. Em vez disso, descobriram que o robô deve pesar suas experiências com base em quanto "esforço" (matematicamente, a magnitude do gradiente) cada experiência exigiu. Além disso, perceberam que o robô deve dar passos gigantes e confiantes quando o sinal está claro e passos minúsculos e cautelosos quando o sinal é ruidoso. Ao combinar essas duas percepções, eles criaram um novo método chamado OBLR-PO (Otimização de Política com Baseline Ótima e Taxa de Aprendizado). Quando testaram isso em uma IA de resolução de problemas matemáticos chamada Qwen3-4B-Base, ela aprendeu mais rápido e resolveu mais problemas corretamente do que os métodos anteriores, provando que um pouco de matemática pode ir longe para domar o caos do treinamento de IA.

O Problema: Pilotando na Neblina

Pense em treinar uma IA como ensinar um cachorro a buscar um objeto. Se o cachorro traz um graveto, você diz "Bom!". Se ele traz uma pedra, você diz "Não". Mas e se o cachorro trouxer um graveto meio enterrado na lama? Isso é um "Bom" ou um "Não"? No mundo da IA, este é o problema da linha de base (baseline). Você precisa saber o que é um desempenho "normal" para poder dizer se um esforço específico foi um sucesso real ou apenas um golpe de sorte.

A maioria dos métodos atuais usa uma média simples. Eles dizem: "Da última vez, o cachorro conseguiu um graveto, uma pedra e um sapato. A média é uma recompensa 'média', então vamos comparar o graveto de hoje com isso". Mas isso é como julgar um maratonista pela velocidade média de todas as pessoas da cidade, incluindo pessoas caminhando para a mercearia. Não leva em conta o quanto o corredor realmente se esforçou.

Depois, há a taxa de aprendizado. Este é o tamanho do passo que a IA dá após aprender algo. Se a IA tem 100% de certeza de que fez um bom trabalho, ela deve dar um passo largo à frente. Se ela está confusa e os dados estão bagunçados, ela deve dar um passo minúsculo e cuidadoso. A maioria dos métodos usa um tamanho de passo fixo, como um robô que caminha na mesma velocidade esteja em uma calçada lisa ou em um monte de entulho. Isso frequentemente faz com que a IA aprenda muito devagar ou tropece e caia.

A Solução: Uma Bússola Mais Inteligente

Os autores deste artigo fizeram duas perguntas simples: "Qual é o ponto de referência perfeito para medir o sucesso?" e "Qual deve ser o tamanho do próximo passo?".

Eles começaram olhando para a matemática por trás das "atualizações cerebrais" da IA. Descobriram que a forma antiga de calcular a linha de base estava perdendo uma peça crucial de informação: quanto cada exemplo específico influenciou o aprendizado. Alguns exemplos são fáceis; outros são difíceis. Os "difíceis" carregam mais peso no processo de aprendizado.

A Nova Linha de Base: A Média Ponderada
Em vez de uma média simples, os autores propuseram uma linha de base de variância ótima. Imagine que você está avaliando uma classe de alunos. Uma média simples soma todas as notas e divide pelo número de alunos. Mas o novo método diz: "Vamos dar mais peso aos alunos que estudaram mais arduamente". No caso da IA, ele pesa as recompensas com base na "magnitude do gradiente" — uma forma sofisticada de dizer "quanto esforço este exemplo específico exigiu para ser aprendido".

Eles também adicionaram uma rede de segurança chamada regularização KL. Isso é como uma regra de "não esqueça suas raízes". Impede que a IA mude sua personalidade drasticamente enquanto aprende. Os autores mostraram que, quando você mistura esta regra de "não esqueça suas raízes" com a linha de base de "esforço ponderado", você obtém uma maneira muito mais estável e precisa de medir o sucesso.

A Nova Taxa de Aprendizado: A Razão Sinal-Ruído
Para o tamanho do passo, os autores introduziram o conceito de Razão Sinal-Ruído (SNR). Imagine que você está tentando ouvir a voz de um amigo em uma sala lotada.

Sinal Alto: Seu amigo está gritando claramente. Você pode confiar no que ele diz e reagir imediatamente (dar um passo grande).
Ruído Alto: A sala está barulhenta e você mal consegue ouvi-lo. Você deve pausar, ouvir cuidadosamente e talvez apenas acenar com a cabeça (dar um passo minúsculo).

O artigo prova matematicamente que a melhor taxa de aprendizado está diretamente ligada a esta SNR. Se o gradiente da IA (a direção para onde ela quer se mover) é claro e forte, a taxa de aprendizado aumenta. Se o gradiente é bagunçado e ruidoso, a taxa de aprendizado diminui. Esta é uma mudança enorme em relação ao método antigo de apenas escolher um número fixo e mantê-lo.

O Resultado: OBLR-PO

Os autores combinaram essas duas ideias em um único método poderoso chamado OBLR-PO.

A Linha de Base: Utiliza uma média de recompensas "ponderada pelo gradiente", o que significa que presta atenção extra aos exemplos que foram mais difíceis de aprender.
A Taxa de Aprendizado: Ajusta dinamicamente o tamanho do passo com base na clareza do sinal de aprendizado.

Eles testaram isso em um modelo de IA de 4 bilhões de parâmetros (Qwen3-4B-Base) treinado em problemas matemáticos. Os resultados foram impressionantes.

Sozinha, a nova linha de base tornou a IA mais precisa do que os métodos padrão como PPO, ReMax e RLOO.
Sozinha, a nova regra de taxa de aprendizado melhorou o desempenho em todos os diferentes métodos nos quais foi testada.
Juntos, eles criaram o desempenho mais forte. Em benchmarks como o GSM8K (um teste de raciocínio matemático), o novo método alcançou 87,19% de precisão, superando o recorde anterior de 85,60% (GRPO) e 83,93% (RLOO).

Por Que Isso Importa

Este artigo não sugere apenas um ajuste; ele fornece uma prova teórica de que essas mudanças são ótimas sob certas condições. Os autores mostraram que seu método reduz o "ruído" no processo de aprendizado, tornando o caminho da IA para a inteligência mais suave e direto.

Eles também demonstraram que essas duas melhorias são modulares. Você pode usar a nova regra de taxa de aprendizado com qualquer método de treinamento de IA existente, e ela provavelmente o tornará melhor. Você também pode usar a nova linha de base com outros métodos. Mas quando você os coloca juntos, obtém todo o poder do novo sistema.

Em resumo, os autores pegaram o processo caótico e baseado em suposições do treinamento de IA para resolver problemas matemáticos e o substituíram por uma estratégia precisa e matematicamente fundamentada. Eles mostraram que, ao ouvir o "esforço" de cada exemplo e ajustar o "tamanho do passo" com base na clareza do sinal, podemos ensinar a IA a raciocinar melhor, mais rápido e de forma mais confiável. É um lembrete de que, às vezes, a melhor maneira de seguir em frente é parar de adivinhar e começar a medir o ruído.

Resumo Técnico: Baselines Sensíveis à Variância e Taxas de Aprendizado Adaptativas para RLVR

Definição do Problema
O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tornou-se um paradigma dominante para o pós-treinamento de grandes modelos de linguagem (LLMs) para aprimorar capacidades de raciocínio. No entanto, o design de dois componentes críticos nas atualizações de gradiente de política — o baseline usado para construir o estimador de gradiente e o cronograma da taxa de aprendizado — permanece amplamente heurístico. Métodos existentes (ex: PPO, GRPO, RLOO) utilizam baselines derivados de funções de valor aprendidas, recompensas normalizadas por grupo ou médias de recompensa do tipo "leave-one-out" sem considerar teoricamente como amostras individuais influenciam a magnitude do gradiente. Da mesma forma, taxas de aprendizado fixas ou predefinidas falham em se adaptar à confiabilidade mutável (relação sinal-ruído) dos gradientes estocásticos durante o treinamento. Essa falta de fundamentação teórica limita a compreensão das propriedades estatísticas dos estimadores de gradiente de política e sua interação com a dinâmica de otimização.

Metodologia e Estrutura Teórica
Os autores desenvolvem uma estrutura teórica rigorosa sob um objetivo de otimização de política regularizada por KL. O núcleo de sua abordagem envolve a análise do viés, variância e propriedades de convergência do estimador de gradiente para derivar alternativas fundamentadas aos designs heurísticos.

Caracterização de Imparcialidade e Variância:
Os autores estabelecem primeiro a imparcialidade do estimador de gradiente regularizado por KL. Eles derivam uma expressão exata para a variância deste estimador, que inclui um termo específico de covariância cruzada de KL decorrente da interação entre o gradiente da política e o termo de regularização de KL. Esta derivação revela que a variância total depende não apenas da variância da recompensa, mas também da magnitude dos gradientes da política (normas de score) para cada amostra.
Taxa de Aprendizado Ótima (Adaptativa ao SNR):
Ao derivar um limite superior na perda de otimização, os autores otimizam este limite para determinar o cronograma ideal da taxa de aprendizado. Eles provam que a taxa de aprendizado ótima é governada pela Relação Sinal-Ruído (SNR) do gradiente da política. Especificamente, a taxa de aprendizado deve escalar com a razão entre a norma quadrada do gradiente esperado (sinal) e o traço da matriz de covariância (ruído). Isso resulta em uma regra adaptativa onde as atualizações são maiores quando o gradiente é confiável e menores quando ele é ruidoso.
Baseline de Variância Ótima:
Minimizar a expressão de variância derivada leva a um design de baseline inovador. Os autores provam que o baseline de variância ótima não é uma simples média de recompensas (como nos métodos padrão leave-one-out), mas um estimador de recompensa ponderado pelo gradiente da regularização de KL. Nesta formulação, amostras com normas de gradiente maiores (maior influência na política) são ponderadas mais pesadamente ao computar o baseline. Isso leva em conta o fato de que amostras de alta variância contribuem desproporcionalmente para o ruído do estimador.

Principais Contribuições
O artigo apresenta quatro contribuições primárias:

Estrutura Teórica: Uma análise unificada estabelecendo a imparcialidade, expressões exatas de variância (incluindo covariância cruzada de KL) e um limite superior de perda de otimização para a otimização de política regularizada por KL.
Taxa de Aprendizado Adaptativa ao SNR: Um cronograma de taxa de aprendizado derivado que se adapta à confiabilidade do gradiente. Este módulo é agnóstico ao baseline específico utilizado e pode ser integrado em estimadores existentes.
Baseline de Variância Ótima: Uma caracterização do baseline ótimo como uma média da recompensa regularizada por KL ponderada pelo gradiente, oferecendo uma alternativa fundamentada aos baselines baseados em recompensa.
Método OBLR-PO: A combinação destes dois componentes em um único algoritmo, Otimização de Política de Baseline e Taxa de Aprendizado Ótimos (OBLR-PO).

Resultos Experimentais
Os autores validam sua estrutura realizando o pós-treinamento do Qwen3-4B-Base em tarefas de raciocínio matemático (AMC23, GSM8K, MATH-500, OlympiadBench) utilizando o conjunto de dados DeepMath-103K.

Taxa de Aprendizado Adaptativa ao SNR: Quando aplicada independentemente a métodos existentes (RLOO, ReMax, GRPO), a taxa de aprendizado adaptativa melhorou consistentemente tanto a recompensa de treinamento quanto a acurácia final de Pass@1 em comparação com taxas de aprendizado fixas. Notavelmente, melhorou o desempenho do GRPO, apesar de o GRPO não satisfazer estritamente as suposições teóricas do artigo, sugerendo robustez.
Baseline de Variância Ótima: O uso do baseline ponderado pelo gradiente com uma taxa de aprendizado fixa superou os baselines padrão (PPO, ReMax, RLOO, GRPO) em todos os benchmarks, alcançando a menor razão ruído-sinal do gradiente ( $1/\widehat{SNR}$ ).
OBLR-PO: A combinação de ambos os componentes gerou o desempenho geral mais forte. No GSM8K, MATH-500 e AMC23, o OBLR-PO alcançou a maior acurácia de Pass@1 (ex: 87,19% no GSM8K, superando o segundo melhor método em mais de 1,5 pontos percentuais). No OlympiadBench, o baseline de variância ótima sozinho permaneceu ligeiramente superior, indicando um pequeno trade-off com o cronograma adaptativo nesse dataset específico.

Significância e Alegações
O artigo afirma fornecer uma fundamentação teórica e fundamentada para duas heurísticas que tradicionalmente têm sido ajustadas empiricamente. Ao vincular a taxa de aprendizado ao SNR e o baseline à recompensa ponderada pelo gradiente, os autores oferecem um método para controlar a variância de magnitude e de direção das atualizações da política. A significância reside na modularidade da abordagem: a taxa de aprendizado adaptativa pode ser "inserida" em algoritmos existentes para ganhos imediatos, enquanto o baseline de variância ótima oferece um novo padrão para o design de estimadores. Os autores concluem que, embora suas garantias dependam de um limite superior e suposições de suavidade, os resultados empíricos demonstram que esses insights teóricos se traduzem em melhorias tangíveis no desempenho de raciocínio de LLMs.

O Problema: Pilotando na Neblina

A Solução: Uma Bússola Mais Inteligente

O Resultado: OBLR-PO

Por Que Isso Importa

Mais como este