🤖 machine learning

Parameter Exploration for RLVR via Variational Learning

Este artigo apresenta a Otimização de Política de Parâmetros Perturbados (3PO), um método que aprimora o aprendizado por reforço para LLMs ao explorar o espaço de parâmetros para gerar políticas diversas, melhorando assim o desempenho em tarefas subsequentes e a estabilidade do treinamento em comparação com técnicas padrão de exploração de espaço de ação como o GRPO.

Autores originais: Vatsal Venkatkrishna, Nico Daheim, Iryna Gurevych

Publicado 2026-08-11

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Vatsal Venkatkrishna, Nico Daheim, Iryna Gurevych

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente a resolver um quebra-cabeça difícil, como um problema matemático complexo ou escrever um código. Você não pode simplesmente sentar lá e mostrar a resposta para ele; em vez disso, você deixa o robô tentar e, se ele acertar, você dá um "high-five" (uma recompensa). Se ele errar, você dá um gentil "tente novamente". Isso é chamado de Aprendizado por Reforço. A parte complicada é que o robô tem que descobrir como conseguir esse "high-five" por conta própria. Às vezes, ele fica preso em um ciclo, repetindo os mesmos erros repetidamente porque tem medo de tentar algo novo. Para corrigir isso, os cientistas geralmente tentam tornar o robô um pouco mais "caótico" ou "aleatório" quando ele pensa, esperando que ele tropece em uma nova solução brilhante.

Por muito tempo, a maneira padrão de adicionar esse caos foi ajustar a "temperatura" do robô. Pense nisso como aumentar o volume da estática de um rádio: isso torna as escolhas do robô um pouco mais imprevisíveis, mas não muda realmente o que ele sabe ou como ele pensa; apenas embaralha levemente a ordem de seus palpites. É como dizer a um chef para jogar mais temperos na sopa sem mudar a receita em si. O problema é que, às vezes, a sopa ainda tem um gosto terrível, e o robô continua cometendo os mesmos palpites ruins, apenas em uma ordem diferente. Este artigo explora uma ideia diferente e mais radical: e se não apenas embaralhássemos os temperos, mas realmente ajustássemos o cérebro do chef? E se dermos ao robô uma pequena "névoa cerebral" temporária ou uma leve "mudança de personalidade" para cada tentativa? Isso permite que o robô explore formas inteiramente novas de pensar, não apenas novas formas de dar palpites.

Os pesquisadores por trás deste estudo, Vatsal Venkatkrishna, Nico Daheim e Iryna Gurevych, decidiram testar essa ideia de "ajuste cerebral" em grandes modelos de linguagem (o tipo de IA que escreve textos e resolve problemas). Eles chamam sua nova família de métodos de 3PO (Otimização de Política de Parâmetros Perturbados). Em vez de apenas tornar os palpites do robô aleatórios (exploração no espaço de ação), eles realmente adicionam um pouco de ruído aos pesos internos do robô (exploração no espaço de parâmetros). Imagine que você tem uma equipe de 16 chefs tentando resolver um quebra-cabeça. A maneira antiga (chamada de GRPO) faria com que todos os 16 chefs usassem exatamente o mesmo livro de receitas, apenas dando palpites aleatórios. Se todos falharem, toda a equipe fica travada.

A equipe 3PO testou três maneiras diferentes de sacudir as coisas. Primeiro, o B3PO é como dar a toda a equipe uma versão do livro de receitas ligeiramente diferente e nebulosa para toda a rodada. Segundo, o M3PO é como fazer a equipe tentar quatro versões diferentes do livro, uma após a outra, e tirar a média dos resultados. Mas a verdadeira estrela do show é o C3PO. No C3PO, a equipe é dividida. Em vez de todos usarem o mesmo livro, eles dividem os 16 chefs em grupos menores, e cada grupo recebe uma versão do livro de receitas completamente diferente e nebulosa. Isso significa que a equipe está explorando muitos "universos" de soluções ao mesmo tempo.

Os resultados foram bastante promissores. Quando testaram esses métodos em problemas matemáticos difíceis (como a competição AIME) e desafios de programação, o método C3PO superou consistentemente os métodos padrão. O artigo sugere que, ao usar essas diferentes versões "nebulosas" do modelo, a equipe foi capaz de encontrar respostas corretas que o método padrão perdeu. Especificamente, o C3PO conseguiu "resgatar" mais grupos de tentativas que seriam, de outra forma, becos sem saída (onde todas as tentativas obtiveram a mesma resposta errada). Ele também produziu menos respostas "malformadas" — aquelas respostas estranhas e quebradas onde o robô apenas repete o nonsense.

Curiosamente, o artigo argumenta que simplesmente tornar o robô mais aleatório (como aumentar a temperatura) não é suficiente. Na verdade, eles descobriram que tornar o robô muito aleatório muitas vezes levava apenas a mais respostas inúteis. A chave era a estrutura da exploração: ter múltiplas versões diferentes do modelo trabalhando juntas no mesmo grupo. Embora o artigo não afirme que isso seja uma solução mágica para tudo, ele sugere fortemente que ajustar os parâmetros internos do modelo é uma ferramenta poderosa e nova. É como perceber que, para encontrar um tesouro escondido, você não precisa apenas caminhar em direções aleatórias; você precisa enviar toda uma equipe de exploradores, cada um com um mapa ligeiramente diferente, para cobrir mais terreno. Os pesquisadores descobriram que essa abordagem funciona bem sem exigir significativamente mais poder computacional, tornando-a uma atualização prática para treinar IAs mais inteligentes.

Resumo Técnico: Otimização de Política com Parâmetros Perturbados (3PO) para RLVR

Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) é um paradigma de pós-treinamento proeminente para aumentar as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs) sem depender de demonstrações humanas. No entanto, os algoritmos atuais de RLVR, particularmente a Otimização de Política de Grupo Relativo (GRPO), enfrentam desafios significativos relacionados ao equilíbrio entre exploração e explotação.

A limitação primária reside na exploração do espaço de ação. Métodos padrão controlam a exploração ajustando a temperatura softmax durante a geração de tokens. Conforme ilustrado no artigo, o escalonamento de temperatura apenas altera a variância da distribuição de tokens, preservando a ordenação relativa dos tokens. Isso restringe o modelo a explorar trajetórias dentro da mesma "forma" do espaço de solução, falhando frequentemente em descobrir caminhos inéditos de alta recompensa que possuem baixa probabilidade inicial. Consequentemente, isso leva a:

Colapso Prematuro de Entropia: A política torna-se excessivamente determinística, gerando rollouts homogêneos.
Grupos de Vantagem Zero: No GRPO, se todos os $G$ rollouts para um prompt receberem a mesma recompensa (por exemplo, todos corretos ou todos incorretos), o sinal de vantagem torna-se zero, estagnando o aprendizado.
Degeneração: A exploração do espaço de ação com alta temperatura frequentemente leva a saídas malformadas ou incorretas (por exemplo, repetição de tokens) em vez de soluções alternativas válidas.

Soluções existentes como regularização de entropia ou modelagem de vantagem visam estabilizar o treinamento, mas não alteram fundamentalmente os parâmetros do gerador para permitir uma exploração mais profunda.

Metodologia: Otimização de Política com Parâmetros Perturbados (3PO)

Os autores propõem a Otimização de Política com Parâmetros Perturbados (3PO), uma família de métodos que desloca o eixo de exploração do espaço de ação (tokens) para o espaço de parâmetros (pesos). Em vez de apenas reordenar tokens, o 3PO amostra diferentes políticas de uma distribuição posterior aproximada durante a fase de geração de rollout.

Mecanismo Central

O método utiliza Aprendizado Variacional, especificamente o otimizador IVON (Newton Online Variacional Iterativo), para aprender uma distribuição sobre os parâmetros da rede neural $\theta$ .

Amostragem da Posterior: Em cada etapa de treinamento, os parâmetros do modelo são perturbados pela adição de ruído aprendido: $\hat{\theta} = m + \sigma \odot z$ , onde $z \sim \mathcal{N}(0, I)$ .
Controle de Ruído: A variância $\sigma$ é inversamente proporcional à diagonal da Hessiana $h$ e a um fator de escala $\lambda$ (Tamanho Efetivo de Amostra, ESS). Um $\lambda$ menor aumenta o ruído, promovendo a exploração, enquanto um $\lambda$ maior reduz o ruído, focando na explotação.
Ortogonalidade: Esta abordagem é compatível com técnicas existentes de espaço de ação (ex: escalonamento de temperatura, regularização de entropia), pois opera em um eixo diferente.

Três Variantes do 3PO

O artigo introduz três estratégias para integrar o ruído de parâmetros na estrutura do GRPO:

B3PO (Noising em Lote - Batched Noising):
- Amostra uma única perturbação de peso $\hat{\theta}$ por etapa de gradiente.
- Este modelo único perturbado gera todos os rollouts para o lote.
- Limitação: Semelhante ao GRPO padrão, se a política única amostrada for ruim, todo o lote carecerá de diversidade.
M3PO (Múltiplas Amostras de Monte Carlo - Multiple Monte-Carlo Samples):
- Amostra $M$ perturbações de peso distintas da posterior.
- Gera rollouts para cada perturbação e acumula a perda do GRPO através de todas as $M$ amostras antes de realizar uma única atualização de peso.
- Compromisso: Para manter o custo computacional igual, o tamanho do grupo $G$ é reduzido por perturbação ( $G/M$ ), o que pode limitar a diversidade dentro de grupos de vantagem individuais.
C3PO (Noising em Blocos - Chunked Noising):
- Amostra $N$ perturbações de peso distintas por lote.
- O grupo total de $G$ rollouts é particionado entre esses $N$ modelos (ex: $G/N$ rollouts por modelo).
- As vantagens são calculadas sobre o grupo completo de $G$ respostas, que agora inclui trajetórias de $N$ políticas diferentes.
- Objetivo: Maximiza a diversidade do grupo garantindo que o cálculo da vantagem aproveite múltiplas configurações de parâmetros distintas, abordando diretamente o problema da vantagem zero.

Principais Contribuições

Exploração de Espaço de Parâmetros para LLMs: O artigo estabelece que perturbar os pesos do modelo (em vez de apenas as probabilidades de tokens) é um mecanismo eficaz para RLVR, permitindo que os modelos explorem diferentes regiões do espaço de solução que o ruído de espaço de ação não consegue alcançar.
A Estrutura 3PO: A introdução do B3PO, M3PO e C3PO, com foco específico no C3PO como a estratégia mais eficaz para maximizar a diversidade do grupo sem aumentar o custo computacional.
Validação Empírica: Experimentos abrangentes no OLMo-3-1025-7B e Qwen2.5-Math-7B através de tarefas de raciocínio matemático (AIME, MATH-500, AMC) e geração de código (LiveCodeBench).
Análise de Grupos de Vantagem Zero: Demonstração de que a exploração do espaço de parâmetros reduz significativamente a frequência de grupos de vantagem zero e rollouts malformados em comparação com as bases de espaço de ação.

Resultados Experimentais

Ganhos de Desempenho: As variantes 3PO superam consistentemente o GRPO padrão e as bases de espaço de ação (Regularização de Entropia, Polaris, KLCov).
- O C3PO alcançou o melhor desempenho médio em ambas as famílias de modelos.
- Os ganhos foram mais pronunciados em benchmarks mais difíceis (ex: AIME 2024–26, LiveCodeBench), onde os modelos pré-RL são menos capazes e mais propensos a gerar rollouts inválidos.
- No Qwen2.5-Math, o C3PO melhorou o Pass@1 médio em aproximadamente 1,5% em relação ao GRPO padrão, com ganhos específicos de até 5,83% nas tarefas AIME.
Qualidade da Exploração:
- Resgate de Grupos Mortos: Os métodos 3PO, particularmente C3PO e M3PO, consistentemente "resgataram" mais grupos de vantagem zero (produzindo pelo menos um rollout correto onde o GRPO produziu nenhum) do que as bases de espaço de ação.
- Redução de Degeneração: Diferente dos métodos baseados em temperatura (Polaris), que frequentemente produzem saídas malformadas, e da Regularização de Entropia, que produz saídas incorretas mas bem formadas, o 3PO produziu menos rollouts malformados e incorretos, mantendo alta diversidade.
Sensibilidade de Hiperparâmetros:
- O fator de escala ESS $\lambda$ é crítico. $\lambda = 10^9$ foi encontrado como um padrão robusto. $\lambda = 10^8$ (ruído excessivo) causou colapso no treinamento, enquanto $\lambda = 10^{10}$ (pouco ruído) estagnou o desempenho.
- O C3PO beneficia-se de $N \ge 2$ perturbações, sendo que $N=4$ apresentou resultados fortes.
- O M3PO beneficia-se da remoção da restrição de "computação igual", quando permitido usar tamanhos de grupo totais com múltiplas amostras, o desempenho melhora significativamente.

Significância e Alegações

O artigo postula que a exploração do espaço de parâmetros fornece uma alavanca de controle necessária e complementar ao RLVR que os métodos de espaço de ação não possuem. Ao aprender uma posterior aproximada sobre os pesos, o modelo pode adaptarivamente injetar ruído para explorar alterações promissoras nas distribuições de tokens que são estruturalmente diferentes da política atual.

Os autores afirmam que:

Diversidade é a Chave: O principal motor do sucesso é o aumento da diversidade dentro dos grupos GRPO, o que evita a estagnação causada pelos grupos de vantagem zero.
Eficiência: O 3PO alcança essas melhorias com um custo de FLOPs quase idêntico ao GRPO padrão (especificamente o C3PO), tornando-o um substituto prático e direto.
Generalização: O método não requer um prior de ruído aprendido de uma fase específica de SFT; inicializar a Hessiana com um valor constante permite que o método funcione efetivamente em checkpoints prontos para uso.

O trabalho conclui que, embora a exploração do espaço de parâmetros tenha um histórico no RL clássico, sua aplicação a LLMs via aprendizado variacional (3PO) oferece uma solução robusta para os gargalos de exploração que atualmente limitam o desempenho do RLVR, particularmente em tarefas complexas de raciocínio e codificação.