🤖 machine learning

$\beta$ -OPSD: Deriving with Policy Optimization, Training with Self-Distillation

Este artigo introduz o $\beta$ -OPSD, um framework fundamentado que generaliza a autodestilação on-policy ao tratar o peso da penalidade KL $\beta$ como um parâmetro ajustável, permitindo um treinamento eficiente via mistura de logits para aproximar a interpolação de política ótima entre um modelo de referência e um professor, enquanto melhora significativamente a estabilidade e o desempenho de raciocínio em relação ao OPSD vanilla.

Autores originais: Jiawei Xu, Minghui Liu, Juzheng Zhang, Tom Goldstein, Furong Huang

Publicado 2026-07-31

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jiawei Xu, Minghui Liu, Juzheng Zhang, Tom Goldstein, Furong Huang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a resolver um problema matemático difícil. Você tem duas maneiras de ajudá-lo a aprender. A primeira é deixar o robô tentar, falhar e depois mostrar a ele a solução perfeita, pedindo que ele memorize cada etapa. Isso é como um aluno copiando o dever de casa do professor. A segunda é deixar o robô tentar e, então, usar um "superprofessor" que consegue ver o gabarito para dar feedback instantâneo sobre cada palavra que o robô escreve. Isso é chamado de "autodestilação on-policy". É poderoso porque o professor reage aos erros específicos do robô em tempo real. Mas há um porém: esse método é frequentemente frágil. Se você pressionar demais o robô para copiar o superprofessor, ele pode ficar confuso, esquecer o que já sabe e começar a fazer suposições descabidas. É como um aluno que tenta imitar um gênio tão perfeitamente que perde sua própria voz e para de pensar por si mesmo. Os cientistas querem saber: como obtemos os benefícios do superprofessor sem quebrar a confiança do aluno?

Um novo artigo introduz uma correção inteligente chamada β-OPSD. Os pesquisadores perceberam que a maneira padrão de usar o superprofessor é, na verdade, apenas uma configuração extrema de um conjunto muito maior de métodos. Eles descobriram um "dial" (chamado β) que controla o quanto o robô deve ouvir o superprofessor versus o quanto ele deve manter seu próprio estilo atual. Em vez de forçar o rob em a saltar diretamente para o nível do professor, eles encontraram uma maneira de criar um caminho suave entre o próprio eu do robô e o superprofessor. Eles também corrigiram um segundo problema: quando o robô comete um erro no início de uma frase, isso afeta todas as palavras que vêm depois. Os métodos antigos olhavam apenas para o erro imediato, mas o novo método olha para toda a jornada, atribuindo crédito (ou culpa) às palavras iniciais com base em como elas moldaram o resultado final. Ao combinar um caminho de aprendizado suave com um sistema de crédito de "olhar à frente", o robô aprende de forma mais constante e resolve problemas matemáticos melhor do que antes.

O Problema: O Professor "Difícil Demais"

No mundo da IA, tornar um modelo mais inteligente muitas vezes envolve um processo chamado autodestilação on-policy. Imagine um aluno (o modelo de IA) escrevendo uma história ou resolvendo um problema matemático. Enquanto ele escreve, um "professor privilegiado" (uma versão mais inteligente do modelo ou um que tenha acesso ao gabarito) observa e diz: "Não, essa palavra deveria ser esta aqui". O aluno então tenta copiar as escolhas do professor.

O problema é que este professor é bom demais. Se o aluno tentar copiar as respostas perfeitas do professor imediatamente, pode ser como tentar correr uma maratona antes de saber andar. O aluno fica sobrecarregado, o aprendizado torna-se instável e o robô pode começar a cometer erros estranhos e aleatórios. Os pesquisadores descobriram que o método padrão era essencialmente forçando o aluno a corresponder ao professor perfeitamente desde o início, o que é uma forma de aprendizado muito frágil.

A Solução: Uma Curva de Aprendizado Suave

Os autores do artigo, Jiawei Xu, Minghui Liu e sua equipe da Universidade de Maryland, propuseram uma nova maneira de pensar sobre isso. Eles perceberam que o método padrão é apenas uma configuração específica de uma família mais ampla de estratégias de aprendizado. Eles introduziram uma variável chamada β (beta) que atua como um botão de volume para a orientação do professor.

Quando β é baixo (ou 1): O aluno tenta copiar o professor exatamente. Este é o modo antigo e frágil.
Quando β é alto: O aluno tem permissão para permanecer mais próximo de seu próprio estilo atual, apenas derivando lentamente em direção ao estilo do professor.

O artigo mostra que a maneira perfeita de aprender não é saltar diretamente para o professor. Em vez disso, o melhor caminho é uma interpolação geométrica. Pense nisso como uma rota de GPS. O método antigo tentava teletransportar o aluno diretamente para a localização do professor. O novo método, β-OPSD, desenha uma estrada suave entre a localização atual do aluno e a localização do professor.

À medida que o treinamento avança, os pesquisadores "programam" o valor de β. Eles começam com um alvo que é muito próximo do aluno (seguro e fácil) e gradualmente mudam o alvo para ser mais parecido com o professor (desafiador e inteligente). Isso é como um videogame que começa no modo "Fácil" e aumenta gradualmente para o modo "Difícil", em vez de jogar o jogador no nível mais difícil logo no primeiro dia.

O Ingrediente Secreto: Olhando Adiante

Havia mais uma peça do quebra-cabeça. Nos métodos antigos, quando o aluno cometia um erro na primeira palavra de uma frase, o sistema apenas culpava aquela palavra específica. Mas na linguagem, a primeira palavra altera o contexto de todas as palavras que a seguem. Se você começar uma frase com "O gato", a próxima palavra provavelmente será "sentou" ou "correu", e não "pizza".

Os pesquisadores perceberam que o método antigo era "míope" (com visão curta). Ele não percebia que um erro precoce poderia arruinar a frase inteira. Para corrigir isso, eles adicionaram uma atribuição de crédito de retorno ao objetivo (return-to-go).

Imagine que você está jogando xadrez. Se você fizer uma jogada ruim no turno 3, pode não perder o jogo até o turno 20. O método antigo culparia apenas o turno 20. O novo método olha para trás e diz: "Ei, o turno 3 foi o verdadeiro problema porque levou a este desastre". Ao dar crédito (ou culpa) aos tokens iniciais com base em como eles afetaram o resultado final, o modelo aprende a ser mais cuidadoso desde a primeiríssima palavra.

O Que Eles Descobriram

A equipe testou este novo método β-OPSD em benchmarks de raciocínio matemático, que são como as Olimpíadas dos problemas de matemática para IA. Eles usaram modelos variando de pequenos (1,7 bilhão de parâmetros) a grandes (8 bilhões de parâmetros).

Os resultados foram promissores. No modelo Qwen3-1.7B, o novo método melhorou a pontuação média em 9,16 pontos percentuais na competição de matemática AIME 2024, em comparação com o método antigo. Também observou melhorias em outros testes difíceis como AIME 2025 e HMMT 2025. Mesmo nos modelos maiores, o novo método superou consistentemente a forma antiga, mostrando que o caminho de aprendizado suave e o sistema de crédito de "olhar à frente" funcionam bem independentemente do tamanho do modelo.

Os pesquisadores sugerem que esta abordagem fornece uma "rota fundamentada" do simples copiar para a otimização complexa. Não requer truques caros e lentos de aprendizado por reforço; em vez disso, utiliza a matemática inteligente da otimização de política para criar uma maneira melhor, mais barata e mais estável de ensinar modelos de IA a raciocinar. Ao transformar um processo rígido e frágil em uma jornada suave e guiada, eles tornaram o robô um aluno melhor.

Resumo Técnico: $\beta$ -OPSD

1. Definição do Problema

A autodestilação on-policy (OPSD) emergiu como uma técnica promissora para melhorar as capacidades de raciocínio de grandes modelos de linguagem (LLMs). Na OPSD padrão, um modelo estudante aprende com suas próprias trajetórias amostradas enquanto recebe supervisão de um "professor privilegiado" (a mesma arquitetura de modelo com acesso a soluções de verdade fundamental ou traços verificados) disponível apenas durante o treinamento.

No entanto, os autores identificam que a OPSD vanilla é frequentemente frágil na prática, exigindo um esforço de engenharia substancial para funcionar de forma confiável. O problema central é que a OPSD padrão trata o professor como o alvo de otimização único, implicitamente fixando a força de regularização que ancora o estudante à sua política inicial ou de referência. Essa formulação rígida carece de um mecanismo para controlar o quão agressivamente o estudante se afasta de sua política de referência em direção ao professor, o que frequentemente leva à instabilidade ou convergência subótima.

2. Metodologia

O artigo propõe o $\beta$ -OPSD, um framework que reformula a autodestilação on-policy como uma família mais ampla de problemas de otimização de política regularizados por KL. A metodologia procede em três estágios: derivação do alvo teórico, conversão para um objetivo de destilação prático e refinamento da atribuição de crédito.

2.1. Derivação Teórica: $\beta$ -OPSD como Otimização de Política

Os autores demonstram que a OPSD vanilla é precisamente o membro $\beta = 1$ de uma família de otimização de política regularizada por KL. Eles definem a função objetivo $J_\beta(\theta)$ como:
$J_\beta(\theta) = \mathbb{E}_{y \sim \pi_\theta} \left[ \log \frac{p_T(y|x,c)}{\pi_{\text{ref}}(y|x)} \right] - \beta D_{KL}(\pi_\theta(\cdot|x) \parallel \pi_{\text{ref}}(\cdot|x))$
Onde:

$\pi_\theta$ : A política do estudante.
$p_T$ : A política do professor privilegiado (condicionada ao problema $x$ e informação privilegiada $c$ ).
$\pi_{\text{ref}}$ : Uma política de referência (ex: o estudante inicial).
$\beta$ : Um parâmetro de regularização controlável.

Insight Chave: Quando $\beta=1$ , os termos de referência se cancelam, recuperando a minimização de KL reversa padrão em direção ao professor. Para $\beta > 1$ , o objetivo torna-se mais conservador, penalizando desvios da política de referência de forma mais severa.

2.2. Política Ótima e Interpolação Geométrica

Os autores derivam a política ótima de forma fechada $\pi^\star_\beta$ para este objetivo:
$\pi^\star_\beta(y|x,c) = \frac{\pi_{\text{ref}}(y|x)^{1-1/\beta} p_T(y|x,c)^{1/\beta}}{Z_\beta(x,c)}$
Esta solução representa uma interpolação geométrica entre a política de referência e o professor privilegiado. O parâmetro $\beta$ (especificamente seu inverso $1/\beta$ ) atua como um peso que determina a posição ao longo deste caminho.

$\beta = 1 \implies$ O alvo é o professor.
$\beta \to \infty \implies$ O alvo aproxima-se da política de referência.

2.3. Treinamento Prático: Interpolação de Logits Programada

Otimizar diretamente o objetivo de RL é computacionalmente caro devido ao normalizador intratável $Z_\beta$ e aos gradientes de alta variância. Em vez disso, o $\beta$ -OPSD converte a solução teórica em um objetivo de destilação eficiente.

Aproximação Local: Como o normalizador de nível de sequência é intratável, o método aproxima a política ótima em cada prefixo de decodificação $h_t$ interpolando linearmente os logits da referência e do professor:
$\tilde{p}_{\beta_k}(\cdot | h_t, c) = \text{softmax}\left( \left(1 - \frac{1}{\beta_k}\right) z_{\text{ref}} + \frac{1}{\beta_k} z_T \right)$
Programação de Currículo (Curriculum Scheduling): Em vez de fixar $\beta$ , o método emprega um cronograma onde o peso do professor $w_k = 1/\beta_k$ aumenta linearmente de $w_{\text{start}}$ para $w_{\text{end}}$ ao longo dos passos de treinamento. Isso cria um currículo suave, começando com alvos mais próximos do estudante e incorporando gradualmente uma orientação mais forte do professor.

2.4. Atribuição de Crédito Return-to-Go

As atualizações de OPSD ao nível de token padrão são "míopes", tratando o erro de cada token de forma independente. Isso ignora como a escolha de um token inicial afeta os prefixos futuros e o subsequente desajuste com o alvo.
Para abordar isso, o $\beta$ -OPSD introduz a atribuição de crédito return-to-go (RTG). A perda para um token $t$ é ponderada pelo desajuste cumulativo futuro (retorno descontado) ao longo da trajetória:
$G_{t, \gamma} = \sum_{s=t}^{T} \gamma^{s-t} \rho_s$
onde $\rho_s$ é o desajuste do log-ratio no passo $s$ . Isso garante que os tokens iniciais recebam crédito (ou culpa) pelo desajuste de distribuição que induzem mais adiante na sequência, alinhando as atualizações de nível de token com o objetivo de nível de sequência.

3. Principais Contribuições

Unificação Teórica: O artigo estabelece que a OPSD vanilla é o caso $\beta=1$ de uma família mais ampla de otimização de política regularizada por KL, tornando a escolha de regularização implícita explícita e controlável.
Framework $\beta$ -OPSD: Introduz um objetivo generalizado onde a política ótima é uma interpolação geométrica entre a referência e o professor, realizada na prática via interpolação de logits programada.
Algoritmo de Treinamento Eficiente: Os autores propõem um método para aproximar a solução derivada de RL, que é cara, usando destilação de nível de token de baixo custo, evitando a necessidade de mecanismos complexos de RL como estimativa de vantagem.
Alinhamento de Nível de Sequência: A integração da atribuição de crédito return-to-go corrige a natureza míope das atualizações de token-KL padrão, fornecendo um estimador não enviesado para o objetivo de nível de sequência.

4. Resultados Experimentais

O método foi avaliado em benchmarks de raciocínio matemático (AIME 2024, AIME 2025, HMMT 2025) utilizando modelos Qwen3 variando de 1.7B a 8B de parâmetros.

Ganhos de Desempenho: O $\beta$ $β$ -OPSD superou consistentemente a OPSD vanilla, SFT e as linhas de base GRPO.
- No Qwen3-1.7B, o $\beta$ -OPSD melhorou o desempenho médio (avg@12) em 5,74 pontos percentuais sobre a OPSD vanilla, com ganhos específicos de 9,16 pontos no AIME 2024.
- Em modelos maiores (4B e 8B), manteve um desempenho competitivo ou superior, melhorando o total médio em 1,76 e 1,66 pontos, respectivamente.
Estudos de Ablação:
- Distribuição Alvo: Substituir o alvo do professor fixo pelo alvo de interpolação de logit programado gerou ganhos significativos (ex: +6,03 pontos no AIME 2024), confirmando o benefício de uma transição suave.
- Atribuição de Crédito: O uso de pesos return-to-go em vez de gradientes locais de token melhorou o desempenho (ex: +5,55 pontos no AIME 2025), validando a importância de atualizações conscientes do futuro.
- Construção da Referência: O melhor desempenho foi alcançado usando um estudante dinâmico (modelo atual) e um professor fixo (professor privilegiado), sugerindo que rastrear a distribuição do estudante em evolução enquanto mantém uma âncora de supervisão estável é o ideal.

5. Significância e Alegações

O artigo afirma fornecer uma "rota principista da autodestilação para a otimização de política e de volta". Sua principal significância reside em:

Estabilidade: Ao tratar $\beta$ como um parâmetro controlável, o método aborda a fragilidade da OPSD vanilla, permitindo uma otimização mais suave que troca a proximidade com a política de referência pela orientação do professor.
Eficiência: Alcança os benefícios da otimização de política (objetivos de nível de sequência, regularização KL) sem o custo computacional do RL completo, mantendo a eficiência da destilação padrão.
Generalização: A abordagem oferece um mecanismo para reduzir o gap de distribuição entre estudante e professor, o que é particularmente benéfico para modelos menores, onde esse gap é maior.

Os autores concluem que caminhos de alvo suaves e atribuição de crédito ao nível de trajetória são princípios eficazes para a autodestilação on-policy, oferecendo uma alternativa robusta à imitação direta do professor.