Resumo Técnico: Auto-Distilação Baseada em Preferências (PBSD)

Declaração do Problema

A distilação on-policy (OPD) oferece uma alternativa eficiente ao aprendizado por reforço (RL) para o pós-treinamento de modelos de linguagem grandes (LLMs), fornecendo sinais de treinamento densos e em nível de token. No entanto, a OPD padrão depende de um modelo professor externo e mais forte, criando gargalos na eficiência computacional e na escalabilidade devido à necessidade de arquiteturas separadas e vocabulários compartilhados.

Para abordar isso, a auto-distilação on-policy surgiu, onde o mesmo modelo serve como professor e aluno, com o professor instanciado condicionando o modelo a contexto privilegiado adicional (por exemplo, demonstrações de especialistas ou traços de raciocínio). Apesar de sua promessa, os métodos existentes de auto-distilação sofrem de duas limitações críticas:

1. Instabilidade de Treinamento e Degradação de Desempenho: As abordagens atuais dependem de correspondência direta de divergência de Kullback-Leibler (KL) em direção ao professor aumentado por contexto. Análises recentes indicam que isso pode ativamente degradar o desempenho de raciocínio ao longo do tempo, suprimindo a verbalização epistêmica (incerteza, auto-verificação) e levando a traços de raciocínio excessivamente confiantes e mais curtos.
2. Falta de Diversidade Exploratória: Tratar uma versão do mesmo modelo aumentada por contexto como um professor assume que o professor é um oráculo forte. No entanto, como o professor e o aluno compartilham parâmetros idênticos, a supervisão frequentemente carece da diversidade e do valor exploratório fornecidos por um modelo externo genuinamente mais forte.

O artigo argumenta que simplesmente copiar a distribuição do professor via correspondência KL é subótimo porque ignora a estrutura de recompensa latente das respostas.

Metodologia: Auto-Distilação Baseada em Preferências (PBSD)

Os autores propõem a Auto-Distilação Baseada em Preferências (PBSD), um quadro que reestrutura a auto-distilação on-policy através de uma perspectiva regularizada por recompensa em vez de correspondência KL de professor fixo.

1. Objetivo Regularizado por Recompensa

Em vez de minimizar apenas a divergência KL reversa entre o aluno $\pi_\theta$ e o professor $\pi_{\text{teach}}$, a PBSD otimiza um objetivo conjunto que equilibra a correspondência KL com a maximização de recompensa:
$$\max_{\pi_\theta} \mathbb{E}_{x \sim \mathcal{D}} \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} [r(x, y)] - \beta D_{\text{KL}}(\pi_\theta(\cdot|x) \parallel \pi_{\text{teach}}(\cdot|x))$$
onde $r(x, y)$ é uma recompensa alvo latente e $\beta$ controla a força da regularização.

Insight Teórico: Os autores derivam que o ótimo analítico deste objetivo não é a própria distribuição do professor, mas uma distribuição do professor inclinada por recompensa:
$$\pi^*(y|x) = \frac{\pi_{\text{teach}}(y|x) \exp(r(x, y)/\beta)}{Z(x)}$$
Esta política alvo é comprovadamente superior ao professor original sob o objetivo regularizado por recompensa, desde que a recompensa varie entre as respostas suportadas pelo professor. O professor serve como uma distribuição de suporte (viés indutivo), enquanto a recompensa repondera a massa de probabilidade em direção a comportamentos de maior valor.

2. Otimização via Aprendizado de Preferências

Como a recompensa latente $r(x, y)$ não é observada, a PBSD otimiza o objetivo usando aprendizado baseado em preferências (inspirado no DPO).

• Construção do Professor: O professor $\pi_{\text{teach}}(y|x)$ é definido como o mesmo modelo base condicionado a contexto privilegiado $c$ (por exemplo, $\pi(y|x, c)$).
• Pares de Preferência: Para cada entrada $x$, uma amostra positiva $y^+$ é gerada pelo professor (melhor condicionada) e uma amostra negativa $y^-$ é gerada pelo aluno atual (on-policy).
• Função de Perda: O método maximiza a probabilidade de que a resposta do professor seja preferida à resposta do aluno usando um modelo Bradley-Terry:
  $$\max_{\theta} \mathbb{E} \left[ \log \sigma \left( \beta \left( \log \frac{\pi_\theta(y^+|x)}{\pi_{\text{teach}}(y^+|x)} - \log \frac{\pi_\theta(y^-|x)}{\pi_{\text{teach}}(y^-|x)} \right) \right) \right]$$
  Esta formulação otimiza efetivamente a "lacuna de preferência" entre amostras de professor e aluno, mantendo a amostragem on-policy, evitando a necessidade de um modelo de recompensa explícito.

3. Análise Estatística

O artigo fornece uma análise estatística do problema de aprendizado de preferências induzido. Estabelece que a auto-distilação contextual é teoricamente preferível ao aprendizado de um professor externo quando:

• As amostras positivas geradas pelo professor fornecem direções diversas de lacuna de pontuação (abrangendo direções informativas além da distribuição atual do aluno).
• As margens de preferência entre professor e aluno permanecem moderadas.
  A análise mostra que a complexidade de amostra local é governada pelo menor autovalor da matriz de informação empírica. A auto-distilação contextual mantém naturalmente margens moderadas (evitando saturação) enquanto fornece direções mais ricas do que a simples cópia própria, levando a limites de estimativa mais apertados.

Contribuições Principais

1. Objetivo Regularizado por Recompensa: Introdução de um objetivo de auto-distilação que equilibra a proximidade ao professor com a maximização de recompensa, provando que o alvo ótimo é uma distribuição do professor reponderada por recompensa e não o próprio professor.
2. Quadro PBSD: Proposta de um novo quadro de auto-distilação on-policy baseado em preferências que otimiza lacunas de preferência entre amostras de professor e aluno sem exigir um professor externo ou modelo de recompensa.
3. Justificativa Teórica: Fornecimento de uma análise estatística que estabelece condições sob as quais a auto-distilação contextual supera a distilação de professores externos, especificamente no que tange ao trade-off entre diversidade de lacuna de pontuação e moderação de margens.
4. Validação Empírica: Demonstração de melhorias consistentes em múltiplas escalas de modelo (1,7B, 4B, 8B) em benchmarks de raciocínio matemático e uso de ferramentas.

Resultados Experimentais

Os autores avaliaram a PBSD em raciocínio matemático (conjunto de dados OpenThoughts, avaliado em AIME 2024/2025, HMMT 2025) e uso de ferramentas (configuração baseada em ToolAlpaca) usando modelos Qwen3.

• Desempenho: A PBSD alcançou consistentemente o desempenho médio mais forte em todas as escalas de modelo e tarefas.
  • No Qwen3-8B, a PBSD atingiu uma média matemática de 65,2, superando o modelo base (+3,7) e a linha de base mais forte OPSD (+1,0).
  • No Qwen3-4B e 1,7B, a PBSD também alcançou as médias mais altas, superando linhas de base como GRPO, DAPO e OPSD.
  • Em uso de ferramentas, a PBSD alcançou a melhor precisão top-1 em todas as escalas (por exemplo, 72,0% para 8B).
• Estabilidade: Diferentemente da OPSD, que frequentemente atinge o pico cedo e degrada, a PBSD demonstrou progresso de treinamento estável ao longo do orçamento de 500 passos.
• Eficiência de Token: A PBSD manteve a eficiência de token da auto-distilação (uma única execução por prompt) enquanto alcançava desempenho comparável ou superior a métodos baseados em RL (como GRPO) que exigem orçamentos massivos de tokens.
• Ablações:
  • Professor Fixo: Manter o professor fixo na inicialização foi encontrado como suficiente e eficaz; atualizar o professor a cada 5 passos não ofereceu benefício claro.
  • Exploração: A PBSD preservou comportamentos de raciocínio exploratórios (comprimentos de conclusão moderados) melhor do que métodos de correspondência KL direta, evitando o colapso em traços excessivamente curtos e excessivamente confiantes.

Significado e Alegações

O artigo alega que a PBSD aborda uma lacuna fundamental nos paradigmas de pós-treinamento, combinando a eficiência de token da auto-distilação com a estabilidade e consciência de recompensa da otimização de preferências.

• Além da Correspondência KL: O trabalho desafia a suposição de que a auto-distilação deve ser um problema de correspondência direta de distribuição. Postula que o professor deve definir o suporte de comportamentos úteis, enquanto a otimização deve amplificar seletivamente respostas de maior valor via reponderação por recompensa.
• Escalabilidade: Ao remover a dependência de modelos professores externos ou modelos de recompensa, a PBSD oferece um caminho escalável para democratizar agentes de código aberto capazes, particularmente em cenários de raciocínio multi-turno e uso de ferramentas.
• Robustez: O quadro fornece uma distribuição alvo mais robusta que preserva o raciocínio exploratório e admite otimização mais estável em comparação com linhas de base anteriores de auto-distilação.

Os autores concluem que a auto-distilação consciente de recompensa representa um paradigma promissor para o pós-treinamento estável e escalável de LLMs orientados a raciocínio, efetivamente fechando a lacuna entre supervisão densa e otimização de recompensa sem dependências externas.