Resumo Técnico: Destilação Própria com Escalonamento de Temperatura (TS-OPSD)

1. Definição do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tem aprimorado significamente as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs), particularmente em domínios matemáticos e lógicos. No entanto, este progresso enfrenta um gargalo crítico conhecido como colapso de entropia. À medida que a otimização da política avança, a distribuição de saída do modelo torna-se cada vez mais concentrada (aguda), levando a:

• Redução da Diversidade de Rollout: O modelo gera trajetórias repetitivas, limitando a exploração do espaço de soluções.
• Diminuição dos Sinais de Aprendizado: Informações de gradiente eficazes concentram-se em uma pequena fração de tokens de alta entropia em pontos críticos de ramificação de raciocínio. Uma vez que a política colapsa, esses sinais desaparecem, estagnando o progresso.

Remédios existentes tentam mitigar isso seja:

1. Modificando o Objetivo de RL: Usando regularização de entropia ou clipping adaptativo. Esses métodos impõem restrições externas que podem entrar em conflito com a maximização da recompensa.
2. Ajustando a Temperatura de Amostragem: Aumentando a temperatura durante a coleta de rollouts. Embora isso altere a política de comportamento, não altera a distribuição parametrizada subjacente do modelo, criando um descompasso entre a política de comportamento e a política otimizada.

Essas abordagens permanecem externas aos parâmetros do modelo. O artigo postula que o efeito exploratório da temperatura deve ser internalizado diretamente nos pesos do modelo para fornecer uma inicialização melhor para a continuidade do RL.

2. Metodologia: TS-OPSD

Os autores propõem a Destilação Própria com Escalonamento de Temperatura (TS-OPSD), um método leve de "reaquecimento de política" projetado para restaurar a entropia sem professores externos, dados privilegiados ou custos adicionais de inferência.

Mecanismo Central

O TS-OPSD opera como uma intervenção entre estágios de RL. Partindo de um checkpoint com colapso de entropia ($\theta_{RL-collapse}$), o método constrói um auto-professor e destila uma distribuição mais suave de volta para o modelo estudante ($\theta_{reheat}$).

1. Construção do Auto-Professor: Dado os logits atuais do estudante $z_\theta$, uma distribuição auto-professora $p_T$ é gerada aplicando uma transformação softmax de alta temperatura ($T > 1$) aos logits. Crucialmente, os logits do professor possuem o gradiente interrompido (stop-gradient), e nenhum modelo externo é utilizado.
   $$p_T(v | x_{<t}) = \frac{\exp(z_{\theta,v}/T)}{\sum_u \exp(z_{\theta,u}/T)}$$
2. Destilação On-Policy: O estudante é treinado para minimizar a divergência de Kullback-Leibler entre sua distribuição atual $q_\theta$ e o auto-professor de alta temperatura $p_T$, usando rollouts on-policy amostrados da própria $q_\theta$.
   $$\mathcal{L} = D_{KL}(p_T \parallel q_\theta) \quad \text{(FKL - Forward KL)}$$
   $$\mathcal{L} = D_{KL}(q_\theta \parallel p_T) \quad \text{(RKL - Reverse KL)}$$

Propriedades Estruturais

• Preservação de Rank: Como $p_T$ é uma transformação de potência monotônica de $q_\theta$ ($p_T(v) \propto q_\theta(v)^{1/T}$), o ranking de tokens é preservado. O professor e o estudante compartilham o mesmo suporte local e ordenação de preferência semântica; apenas a nitidez da distribuição difere.
• Internalização: Ao contrário dos ajustes de temperatura de decodificação padrão, o TS-OPSD atualiza os pesos do modelo para codificar permanentemente o comportamento de maior entropia e mais suave. Isso elimina o descompasso entre treino e inferência.
• Dinâmica de Gradiente:
  • Forward KL (FKL): O gradiente assume a forma $q_\theta(v) - p_T(v)$. Isso realiza um "suavizamento estruturado", reponderando alternativas suprimidas com base nos próprios julgamentos prévios do modelo.
  • Reverse KL (RKL): Sob o acoplamento de auto-temperatura, minimizar o RKL é localmente equivalente a maximizar a entropia do estudante, com a temperatura atuando apenas como um multiplicador escalar na magnitude do gradiente.

3. Principais Contribuições

1. Framework de Reaquecimento de Política: Introduz o TS-OPSD, um método para internalizar o efeito exploratório da temperatura nos parâmetros do modelo, servindo como uma intervenção pós-colapso.
2. Insight Teórico: Demonstra que, sob o acoplamento de auto-temperatura, o descompasso professor-estudante é minimizado (preservação de rank), e o RKL reduz-se a uma atualização direta de maximização de entropia.
3. Validação Empírica: Mostra que o reaquecimento de um checkpoint com colapso de entropia fornece uma inicialização superior para a continuidade do RL em comparação com o treinamento contínuo padrão ou ajustes de temperatura ao nível de rollout.
4. Análise de Dinâmica: Caracteriza o fenômeno do "salto de entropia", onde a recuperação da entropia ocorre em duas fases (suavizamento lento seguido por um salto descontínuo agudo), e analisa a reversibilidade dessas atualizações de parâmetros.

4. Resultados Experimentais

Experimentos foram conduzidos no Qwen3-4B-Base e Qwen3-8B-Base utilizando o conjunto de dados DAPO-Math-17K e avaliados no MATH-500, AIME24/25/26 e OlymMATH.

• Ganhos de Desempenho: O TS-OPSD (especificamente com Forward KL, PR-FKL) superou consistentemente tanto o baseline DAPO padrão quanto o Rollout Reheating (DAPO w/ RR).
  • No Qwen3-8B-Base, o PR-FKL alcançou um Avg pass@8 de 54.74, comparado a 51.60 para o DAPO padrão e 52.66 para o Rollout Reheating.
  • Os ganhos foram mais pronunciados em benchmarks mais difíceis (AIME, OlymMATH).
• Recuperação de Entropia: Após o reaquecimento, os modelos retomaram o RL a partir de uma inicialização de maior entropia e alcançaram recompensas finais maiores do que o DAPO padrão, que permaneceu suprimido.
• Comparação com Rollout Reheating: Embora aumentar a temperatura de amostragem durante os rollouts (RR) tenha proporcionado ganhos não triviais, o Policy Reheating (PR) produziu resultados superiores. Isso sugere que o benefício advém da própria distribuição de política mais suave atuando como uma base melhor para a otimização, e não apenas de uma amostragem mais ruidosa.
• Preservação de Capacidades: Análises mostraram que o TS-OPSD realiza uma redistribuição de probabilidade de preservação de suporte:
  • Representações Intermediárias: Pontuações CKA lineares entre as camadas base e reaquecidas permaneceram próximas de 1.0, indicando que as representações internas permaneceram amplamente inalteradas.
  • Capacidade de Raciocínio: A precisão nas tarefas MATH-500 e GPQA permaneceu estável durante todo o processo de destilação, confirmando que a recuperação da entropia não degradou as habilidades de raciocínio.
  • Conjuntos de Candidatos: A sobreposição do Top-10 de tokens e a retenção da massa de probabilidade ficaram próximas de 1.0, indicando que as preferências semânticas do modelo foram preservadas enquanto as margens foram suavizadas.

5. Significância e Alegações

O artigo afirma que a restauração da entropia pode ser desacoplada do objetivo de RL e inserida como uma operação modular entre estágios quando uma política se torna muito determinística.

• Intervenção Modular: O TS-OPSD oferece um mecanismo simples e leve para estender o RL orientado ao raciocínio além do gargalo do colapso de entropia, sem alterar o algoritmo central de RL.
• Estabilidade em Cenários de Escassez de Dados: Em experimentos com dados reduzidos (2048 prompts), o treinamento de RL padrão tornou-se instável (picos de gradiente, degradação de recompensa) devido ao severo colapso de entropia. O TS-OPSD atuou como um mecanismo estabilizador, permitindo um treinamento mais longo e estável.
• Eficiência Computacional: A intervenção de reaquecimento adiciona aproximadamente 15–17% ao tempo total de treinamento de RL. Quando normalizado pelo tamanho do lote, o custo por amostra é comparável ou até inferior aos passos de RL padrão.
• Limitações: Os autores observam que os experimentos são limitados a escalas de modelo específicas (4B/8B) e que os critérios de parada para o reaquecimento (limiar de entropia) são atualmente empíricos, não fundamentados em princípios. Eles sugerem que trabalhos futuros poderiam explorar cronogramas em cascata alternando OPSD e RL.

Em resumo, o TS-OPSD demonstra que "internalizar" a temperatura via autodestilação efetivamente restaura a capacidade exploratória de políticas colapsadas, permitindo que o RL contínuo atinja tetos de desempenho mais altos enquanto preserva as estruturas de raciocínio adquiridas durante o treinamento.