Resumo Técnico: Exposição Adaptativa do Professor para Auto-Distilação em Raciocínio de LLM (ATESD)

1. Declaração do Problema: Descompasso na Exposição do Lado do Professor

Enquanto a Auto-Distilação On-Policy (OPSD) emergiu como um método dominante para melhorar o raciocínio de Modelos de Linguagem de Grande Escala (LLM) ao alinhar a supervisão com os próprios rollouts do estudante, este artigo identifica um gargalo crítico, anteriormente não examinado: descompasso na exposição do lado do professor.

Na OPSD padrão, o "professor" (uma cópia congelada do modelo) condiciona-se à solução de referência completa (Cadeia de Pensamento privilegiada) ao fornecer supervisão ao nível de tokens. Os autores argumentam que essa suposição padrão — de que mais informações privilegiadas são sempre supervisão melhor — é falha.

• O Descompasso: Quando o raciocínio de referência completo excede significativamente a competência atual do estudante (comum em problemas difíceis), os alvos de tokens resultantes tornam-se fortes demais para serem absorvidos. A distribuição preditiva do professor torna-se excessivamente aguda e concentrada em tokens que o estudante ainda não consegue gerar, criando um sinal de supervisão que é informativo, mas não aprendível.
• Evidência Empírica: Varreduras controladas de níveis de exposição fixos ($\alpha \in [0, 1]$) no AIME 2024 revelam dois padrões-chave:
  1. Subotimalidade da Exposição Total: Níveis de exposição intermediários (por exemplo, $\alpha=0.5$) frequentemente superam a exposição total ($\alpha=1.0$).
  2. Crescimento Monotônico do Descompasso: O descompasso entre as distribuições do professor e do estudante (medido pela divergência KL on-policy e discordância top-1) cresce monotonicamente à medida que o professor vê mais raciocínio privilegiado.
  3. Dependência do Regime: O nível de exposição ótimo varia conforme a dificuldade do problema (problemas fáceis preferem exposição total; problemas difíceis preferem exposição menor), sugerindo que um único padrão fixo é insuficiente.

2. Metodologia: ATESD

Para abordar isso, os autores propõem a Exposição Adaptativa do Professor para Auto-Distilação (ATESD). Esta estrutura trata a exposição do professor não como um hiperparâmetro fixo, mas como uma variável de controle aprendível e condicionada ao estado de treinamento.

Componentes Principais

1. Professor Modulado por Exposição:

   • Em vez de condicionar-se à referência completa $y^*$, o professor condiciona-se a um prefixo truncado $truncate(y^*, \alpha_t)$, onde $\alpha_t \in [0, 1]$ é a razão de exposição.
   • O truncamento aplica-se apenas ao prefixo de raciocínio; a resposta final em caixa é sempre preservada para manter a restrição da tarefa.
   • O protocolo de rollout do estudante permanece inalterado (amostragem on-policy a partir do prompt apenas com o problema), garantindo que a comparação isole o efeito do contexto do professor.

2. Controlador de Exposição Beta ($\pi_\phi$):

   • Um Perceptron Multicamadas (MLP) leve mapeia estatísticas compactas do estado de treinamento (por exemplo, perda recente, EMAs de descompasso, autoconfiança do estudante) para os parâmetros de concentração $(a_t, b_t)$ de uma distribuição Beta.
   • O controlador amostra uma razão de exposição global $\alpha_t$ para uma janela de retenção de $H$ atualizações do estudante. Isso garante que uma única decisão governe um episódio curto, permitindo uma atribuição de crédito estável.
   • A distribuição Beta é restrita a ser unimodal ($a, b > 1$), permitindo que a política aprenda um nível de exposição preferido com confiança variável.

3. Treinamento em Malha Fechada com Crédito Atrasado:

   • Desafio: Decisões de exposição afetam o progresso futuro de aprendizado do estudante, não apenas a perda imediata. Uma decisão de alta exposição pode ser benéfica a longo prazo, mesmo que cause um pico temporário na perda.
   • Solução: O controlador é treinado via REINFORCE usando uma recompensa de progresso de aprendizado com desconto.
   • Sinal de Recompensa ($R$): Composto por duas partes:
     • $G_{lp}$: Soma descontada de melhorias positivas de perda ao longo de uma janela de previsão ($L$ passos).
     • $G_{gt}$: Uma pontuação de crédito fundamentada no professor baseada na log-probabilidade de tokens de referência verificados, garantindo que a exposição selecionada ainda esteja alinhada com a verdade fundamental.
   • Esta abordagem aborda o problema de atribuição de crédito atrasado inerente à auto-distilação on-policy, evitando o viés míope de proxies de perda de um único passo.

3. Contribuições Principais

1. Identificação do Descompasso na Exposição do Lado do Professor: O artigo formaliza a observação de que o raciocínio privilegiado completo não é universalmente ótimo e que o descompasso cresce com a exposição, motivando a mudança de padrões fixos para controle adaptativo.
2. Estrutura ATESD: Um método inovador que modela a exposição como uma variável contínua e aprendível por meio de um controlador de política Beta, treinado com um cronograma de duas escalas de tempo (atualizações rápidas do estudante, atualizações lentas do controlador) e sinais de recompensa atrasados.
3. Validação Empírica: Experimentos abrangentes demonstrando que a exposição adaptativa supera consistentemente a exposição fixa e outras linhas de base padrão em diversas escalas de modelos e benchmarks de raciocínio.

4. Resultados Experimentais

O método foi avaliado no AIME 2024, AIME 2025 e HMMT 2025 usando modelos Qwen3 (1.7B, 4B e 8B).

• Ganhos de Desempenho: O ATESD superou consistentemente a linha de base OPSD e outras linhas de base de RL/distilação (SFT, GRPO).
  • Qwen3-1.7B: +0.95 pontos de Média@12 sobre a OPSD.
  • Qwen3-4B: +2.05 pontos de Média@12 sobre a OPSD (atingindo 65.65 Média@12).
  • Qwen3-8B: +2.33 pontos de Média@12 sobre a OPSD.
• Descobertas de Ablação:
  • Crédito Atrasado: Remover a recompensa de previsão atrasada (usando feedback imediato de um único passo) degradou significativamente o desempenho (52.22 vs. 59.17), confirmando a necessidade de atribuição de crédito de longo horizonte.
  • Aprendido vs. Fixo: A política aprendida (59.17) superou a melhor configuração de exposição fixa (57.44) e a exposição estocástica não controlada (54.94), provando que o controlador aprende uma estratégia dinâmica em vez de simplesmente selecionar uma constante ótima estática.
  • Redução do Descompasso: Em trajetórias positivas fixas, a exposição adaptativa reduziu a divergência KL professor-estudante ao nível de token (de 0.0136 para 0.0061), demonstrando que impede o professor de restringir excessivamente o estudante.

5. Significado e Alegações

O artigo afirma que a exposição adaptativa do professor é um novo eixo eficaz para a auto-distilação de raciocínio. Ao tratar o acesso do professor a informações privilegiadas como uma variável controlável em vez de uma suposição fixa, o ATESD resolve o análogo do lado da supervisão do descompasso de rollout.

Os autores enfatizam que sua contribuição não é meramente um novo currículo ou uma distribuição de treinamento do estudante diferente, mas uma mudança fundamental na forma como o professor condiciona as soluções de referência. O método estabelece que:

• A exposição total é um padrão subótimo.
• A exposição deve ser compatibilizada com o regime de aprendizado atual do estudante.
• Aprender essa exposição requer mecanismos de atribuição de crédito atrasado semelhantes aos usados em Aprendizado por Reforço.

O artigo conclui que o ATESD fornece uma melhoria robusta e escalável para modelos de raciocínio pós-treinamento, particularmente à medida que a capacidade do modelo aumenta, enquanto observa que trabalhos futuros poderiam explorar o condicionamento de dificuldade por amostra e a aplicação a domínios de raciocínio mais amplos além de concursos matemáticos.