Resumo Técnico: Auto-Distilação Adaptativa à Direção para Raciocínio em LLMs

1. Declaração do Problema

O artigo aborda uma falha crítica no Auto-Distilação On-Policy (OPSD), um paradigma emergente de pós-treinamento para Modelos de Linguagem de Grande Porte (LLMs). No OPSD, um modelo atua simultaneamente como aluno e professor: o "aluno" gera trajetórias (rollouts), enquanto uma versão "privilegiada" do mesmo modelo (condicionada a traços de referência, dicas ou feedback) serve como professor para fornecer supervisão densa ao nível de token.

Embora o OPSD vise combinar a supervisão de resultados do Aprendizado por Reforço com Recompensas Verificáveis (RLVR) com orientação de alta granularidade, estudos recentes indicam que ele degrada o raciocínio complexo. Os autores diagnosticam essa degradação como um descompasso direcional:

• Atração Uniforme: O OPSD padrão aplica uma força "atrativa" uniforme, puxando o aluno em direção à distribuição do professor privilegiado.
• A Consequência: Isso suprime a incerteza preditiva (marcadores epistêmicos como "espere", "hmm" ou "alternativamente"), que são cruciais para exploração, revisão de hipóteses e autocorreção.
• O Paradoxo: Simplesmente inverter a direção (empurrar o aluno para longe do professor) para restaurar a incerteza falha porque corrompe os tokens de andaime de baixa entropia (etapas de execução rotineira), levando a erros de execução.

O problema central é que uma única direção de supervisão (seja atração ou repulsão) não pode simultaneamente preservar a exploração em pontos de decisão de alta entropia e estabilizar a execução em etapas rotineiras de baixa entropia.

2. Metodologia: Auto-Distilação Adaptativa à Direção (DASD)

Os autores propõem a Auto-Distilação Adaptativa à Direção (DASD), que reestrutura a auto-distilação privilegiada de uma imitação uniforme para uma supervisão direcional roteada por entropia. O método alterna dinamicamente a direção da pressão do professor com base na entropia preditiva do aluno ($H_t$) em cada token.

Mecanismo Central

A DASD introduz um coeficiente assinado, $\omega_t \in [-1, 1]$, no objetivo de auto-distilação. Este coeficiente determina se o aluno é puxado em direção (atrativo) ou empurrado para longe (repulsivo) do professor privilegiado.

1. Roteamento por Entropia:

   • Tokens de Alta Entropia (Bifurcações): Em pontos de decisão onde o aluno está incerto ($H_t$ é alto), a orientação do professor privilegiado é tratada como uma restrição que pode colapsar prematuramente caminhos alternativos de raciocínio. A DASD aplica pressão repulsiva ($\omega_t$ negativo) para empurrar o aluno para longe do professor, preservando a exploração e a capacidade de revisar hipóteses.
   • Tokens de Baixa Entropia (Andaimes): Em etapas de execução rotineira onde o aluno está confiante ($H_t$ é baixo), o professor privilegiado fornece orientação estável e correta. A DASD aplica pressão atrativa ($\omega_t$ positivo) para puxar o aluno em direção ao professor, estabilizando a execução ao nível de etapa e prevenindo erros locais.

2. Formulação Matemática:
   O objetivo combina uma âncora global de verificador com um termo de distilação local e assinado. A perda assinada para um token $t$ é:
   $$\tilde{D}_t^{(i)}(\theta) = \omega_t^{(i)} \cdot \text{KL}\left( \pi_\theta(\cdot | x, o_{<t}^{(i)}) \parallel \text{sg}[\pi_\theta(\cdot | x, r, o_{<t}^{(i)})] \right)$$
   Onde:

   • $\omega_t^{(i)}$ é calculado usando um roteador tanh baseado no desvio da entropia do token atual em relação ao quantil de entropia da trajetória.
   • Um gate de lacuna (função sigmoide) modula a magnitude com base na lacuna de log-verossimilhança entre o aluno e o professor privilegiado, garantindo que apenas discordâncias confiáveis influenciem a atualização.
   • O verificador global (por exemplo, uma recompensa programática) permanece como âncora para a correção ao nível de trajetória, enquanto o auto-professor fornece o sinal direcional local.

3. Dinâmica de Treinamento:
   O método utiliza o Otimização de Política Relativa em Grupo (GRPO) como base. O termo de vantagem é ajustado para incluir a correção direcional: $\hat{A}_t = A_G + \beta \omega_t \bar{\delta}_t$. Isso permite que o modelo aprenda com o traço privilegiado durante o treinamento sem exigir esse traço no momento da inferência.

3. Contribuições Principais

O artigo apresenta três contribuições primárias:

1. Diagnóstico de Descompasso Direcional ao Nível de Token: Os autores identificam que a degradação do OPSD decorre da aplicação de uma direção de supervisão uniforme a populações heterogêneas de tokens. Eles demonstram, por meio de sondas, que a conformidade prejudica as bifurcações de alta entropia (suprimindo a exploração), enquanto o desvio prejudica os andaimes de baixa entropia (corrompendo a execução).
2. Proposta da DASD: Introduzem um objetivo roteado por entropia que roteia dinamicamente o sinal do auto-professor privilegiado: repulsivo para bifurcações de alta entropia para preservar a busca, e atrativo para andaimes de baixa entropia para garantir estabilidade.
3. Validação Empírica: Através de experimentos extensivos, mostram que a DASD melhora o desempenho de raciocínio mantendo a "saúde" do processo de raciocínio — alcançando simultaneamente execução rigorosa de etapas e autocorreção flexível.

4. Resultados Experimentais

Os autores avaliaram a DASD em seis benchmarks de raciocínio matemático (MATH500, Minerva, HMMT25, OlympiadBench, AIME24, AIME25) em três escalas de modelo (Qwen3-1.7B, 4B e 8B).

• Desempenho: A DASD alcançou a melhor Média Macro @16 em todas as escalas e benchmarks. Os ganhos foram mais pronunciados em benchmarks mais difíceis e no estilo de competição (por exemplo, HMMT25, AIME25) que exigem a manutenção de múltiplos caminhos de solução plausíveis.
• Comparação com Baselines: A DASD superou baselines fortes, incluindo GRPO, HEPO e vários métodos de auto-distilação (OPSD, SDPO, RLSD, SRPO). Notavelmente, enquanto o OPSD padrão frequentemente performou próximo ou pior que o modelo base, a DASD consistentemente melhorou sobre a baseline RLVR.
• Escalonamento Pass@k: A DASD demonstrou um escalonamento Pass@k superior, indicando que o método expande o conjunto de caminhos de solução alcançáveis (diversidade) em vez de apenas afiar uma única previsão determinística.
• Saúde do Raciocínio: Métricas de diagnóstico confirmaram que a DASD preserva tanto a Precisão por Etapa (qualidade de execução) quanto a Densidade de Exploração (frequência de marcadores epistêmicos e taxas de revisão), enquanto o OPSD colapsou a exploração e o GRPO frequentemente careceu de autocorreção suficiente.
• Generalização: O método mostrou melhorias consistentes em avaliações cruzadas de domínio (código, raciocínio científico, uso de ferramentas) e cruzadas de família (Olmo, Llama), sugerindo que o mecanismo não é específico apenas à arquitetura Qwen3 ou ao domínio matemático.

5. Significado e Alegações

O artigo alega que a alavanca produtiva para o raciocínio auto-distilado é a direção da supervisão, e não meramente sua força ou magnitude.

• Insight do Mecanismo: O trabalho estabelece que a entropia não é apenas um botão de magnitude para ponderar atualizações (como em métodos anteriores guiados por entropia), mas um seletor de sinal para a pressão do professor privilegiado.
• Mudança de Paradigma: Desafia a suposição de que a auto-distilação deve ser puramente atrativa. Ao permitir que o modelo "empurre para longe" um professor privilegiado em pontos críticos de decisão, a DASD resolve o descompasso entre treinamento e inferência, onde o modelo aprende um estilo condicionado à solução que falha quando a informação privilegiada está ausente.
• Impacto Prático: A DASD oferece uma maneira de aproveitar informações privilegiadas (como traços verificados) durante o treinamento para melhorar a robustez do raciocínio sem exigir professores externos ou sacrificar o comportamento exploratório necessário para resolver problemas complexos.

Os autores concluem que, embora o método herde a exigência de traços verificados durante o treinamento (uma propriedade do paradigma de auto-distilação privilegiada), ele desacopla com sucesso a necessidade de contexto privilegiado no momento da inferência, enquanto aprimora significativamente as capacidades de raciocínio.