Resumo Técnico: Encontrando a Evidência para a Destilação de Raciocínio On-Policy

1. Declaração do Problema

A destilação on-policy (OPD) emergiu como um paradigma dominante para ensinar modelos pequenos a raciocinar, fornecendo supervisão densa ao nível de token a partir de um modelo professor. No entanto, os métodos atuais de OPD enfrentam uma limitação crítica: eles falham em distinguir diferentes tipos de conhecimento dentro das cadeias de raciocínio. Treinar em todos os tokens dilui o sinal de aprendizado, enquanto métodos recentes baseados em entropia (ex: Wang et al., 2026) capturam apenas "tokens de decisão" (onde o estudante enfrenta incerteza), mas perdem os "tokens de evidência".

O artigo identifica um ponto cego estrutural nos métodos existentes:

• Tokens de Decisão: Posições onde o estudante enfrenta incerteza genuína (ex: pontos de ramificação, escolhas de estratégia). Estes são naturalmente identificados por alta entropia do estudante.
• Tokens de Evidência: Passos intermediários que justificam decisões (ex: derivações, substituições de variáveis). Estes frequentemente aparecem onde o estudante está confiante, porém errado. Como o estudante está confiante, a entropia é baixa, tornando esses tokens invisíveis para seletores baseados em entropia. Consequentemente, o conhecimento substantivo de raciocínio não é transferido, levando a estudantes que sabem quando ramificar, mas falham em como executar a ramificação corretamente.

2. Metodologia: DEAR (Destilação de Raciocínio Consciente de Decisão e Evidência)

Os autores propõem o DEAR, um mecanismo de seleção de tokens em duas etapas projetado para recuperar tanto os tokens de decisão quanto os de evidência para o treinamento de OPD.

Estágio 1: Identificação de Decisão

O método primeiro identifica os tokens de decisão usando a entropia do estudante ($H^S_t$). Os top-$p\%$ tokens com maior entropia são selecionados como o conjunto de decisão ($D$). Estes tokens marcam o "esqueleto" do processo de raciocínio onde o estudante deve fazer uma escolha.

Estágio 2: Descoberta de Evidência

Para encontrar os tokens de evidência de suporte que a entropia ignora, o DEAR aproveita a relação entre as decisões e seu contexto circundante:

1. Similaridade Contextual: O método extrai os estados ocultos do estudante ($h^L_t$) da camada mais profunda do transformer. Para cada token que não seja de decisão, ele computa a similaridade de cosseno com o âncora de decisão mais próximo (qualquer token no conjunto $D$). Uma alta similaridade indica que o token participa do mesmo contexto de raciocínio (ou seja, faz parte da derivação que suporta uma decisão).
2. Impulso de Lacuna de Conhecimento: Nem todos os tokens contextualmente similares requerem correção. Para priorizar tokens onde o estudante carece de conhecimento, o método incorpora a divergência professor-estudante ($\delta_t = |\log \pi_\theta(y_t) - \log \pi_T(y_t)|$).
3. Pontuação: Um Score de Salicidade de Evidência ($s_j$) é calculado para os tokens que não são de decisão:
   $$s_j = \hat{a}_j \times (1 + \hat{\delta}_j)$$
   Onde $\hat{a}_j$ é a similaridade de cosseno normalizada (atuando como um portão para filtrar ruído) e $\hat{\delta}_j$ é a divergência normalizada (impulsionando tokens com grandes lacunas de conhecimento).
4. Seleção: Os top-$q\%$ dos tokens não-decisão com as maiores pontuações formam o conjunto de evidência ($E$).

Objetivo de Treinamento Final

O conjunto de treinamento final $S$ é a união das decisões e evidências ($S = D \cup E$). A perda de OPD é computada exclusivamente sobre esses tokens selecionados, garantindo que o modelo aprenda tanto a estratégia de ramificação quanto os passos intermediários substantivos.

3. Principais Contribuições

1. Decomposição de Cadeias de Raciocínio: O artigo demonstra empiricamente que as cadeias de raciocínio consistem em dois tipos distintos de conhecimento que exigem mecanismos de descoberta diferentes: decisões (alta entropia) e evidência (baixa entropia, alta divergência).
2. Mecanismo de Descoberta: Introduz um método para descobrir tokens de evidência "confiantes, porém errados" combinando a similaridade de cosseno de estados ocultos (para ligar tokens a decisões) com o impulso de divergência (para priorizar lacunas de conhecimento). Isso supera a impossibilidade estrutural da seleção baseada em entropia em encontrar esses tokens.
3. Ganhos de Desempenho: O DEAR supera consistentemente o OPD padrão e a destilação de conhecimento offline em múltiplos benchmarks.

4. Resultados Experimentais

Os autores avaliaram o DEAR em três configurações estudante-professor (variando famílias e tamanhos de modelos) em seis benchmarks de raciocínio matemático e três benchmarks de geração de código.

• Raciocínio Matemático:
  • O DEAR alcançou até +2,5 pontos percentuais (pp) de melhoria em matemática de nível de competição (ex: AIME) comparado ao OPD padrão.
  • Os ganhos foram mais pronunciados na "destilação entre famílias" (Configuração B: estudante Qwen2.5-1.5B, professor Qwen3-4B), onde a lacuna de conhecimento é maior.
  • No AIME 2024 (Configuração A), o DEAR atingiu 4,58% de precisão contra 2,08% para o OPD padrão (uma melhoria de 2,2$\times$).
• Geração de Código:
  • O DEAR melhorou as taxas de aprovação em +5,74pp no MBPP, +2,13pp no HumanEval e +2,56pp no APPS.
  • Notavelmente, o OPD padrão degradou o desempenho no MBPP em comparação ao modelo base, enquanto o DEAR resolveu isso, sugerindo que ele filtra efetivamente o ruído na geração de código.
• Análise de Sinal:
  • A seleção baseada apenas em entropia capturou apenas ~39% da massa total de gradiente.
  • A inclusão de tokens de evidência pelo DEAR aumentou a captura da massa de gradiente para ~76%, quase dobrando o sinal de aprendizado efetivo.
  • A análise confirmou que os tokens de evidência estão concentrados na região de "baixa entropia, alta divergência", que os métodos baseados em entropia ignoram sistematicamente.

5. Significância e Alegações

O artigo afirma que a destilação completa de raciocínio requer transferir não apenas onde decidir, mas o conhecimento que justifica essas decisões.

• Além da Entropia: O trabalho desafia a suposição prevalecente de que os tokens de alta entropia são os únicos portadores de habilidade de raciocínio. Demonstra que "erros confiantes" contêm conhecimento crítico não transferido.
• Insight Estrutural: Ao identificar que os tokens de evidência se agrupam em torno das decisões no espaço de estados ocultos, o artigo fornece um mecanismo para recuperar passos de raciocínio substantivos que eram anteriormente invisíveis para algoritmos de seleção.
• Escalabilidade: Os ganhos escalam com a dificuldade do problema; problemas mais difíceis com cadeias de evidência mais longas beneficiam-se mais do mecanismo de descoberta de evidência.

Os autores mantêm uma postura modesta, observando que a estrutura decisão-evidência foi verificada principalmente em matemática e código, e que a atual classificação de tokens depende de heurísticas de superfície, em vez de intervenção causal. Eles sugerem que trabalhos futuros poderiam explorar o agendamento adaptativo das razões de seleção ($p, q$) conforme o treinamento progride.