Resumo Técnico: Nem Toda Discordância é Aprendível: Ensino de Tokens em Distilação On-Policy

Declaração do Problema

A distilação on-policy (OPD) treina um modelo de linguagem estudante sobre suas próprias trajetórias usando supervisão em nível de token a partir de uma política professora. Embora métodos recentes de OPD seletiva tentem melhorar a eficiência priorizando tokens "salientes" — como aqueles com alta entropia ou alta discordância entre professor e estudante (divergência KL) —, essas abordagens baseiam-se na suposição de que alta discordância equivale a alto valor de aprendizado.

O artigo identifica uma falha crítica nessa suposição: a discordância KL bruta é um proxy grosseiro para aprendizado. Ela confunde dois cenários qualitativamente diferentes:

1. Discordância Aprendível: A professora atribui massa probabilística corretiva a tokens já dentro do suporte preditivo atual do estudante (top-$K$).
2. Discordância Incompatível: A professora atribui massa a tokens muito fora do suporte atual do estudante. Embora isso crie uma grande lacuna KL, o estudante não consegue absorver facilmente essa correção, levando a efeitos de aprendizado local fracos ou negativos.

O problema central é distinguir quais sinais de professor em nível de token são realmente aprendíveis (ou seja, capazes de induzir melhoria local) versus aqueles que são meramente salientes ou incompatíveis.

Metodologia

1. Diagnóstico de Contexto Fixo

Para isolar o valor de aprendizado de tokens específicos do ruído de trajetória e das mudanças de contexto a jusante, os autores introduzem um diagnóstico de contexto fixo.

• Protocolo: Prefixos gerados pelo estudante são coletados e congelados como um banco de contextos. Tanto o modelo estudante inicial (pré-atualização) quanto o estudante treinado são reavaliados contra a mesma distribuição do professor nesses contextos fixos.
• Métrica: O Ganho de Token em Contexto Fixo ($G^{\text{fix}}_{i,t}$) é definido como a redução na divergência KL entre o professor e o estudante após o treinamento, medida no mesmo prefixo.
• Objetivo: Isso permite aos autores correlacionar sinais pré-atualização (como KL bruto) com melhoria local real, controlando a variância de amostragem.

2. Formalização do Ensino de Tokens

Usando o diagnóstico, os autores decompõem a discordância em dois componentes baseados na compatibilidade de suporte local:

• Suporte Local ($S^S_t(K)$): O conjunto dos top-$K$ tokens do estudante.
• Massa de Compatibilidade ($C_t$): A massa probabilística total que o professor atribui ao suporte local do estudante $S^S_t(K)$.
• Decomposição:
  • Discordância Aprendível ($D^L_t$): Alta discordância onde a correção do professor está alinhada com o suporte do estudante (Alto $C_t$).
  • Discordância Incompatível ($D^I_t$): Alta discordância onde a correção do professor cai fora do suporte do estudante (Baixo $C_t$).

A Pontuação de Ensinabilidade é definida como o produto da discordância normalizada e da compatibilidade:
$$s^{\text{teach}}_t = \tilde{D}_t \cdot \tilde{C}_t$$
onde $\tilde{D}_t$ é a discordância normalizada e $\tilde{C}_t$ é a massa de compatibilidade normalizada.

3. OPD Consciente de Ensinabilidade (TA-OPD)

Com base na descoberta de que $D^L_t$ prevê o ganho em contexto fixo melhor do que o KL bruto, os autores propõem o TA-OPD, um método leve de seleção de posições de tokens:

• Seleção: Para um orçamento dado (por exemplo, 5% ou 10% dos tokens), o TA-OPD seleciona as top-$N$ posições com as maiores pontuações de ensinabilidade ($s^{\text{teach}}_t$).
• Implementação: Requer apenas as probabilidades de tokens do professor e do estudante (especificamente os log-probs top-$K$) disponíveis durante a OPD padrão. Não requer modelos de recompensa, verificadores ou rótulos adicionais.
• Contraste: Ao contrário de métodos anteriores que selecionam com base em entropia ou divergência bruta (TIP), o TA-OPD filtra explicitamente correções "alinhadas ao suporte".

Principais Contribuições

1. Diagnóstico de Contexto Fixo: Um método para medir a redução de KL no mesmo contexto, ligando sinais de token pré-atualização à melhoria local da OPD sem confundir com ruído de trajetória.
2. Formalização do Ensino de Tokens: A demonstração de que a discordância KL bruta confunde sinais aprendíveis e incompatíveis. O artigo prova que a discordância alinhada ao suporte é o preditor confiável de aprendizado útil.
3. Algoritmo TA-OPD: Um método de seleção prático e leve que aplica a perda da OPD apenas em posições de alta ensinabilidade, melhorando a eficiência sem ferramentas externas.
4. Validação Empírica: Experimentos extensivos mostrando que selecionar por ensinabilidade produz melhor desempenho a jusante do que selecionar por saliência, mesmo com orçamentos de tokens significativamente reduzidos.

Resultados Experimentais

Os autores avaliaram o TA-OPD em quatro configurações professor-estudante envolvendo modelos Qwen3 (4B, 8B, 14B) e Qwen2.5 (3B), usando benchmarks como AIME, GPQA-Diamond, HumanEval e MATH-500.

• Desempenho vs. OPD Completa: Em muitas configurações, o TA-OPD igualou ou superou a OPD de token completo usando apenas 5% dos tokens. Por exemplo, na configuração Qwen3-4B $\to$ 1.7B, o TA-OPD alcançou uma pontuação média de 44,89 comparado aos 42,37 da OPD Completa, apesar de usar um orçamento de 10% (e superar a OPD completa em métricas específicas).
• Comparação com Baselines: O TA-OPD superou consistentemente as baselines baseadas em entropia, baseadas em divergência e TIP (Importância de Token em OPD).
  • Na configuração de backbone cruzado (DeepSeek-R1-Distill-Qwen-14B $\to$ Qwen2.5-3B), o TA-OPD melhorou a pontuação média para 30,62, superando significativamente o modelo Base (29,98) e a OPD Completa (28,76).
• Sensibilidade ao Orçamento: Os resultados indicam que o desempenho da OPD é limitado pela qualidade do token e não puramente pelo orçamento. Aumentar o orçamento de tokens além de 10% frequentemente não gerou ganhos adicionais e às vezes degradou o desempenho, reforçando que nem toda supervisão adicional é benéfica.
• Robustez: A "lacuna de ganho de alto suporte" positiva (a diferença de desempenho entre tokens de alta ensinabilidade e baixa ensinabilidade) permaneceu consistente em diferentes contextos (matemática, GSM8K-COT), escalas de professores (8B, 14B) e tamanhos de suporte ($K=8, 16, 32$).

Significado e Afirmações

O artigo reestrutura a distilação on-policy seletiva não como um problema de selecionar tokens "salientes" ou "incertos", mas como um problema de identificar sinais de professor localmente aprendíveis.

• Afirmação Central: Os ganhos da OPD dependem da compatibilidade entre a correção do professor e o suporte preditivo atual do estudante. Alta divergência KL sozinha é insuficiente; o professor deve atribuir massa a tokens que o estudante já considera plausíveis.
• Impacto Prático: O TA-OPD oferece uma maneira de reduzir drasticamente o custo computacional da distilação (filtrando tokens incompatíveis) enquanto mantém ou melhora o desempenho do modelo. Isso é alcançado sem a sobrecarga de modelos de recompensa ou verificadores, tornando-o aplicável a pipelines de treinamento padrão.
• Limitações: Os autores observam que sua análise foca em raciocínio pesado em matemática e modelos da família Qwen. Embora o diagnóstico seja agnóstico ao modelo, validação mais ampla em diálogo, código e backbones não-Qwen é necessária para confirmar a generalização. Além disso, o "orçamento de token" refere-se à densidade de supervisão, não necessariamente a aceleração de tempo real, pois o método seleciona posições em vez de podar o cálculo do transformador.

Em conclusão, o trabalho sugere que uma distilação eficaz requer uma estratégia de supervisão consciente de compatibilidade, onde o estudante aprende melhor a partir de sinais de professor que são tanto corretivos quanto localmente alcançáveis.