💻 computer science

When Are Teacher Tokens Reliable? Position-Weighted On-Policy Self-Distillation for Reasoning

Este artigo introduz a Auto-Distilação em Política com Pesos Posicionais (PW-OPPS), um método que melhora o desempenho de modelos de raciocínio ao identificar que a confiabilidade dos tokens do professor segue um padrão estruturado por trajetória melhor previsto pela posição do token do que pela entropia, permitindo uma distilação direcionada sem computação adicional do professor.

Autores originais: Xiaogeng Liu, Xinyan Wang, Yingzi Ma, Yechao Zhang, Chaowei Xiao

Publicado 2026-05-22

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xiaogeng Liu, Xinyan Wang, Yingzi Ma, Yechao Zhang, Chaowei Xiao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: Ensinar um Aluno Observando-o Trabalhar

Imagine que você está ensinando um aluno a resolver um problema de matemática muito difícil. Você tem um "Professor" (uma IA superinteligente) que conhece a resposta e um "Aluno" (uma IA ligeiramente menos inteligente) que está tentando aprender.

Em um método chamado Auto-Distilação On-Policy, o processo funciona assim:

O Aluno tenta resolver o problema sozinho, escrevendo seus pensamentos passo a passo.
O Professor observa exatamente o que o Aluno escreveu até aquele momento e diz: "Ok, dado o que você acabou de escrever, a melhor próxima palavra para escrever é..."
O Aluno aprende com esse feedback.

O Problema:
A maneira padrão de fazer isso trata cada palavra individual que o Professor sugere como igualmente importante e igualmente correta. É como um treinador dizendo a um corredor: "Cada passo que você dá é perfeito", mesmo que o corredor esteja prestes a tropeçar em uma pedra.

Os autores deste artigo perceberam que, às vezes, o Professor fica confuso. Em raciocínios complexos, o Professor pode oferecer várias "próximas etapas" diferentes que parecem plausíveis, mas apenas uma delas realmente leva à resposta final correta. Se o Aluno seguir cegamente um passo "plausível, mas errado", ele fica preso.

A Descoberta: O Teste de "Viabilidade do Ramo"

Os pesquisadores queriam saber: Quando o Professor é realmente confiável e quando ele está apenas chutando?

Para descobrir, eles inventaram um teste de diagnóstico chamado "Viabilidade do Ramo". Eis como funciona, usando uma analogia de trilha:

O Cenário: Imagine que o Aluno está subindo uma montanha (resolvendo o problema). Ele está em um caminho seguro e correto.
O Teste: Em vários pontos, o Professor sugere: "Ei, você também poderia pegar esta outra trilha em vez dessa."
O Experimento: Os pesquisadores forçam o Aluno a pegar essa "outra trilha" sugerida, mas sem a ajuda do Professor (sem cola).
O Resultado:
- Cenário A (Diversidade Benigna): O Aluno pega a nova trilha, continua a caminhada e ainda assim chega ao topo. A sugestão do Professor era apenas uma maneira diferente e válida de resolver o problema. Isso é seguro.
- Cenário B (Incerteza Real): O Aluno pega a nova trilha, se perde e nunca chega ao topo. A sugestão do Professor era uma armadilha. Isso é não confiável.

A Descoberta Surpreendente: Trata-se de Quando, Não de Quão Confuso

Os pesquisadores esperavam que o Professor fosse não confiável sempre que parecesse "confuso" (alta entropia, significando que ele tinha muitas opções).

Eles estavam errados.

Eles descobriram que a confusão do Professor não importava tanto quanto onde no processo a confusão acontecia.

No início da trilha: Se o Professor sugerir um desvio no início, é muito provável que seja um beco sem saída. O Aluno precisa se ater ao caminho principal.
No final da trilha: Se o Professor sugerir um desvio perto do fim, geralmente é apenas uma maneira diferente de terminar o trabalho. O Aluno pode explorá-lo com segurança.

Eles testaram isso analisando a "posição" da palavra na frase. Descobriram que simplesmente saber quão avançado o Aluno estava no problema era um preditor de confiabilidade muito melhor do que verificar o quão "confuso" o Professor parecia.

A Solução: PW-OPSD (Aprendizado Ponderado por Posição)

Com base nisso, eles criaram um novo método de treinamento chamado PW-OPSD.

Pense nisso como um botão de volume para a voz do Professor que muda conforme a lição avança:

No início do problema: O volume está baixado. O Aluno ouve o Professor, mas não confia cegamente nele. É dito: "O Professor pode estar sugerindo um desvio errado aqui, então tenha cuidado."
No final do problema: O volume está aumentado. O Aluno confia completamente no Professor. "O Professor sabe exatamente como terminar isso; siga a liderança dele."

Este método não exige que o Professor faça trabalho extra ou execute testes adicionais. Ele apenas muda como o Aluno pondera o conselho com base no quão longe ele chegou.

Os Resultados: Solutores de Matemática Mais Inteligentes

Eles testaram esse novo método em competições de matemática difíceis (como AIME e HMMT).

O Resultado: Os alunos treinados com o método "Ponderado por Posição" resolveram significativamente mais problemas corretamente do que aqueles treinados com o antigo método de "confiar em tudo igualmente".
A Lição: Em raciocínios complexos, o tempo importa. A confiabilidade do conselho de um professor não é aleatória; ela segue um padrão. Ao respeitar esse padrão, podemos construir IAs mais inteligentes sem precisar de computadores mais potentes.

Resumo em Uma Frase

O artigo descobriu que, no raciocínio matemático de IA, o conselho de um professor é frequentemente arriscado no início de um problema, mas seguro no final, portanto, a melhor maneira de treinar um aluno é confiar menos no professor no início e mais no final, em vez de tratar cada palavra de conselho como igualmente perfeita.

Resumo Técnico: Auto-Distilação em Política com Pesos Posicionais para Raciocínio

Declaração do Problema

A auto-distilação em política (OPSD) é um método prático para a distilação de raciocínio matemático, onde um modelo estudante é treinado em seus próprios rollouts gerados, utilizando um professor privilegiado (uma cópia do modelo condicionada às respostas verdadeiras) para fornecer alvos ao nível de token. No entanto, o objetivo padrão de OPSD aplica um peso de supervisão KL forward uniforme a todos os tokens gerados. Isso assume implicitamente que o alvo do professor privilegiado é igualmente confiável em cada prefixo visitado pelo estudante.

Métodos recentes de distilação adaptativa tentam relaxar essa uniformidade, modulando a supervisão com base em sinais locais, como entropia do professor, razões de probabilidade professor-estudante ou consenso. Os autores argumentam que esses sinais locais de ambiguidade são proxies insuficientes para a confiabilidade do professor. Alta entropia do professor pode indicar dois fenômenos distintos:

Incerteza não viável: O professor atribui probabilidade a múltiplos próximos tokens, mas apenas um (ou nenhum) leva a uma solução correta; os outros são "becos sem saída".
Diversidade benigna: O professor atribui probabilidade a múltiplas rotas de solução viáveis, todas as quais preservam a correção.

Métodos existentes confundem esses casos, potencialmente reduzindo o peso da supervisão em pontos de ramificação benignos ou falhando em reduzir o peso da supervisão em pontos de ramificação não viáveis onde o professor se desvia. O problema central é identificar um sinal que distinga a incerteza não viável da diversidade viável para ponderar os tokens adequadamente.

Metodologia

1. Diagnóstico de Viabilidade de Ramificação

Para investigar empiricamente a confiabilidade do professor, os autores introduzem um diagnóstico de viabilidade de ramificação.

Configuração: Usando um único modelo (Qwen3-4B), eles definem um prompt de "professor" (contendo a resposta verdadeira) e um prompt de "estudante" (problema comum).
Processo:
1. O estudante gera um rollout correto de "espinha".
2. O professor identifica posições de alta ambiguidade (alta entropia truncada) ao longo dessa espinha.
3. Para essas posições, o professor propõe próximos tokens alternativos.
4. O modelo é forçado a continuar a partir do prompt do estudante + prefixo da espinha + a alternativa forçada, sem informações privilegiadas.
5. Rotulagem: Se a continuação forçada falhar em recuperar a resposta correta, a ramificação é rotulada como realmente incerta (baixa confiabilidade). Se recuperar a resposta, é rotulada como diversidade (benigna).
Descoberta: O diagnóstico revela uma forte estrutura posicional. Ramificações realmente incertas concentram-se no início da sequência, enquanto ramificações de diversidade viável são mais comuns posteriormente.
Poder Preditivo: Uma pontuação orientada de posição dentro da sequência (posições iniciais = baixa confiabilidade) alcança um AUROC de 0,83 na distinção entre candidatos realmente incertos e de diversidade. Em contraste, métricas padrão de incerteza local (entropia preditiva, informação mútua MC-dropout, precisão Dirichlet) performam próximo ao acaso (AUROC $\le$ 0,57).

2. Auto-Distilação em Política com Pesos Posicionais (PW-OPSD)

Motivados pela descoberta de que posições iniciais de alta ambiguidade são estruturalmente menos confiáveis, os autores propõem o PW-OPSD.

Mecanismo Central: O PW-OPSD mantém a construção padrão de OPSD (rollout do estudante, passagem do professor privilegiado, KL forward por vocabulário truncado), mas modifica a agregação externa de tokens.
Programação de Ponderação: Em vez de pesos uniformes, aplica-se uma função sigmoidal crescente baseada na posição normalizada dentro da sequência:
$w_{i,t} = w_{min} + (1 - w_{min})\sigma\left(\frac{r_{i,t} - \tau}{s}\right)$
Onde $r_{i,t}$ é a posição normalizada.
Racional de Design: A programação atribui pesos menores aos tokens iniciais (onde o diagnóstico indica alta não confiabilidade) e pesos maiores aos tokens posteriores (onde a confiabilidade é maior). Um piso ( $w_{min}$ ) garante que os tokens iniciais não sejam completamente ignorados.
Redução: O método média as perdas de tokens dentro de cada sequência antes de média no lote, garantindo que rollouts mais longos não dominem o gradiente puramente devido à contagem de tokens.
Eficiência: Não requer passagens adicionais do professor, verificadores auxiliares ou amostragem complexa; o peso é uma função determinística da posição.

Contribuições Principais

Diagnóstico de Confiabilidade: O artigo introduz um diagnóstico de viabilidade de ramificação que demonstra empiricamente que a confiabilidade do token do professor em raciocínio é estruturada por trajetória (dependente da posição) e não puramente local (dependente da entropia).
Superioridade da Posição sobre a Entropia: Os autores mostram que a posição é um preditor significativamente mais forte da confiabilidade do professor (AUROC 0,83) do que escores de incerteza local (AUROC $\le$ 0,57), desafiando a suposição de que o ponderamento adaptativo baseado em entropia é ótimo.
Algoritmo PW-OPSD: Uma modificação simples e plug-and-play ao OPSD que aplica pesos dependentes da posição à perda KL forward, melhorando o desempenho de raciocínio sem sobrecarga computacional adicional.
Generalização: O método é validado em diferentes famílias de modelos (Qwen, Llama, OLMo) e escalas (4B a 8B parâmetros) sem ajuste de hiperparâmetros por modelo.

Resultados Experimentais

Avaliação Principal (Qwen3-4B)

Avaliado em MATH-500, AIME 2024, AIME 2025 e HMMT 2025 com um comprimento máximo de geração de 38.912 tokens:

AIME 2024: PW-OPSD (Moderado) melhorou o Avg@12 em +1,0 ponto sobre o OPSD padrão (76,20 vs. 75,19).
AIME 2025: PW-OPSD melhorou o Avg@12 em +1,1 ponto (67,78 vs. 66,67).
HMMT 2025: Uma variante de programação "Agressiva" melhorou o Avg@12 em +1,48 pontos sobre o OPSD.
Baselines: Baselines adaptativas usando entropia (EOPD) ou recompensas de gradiente de política (REOPOLD) geralmente performaram abaixo do OPSD nos benchmarks AIME, falhando em capturar o padrão de confiabilidade identificado pelo diagnóstico de posição.
MATH-500: O desempenho permaneceu comparável ao OPSD (próximo à saturação), indicando que o método não degrada o desempenho em tarefas mais fáceis.

Transferência entre Modelos

A programação "Moderada" (derivada dos diagnósticos do Qwen3-4B) foi aplicada sem reajuste a:

DeepSeek-R1-Distill-Llama-8B: Melhorou o Avg@12 em +0,35 pontos.
Olmo-3-7B-Think: Melhorou o Avg@12 em +0,50 pontos.
Isso sugere que o prior de confiabilidade posicional é robusto entre famílias e arquiteturas de modelos.

Estudos de Ablação

Sensibilidade da Programação: Várias configurações de programação (Leve, Acentuada, Agressiva) superaram o OPSD em média, confirmando a robustez do conceito de ponderação posicional.
Redução vs. Posicionamento: Os autores descobriram que a melhoria depende da aplicação conjunta da ponderação posicional e da redução de perda por sequência; aplicar apenas um eixo não produziu o ganho total de desempenho.

Significado e Alegações

O artigo alega que a confiabilidade do token do professor na distilação de raciocínio é estruturada por trajetória. O significado principal reside na mudança do foco da ambiguidade local (entropia) para a confiabilidade estrutural (posição) para a distilação adaptativa.

Alegações Modestas: Os autores afirmam explicitamente que, embora o PW-OPSD melhore o desempenho, os ganhos são "modestos" (por exemplo, +1,0 a +1,1 pontos no AIME). Eles reconhecem que o PW-OPSD é uma aproximação "plug-and-play" e que há espaço para projetar objetivos mais sofisticados (por exemplo, misturando KL forward e reverso com base na posição) no futuro.
Sem Custo Adicional: Uma alegação chave é que essas melhorias são alcançadas sem computação adicional do professor ou etapas de verificação auxiliares, tornando-o uma modificação altamente eficiente para pipelines de distilação existentes.
Insight Teórico: O trabalho fornece uma interpretação teórica da distilação como um risco ponderado por confiabilidade, onde o objetivo é ponderar tokens pela probabilidade posterior de que o alvo do professor ajude a preservar a solução correta. O diagnóstico fornece a evidência empírica de que a posição é um proxy forte para essa posterior.

O código está disponível em https://github.com/SaFo-Lab/PW-OPSD.