💬 NLP

Where Did This Sentence Come From? Tracing Provenance in LLM Reasoning Distillation

Este artigo apresenta um framework de rastreamento de proveniência para analisar a origem das ações em modelos de destilação de raciocínio, demonstrando que o modelo destilado pode gerar ações originadas do professor e propondo, com base nisso, um método de seleção de dados guiado pelo professor para melhorar o desempenho.

Autores originais: Kaiyuan Liu, Shaotian Yan, Rui Miao, Bing Wang, Chen Shen, Jun Zhang, Jieping Ye

Publicado 2026-02-24

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Kaiyuan Liu, Shaotian Yan, Rui Miao, Bing Wang, Chen Shen, Jun Zhang, Jieping Ye

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um aluno muito inteligente, mas um pouco confuso (o "Modelo Estudante") e um gênio da matemática (o "Modelo Professor").

O objetivo é fazer o aluno aprender com o gênio para resolver problemas difíceis. A técnica tradicional de "distilação" é basicamente o professor escrever a resposta completa e o aluno tentar memorizar e copiar esse texto.

Mas surge uma dúvida gigante: Quando o aluno for para a prova real (com perguntas novas), ele realmente está pensando como o gênio, ou ele apenas está repetindo o que ele já sabia antes, fingindo que é inteligente?

É exatamente sobre isso que este artigo fala. Os autores criaram uma "lupa mágica" chamada Rastreamento de Proveniência para descobrir a origem de cada frase que o aluno escreve.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: O Aluno está fingindo?

Antes, ninguém sabia se o aluno estava realmente aprendendo a lógica do professor ou apenas decorando frases.

A situação: O aluno resolve um problema novo. Ele escreve uma frase.
A dúvida: Essa frase veio da mente do Professor (aprendizado real) ou da mente do Aluno (velhos hábitos)?

2. A Solução: A Lupa Mágica (Rastreamento de Proveniência)

Os autores inventaram um método para "olhar por trás das cortinas". Eles pegam cada frase que o aluno escreve e a mostram para três pessoas ao mesmo tempo:

O Professor (o modelo original gigante).
O Aluno Original (antes de estudar com o professor).
O Aluno Distilado (o aluno que já estudou).

Eles comparam a "certeza" (probabilidade) de cada um em relação àquela frase. Com base nisso, eles classificam a frase em quatro tipos de "origem":

🟢 Frase do Professor (Teacher Sentence): O aluno escolheu essa frase porque o Professor tinha muita certeza dela, e o Aluno Original não. Analogia: É como se o aluno dissesse algo que só o professor saberia dizer. É aprendizado real!
🔴 Frase do Aluno (Student Sentence): O Professor não sabia muito bem, mas o Aluno Original sabia. Analogia: O aluno está usando seu próprio "jeito de ser", ignorando o professor.
🟡 Frase Reforçada (Boosted Sentence): Ambos sabiam, mas o treinamento fez o aluno ter muita mais certeza nisso. Analogia: O aluno já sabia andar de bicicleta, mas o professor o treinou para andar em alta velocidade.
⚪ Frase Compartilhada (Shared Sentence): Ambos sabiam exatamente a mesma coisa, sem mudança. Analogia: O aluno e o professor concordam que "2+2=4". Nada novo aqui.

3. O Que Eles Descobriram?

Ao usar essa lupa em provas reais (como matemática e ciências), eles viram coisas interessantes:

O sucesso tem um padrão: Quando o aluno acerta a resposta, ele usa muitas "Frases do Professor", especialmente no início da resolução. Isso explica por que ele acertou: ele seguiu a lógica do gênio.
O perigo dos velhos hábitos: Às vezes, o aluno ativa seus "velhos hábitos" (Frases Reforçadas) que não ajudam na prova nova. Em modelos menores, isso até atrapalha.
A conclusão: O aluno não está apenas copiando; ele está realmente internalizando a lógica do professor, mas precisa ser guiado para não voltar aos velhos padrões quando a coisa fica difícil.

4. A Nova Estratégia: Escolhendo o Melhor Material de Estudo

Sabendo disso, os autores criaram um novo método para escolher quais exercícios o aluno deve estudar.

O jeito antigo: Escolher exercícios que o aluno já gosta ou que parecem fáceis para ele (baseado apenas no aluno).
O jeito novo (Guia pelo Professor): Eles olham para o material de estudo e escolhem apenas as respostas onde o Professor e o Aluno discordam fortemente.
- Analogia: Imagine que você é um treinador de futebol. Em vez de deixar o jogador treinar apenas o que ele já sabe fazer bem, você foca nos passes difíceis onde o técnico (professor) mostra uma jogada que o jogador nunca faria sozinho. É nesses momentos de "diferença" que o aprendizado real acontece.

5. O Resultado

Quando usaram essa nova estratégia de seleção de dados, os alunos (modelos menores) ficaram mais inteligentes e precisos do que quando usavam os métodos antigos. Eles aprenderam a pensar como o professor, não apenas a imitar o professor.

Resumo em uma frase:

Este artigo criou uma "lupa" para ver se um aluno está realmente aprendendo com seu mestre ou apenas fingindo, e descobriu que, para aprender de verdade, você deve focar nos momentos onde o aluno e o mestre pensam de forma diferente, transformando essa diferença em força.

Título: Onde Esta Frase Veio? Rastreando a Proveniência na Destilação de Raciocínio de LLMs

1. O Problema

A destilação de raciocínio (reasoning distillation) é uma abordagem amplamente utilizada para melhorar o desempenho de modelos "alunos" (menores e mais baratos) ao treiná-los para imitar os caminhos de raciocínio gerados por modelos "professores" (grandes e avançados). No entanto, existe uma lacuna crítica na compreensão atual:

Falta de Análise de Origem: Não está claro se o modelo aluno, ao ser testado em novos contextos (fora do conjunto de treinamento), mantém o comportamento e a lógica do professor ou se regride aos seus padrões de saída originais.
Generalização Incerta: Há preocupações sobre se a destilação realmente transfere capacidades de raciocínio ou se apenas reforça padrões pré-existentes no aluno, limitando a generalização em cenários não vistos.
Seleção de Dados Heurística: Métodos anteriores de seleção de dados para destilação baseiam-se frequentemente em heurísticas (como escolher dados que mais se alinham com a distribuição original do aluno), sem uma métrica explícita para garantir que o aluno esteja aprendendo comportamentos genuinamente novos do professor.

2. Metodologia: Rastreamento de Proveniência de Destilação de Raciocínio

Os autores propõem um framework chamado Reasoning Distillation Provenance Tracing (RDPT) para analisar a origem de cada ação (frase/token) produzida pelo modelo destilado.

O Processo de Análise:

Coleta de Trajetórias: O modelo destilado ( $M_D$ ) gera respostas em um conjunto de testes (ex: AIME24, GPQA-D).
Reavaliação Cruzada: Cada trajetória gerada por $M_D$ $M_{D}$ é reentrada em três modelos sob o mesmo contexto:
- O modelo Professor ( $M_T$ ).
- O modelo Aluno Original ( $M_S$ ).
- O modelo Destilado ( $M_D$ ).
Cálculo de Probabilidades: Para cada ação (frase) na trajetória, calcula-se a probabilidade de geração atribuída por cada um dos três modelos.
Classificação de Ações: Com base nas diferenças de probabilidade ( $\Delta$ $Δ$ ), cada ação é categorizada em quatro tipos:
- Frases do Professor (Teacher Sentence): O professor atribui uma probabilidade significativamente maior que o aluno original. Indica que a ação foi aprendida via destilação.
- Frases do Aluno (Student Sentence): O aluno original atribui uma probabilidade significativamente maior. Indica que a ação é um padrão nativo do aluno.
- Frases Compartilhadas (Shared Sentence): Ambos os modelos têm probabilidades similares e baixas. São padrões pré-existentes em ambos, não aprimorados pela destilação.
- Frases Potencializadas (Boosted Sentence): Ambos têm probabilidades similares, mas o modelo destilado aumenta significativamente essa probabilidade. Indica que a destilação ativou padrões latentes do aluno.

Seleção de Dados Guiada pelo Professor:
Com base na análise de proveniência, os autores propõem um novo critério de seleção de dados para o treinamento:

Em vez de selecionar dados que se alinham com o aluno (como no método GRAPE), o método propõe selecionar exemplos onde a divergência entre Professor e Aluno é maior, priorizando respostas que contêm um alto número de Frases do Professor.
Isso é feito calculando a probabilidade de cada frase ser uma "Teacher Sentence" antes do treinamento e selecionando as trajetórias com maior contagem absoluta dessas frases.

3. Principais Contribuições

Framework de Rastreamento de Proveniência: Introdução de um método sistemático para desagregar a origem das capacidades de um modelo destilado, categorizando ações em Teacher, Student, Shared e Boosted.
Explicação Quantitativa da Generalização: Demonstração empírica de que, em cenários de teste, modelos destilados conseguem gerar Frases do Professor, e que essas ações estão fortemente correlacionadas com respostas corretas. Isso explica por que a destilação melhora a generalização.
Estratégia de Seleção de Dados: Proposta de uma estratégia de seleção de dados baseada na divergência explícita entre professor e aluno, superando métodos heurísticos que focam apenas na distribuição do aluno.

4. Resultados Experimentais

Os autores validaram sua abordagem em múltiplos pares de modelos (Professores: DeepSeek-R1, QwQ-32B, GPT-OSS-120B; Alunos: Qwen2.5/3 em tamanhos de 4B a 8B) e benchmarks de raciocínio (AIME24, AIME25, MATH500, OlympiadBench).

Análise de Proveniência:
- Fase Inicial: As respostas corretas tendem a depender fortemente de Frases do Professor nos estágios iniciais do raciocínio (planejamento e análise).
- Fase Tardia: Em modelos maiores, as Frases Potencializadas (padrões internos ativados) tornam-se mais frequentes em respostas corretas. Em modelos menores, no entanto, a ativação excessiva de padrões internos sem o guia do professor pode levar a erros.
- Correlação: A presença de Frases do Professor é um forte preditor de correção na resposta final.
Desempenho da Seleção de Dados:
- O método proposto ("Ours") superou consistentemente tanto a destilação padrão (Vanilla) quanto o método de seleção baseado no aluno (GRAPE).
- Ganhos de Desempenho: Em média, houve uma melhoria de 1.7% a 2.5% na acurácia em benchmarks de raciocínio complexo.
- Generalização: O método demonstrou eficácia não apenas em matemática, mas também em domínios científicos (OpenScienceReasoning), transferindo benefícios para testes de matemática, sugerindo que as "Frases do Professor" capturam padrões de raciocínio universais.

5. Significado e Impacto

Transparência em IA: Este trabalho oferece uma ferramenta crucial para entender o que realmente acontece durante a destilação, movendo-se de uma "caixa preta" para uma análise interpretável da transferência de conhecimento.
Otimização de Treinamento: A descoberta de que priorizar dados com alta divergência professor-aluno (focando em comportamentos do professor) é mais eficaz do que alinhar com o aluno muda a prática de curadoria de dados para modelos de raciocínio.
Direção Futura: O framework sugere que a destilação não apenas transfere conhecimento, mas também ativa padrões latentes. O sucesso depende de equilibrar a adoção de novos padrões (do professor) com a ativação benéfica de padrões internos (do aluno).

Em resumo, o artigo demonstra que a destilação de raciocínio funciona porque permite que o aluno adote comportamentos específicos do professor em momentos críticos do raciocínio, e propõe um método prático para maximizar esse efeito através de uma seleção de dados inteligente e baseada em proveniência.