💬 NLP

Masked Distillation: Internalizing the Chain-of-Thought in Language Models

Este artigo introduz a "destilação mascarada", um framework que internaliza as capacidades de raciocínio de Grandes Modelos de Raciocínio nos parâmetros de um modelo aluno ao treiná-lo para prever apenas os tokens da solução enquanto recebe feedback condicionado à Cadeia de Pensamento do professor, permitindo, assim, a geração direta de respostas e reduzindo a latência de inferência sem sacrificar a precisão.

Autores originais: Durgesh Kalwar, Vardhan Palod, Subbarao Kambhampati

Publicado 2026-07-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Durgesh Kalwar, Vardhan Palod, Subbarao Kambhampati

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde seu assistente de IA favorito é como um estudante brilhante, mas falador. Quando você faz uma pergunta difícil, ele não apenas cospe a resposta; ele rabisca páginas de notas, desenha diagramas e explica detalhadamente cada passo de seu raciocínio antes de finalmente escrever a solução. Esse processo de "pensar em voz alta", conhecido no mundo tecnológico como "Cadeia de Pensamento" (Chain of Thought), tornou os modelos de IA incrivelmente inteligentes em problemas matemáticos e de lógica. No entanto, há um porém: essas páginas de notas levam muito tempo e energia para serem geradas. É como pagar um taxista para levá-lo até o supermercado, mas também pagar para que ele dê voltas por todo o quarteiro primeiro apenas para "pensar" em qual corredor você precisa. Cientistas há muito se perguntam: Podemos ensinar a IA a fazer todo esse pensamento dentro de sua cabeça? Se pudéssemos, a IA pularia as notas longas e faladoras e apenas lhe daria a resposta instantaneamente, economizando uma quantidade enorme de tempo e poder computacional.

Este artigo, intitulado "Masked Distillation" (Destilação Mascarada), mergulha diretamente nessa questão. Os pesquisadores, trabalhando com Modelos de Raciocínio de Grande Escala (LRMs), perguntaram se poderiam pegar um modelo "professor" inteligente que adora pensar em voz alta e treinar um modelo "aluno" menor para internalizar esse processo de pensamento. Eles queriam ver se o aluno poderia aprender a pular as notas inteiramente e apenas fornecer a resposta final, sendo ainda tão inteligente quanto. Eles testaram isso usando uma técnica astuta chamada "Masked Distillation". Imagine que o professor está resolvendo um quebra-cabeça enquanto o aluno observa. O professor vê a pergunta completa e seu próprio processo de pensamento detalhado, mas o aluno recebe apenas a pergunta. O objetivo era ver se o aluno poderia aprender a lógica secreta do professor e então resolver o quebra-cabeça por conta própria, sem nunca precisar escrever os passos, mesmo que o professor tivesse todas as notas para guiar o aprendizado.

A equipe estabeleceu dois experimentos principais. No primeiro, eles usaram o mesmo modelo de IA tanto como professor quanto como aluno, apenas pedindo que ele pensasse de forma diferente. No segundo, eles usaram um modelo maior e mais inteligente como professor e um modelo menor e mais simples como aluno. Eles também introduziram um conceito de "andaime" (scaffold). Pense nisso como rodinhas de treinamento em uma bicicleta. Às vezes, o aluno pode precisar ver um pouco das notas do professor (o "andaime") para acertar a resposta, em vez de tentar fazer tudo do zero. Eles testaram quanto do pensamento do professor o aluno precisava ver para obter os melhores resultados.

Os resultados foram uma mistura de "uau" e "não tão rápido". Em um conjunto de dados de problemas matemáticos de nível escolar chamado GSM8K, os modelos alunos foram incríveis. Eles conseguiram aprender a internalizar o pensamento do professor com sucesso. O aluno totalmente "mascarado" (um que nunca escreveu notas) acertou 76,0% das respostas, o que foi um salto enorme em relação à sua habilidade inicial, e fez isso usando apenas 369,6 tokens (unidades de texto) em média, comparado aos 2.398,1 tokens do professor. Isso é uma redução de esforço de 6,5 vezes!

No entanto, em um quebra-cabeça numérico mais difícil chamado Countdown, a história mudou. Aqui, o aluno que tentou fazer tudo em sua cabeça (totalmente mascarado) na verdade piorou, caindo para 41,7% de precisão. Descobriu-se que, para esse tipo específico de quebra-cabeça, o aluno precisava ver algumas das notas do professor para ter sucesso. Mas aqui está a parte legal: os pesquisadores descobriram um ponto ideal. Ao deixar o aluno ver apenas um pouquinho do pensamento do professor (30% das notas, ou um "alfa" de 0,3), a precisão do aluno disparou para 86,2%. Isso foi quase tão bom quanto o professor (87,3%), mas ainda usou cerca de 1,3 vezes menos tokens do que o professor. Foi como dar ao aluno apenas o suficiente de rodinhas para equilibrar perfeitamente sem precisar da bicicleta inteira.

O artigo também analisou o quão bem esses alunos lidavam com novos quebra-cabeças não vistos (tarefas fora da distribuição). Na parte matemática, os alunos foram bem, mas nos quebra-cabeças de Countdown, os resultados foram um pouco mais mistos. Curiosamente, em alguns casos, os alunos treinados com um pouco de andaime generalizaram melhor do que o próprio professor quando os quebra-cabeças ficaram mais difíceis ou mudaram ligeiramente.

Um achado fundamental foi que o método de ensino importava. Quando tentaram ensinar o aluno apenas mostrando as notas do professor e pedindo que ele as copiasse (um método chamado Ajuste Fino Supervisionado ou Supervised Fine-Tuning), não funcionou tão bem. O método "Masked Distillation", que utiliza uma forma mais complexa de comparar os palpites do aluno com os pensamentos reais do professor, foi muito mais eficaz em transferir as habilidades de "pensamento".

No fim, o artigo sugere que não podemos simplesmente deletar magicamente todos os passos de pensamento para cada problema. Se uma IA consegue "pensar silenciosamente" depende fortemente do tipo de problema e de quanto o modelo aluno já sabe sobre aquele tópico. Para tarefas familiares como matemática básica, a IA pode aprender a pensar silenciosamente e economizar muito tempo. Para quebra-cabeças mais difíceis e desconhecidos, ela ainda pode precisar de um pouco de ajuda — um pequeno andaime de notas — para realizar o trabalho corretamente. Os pesquisadores concluem que este "andaime" é uma ferramenta poderosa que podemos ajustar, permitindo-nos encontrar o equilíbrio perfeito entre o quão inteligente a IA é e o quão rápido ela pode nos dar uma resposta.

Resumo Técnico: Destilação Mascarada – Internalizando a Cadeia de Pensamento em Modelos de Linguagem

Declaração do Problema

Grandes Modelos de Raciocínio (LRMs) alcançam alto desempenho em tarefas complexas (matemática, código, planejamento) ao gerar cadeias longas e explícitas de tokens intermediários (Cadeia de Pensamento ou CoT) antes de produzir uma resposta final. Embora esses rastros melhorem a precisão, eles incorrem em custos significativos de latência de inferência, uso de memória (pegada do cache KV) e energia de serviço, que escalam linearmente com o comprimento do rastro.

Descobertas recentes sugerem que a correção desses rastros intermediários não está causalmente ligada à correção da resposta final, nem o comprimento do rastro correlaciona-se confiavelmente com a complexidade do problema. Isso levanta uma questão crítica: Pode o cálculo expresso nesses tokens intermediários ser internalizado nos parâmetros de um modelo de linguagem, permitindo que ele produza respostas corretas diretamente (ou com rastros significativamente mais curtos) sem gerar explicitamente os passos de raciocínio durante o tempo de inferência?

Metodologia: Destilação Mascarada

Os autores propõ-la a Destilação Mascarada, um framework de destilação de conhecimento projetado para internalizar o processo de raciocínio de um modelo professor "pensante" em um modelo aluno "não-pensante".

Estrutura Central

Neste framework, o modelo aluno é treinado para prever apenas os tokens da solução condicionados à pergunta de entrada. O modelo professor, no entanto, fornece feedback baseado tanto na pergunta quanto em seu próprio rastro gerado de CoT. O objetivo é minimizar a divergência entre a distribuição do aluno (condicionada apenas à entrada) e a distribuição do professor (condicionada à entrada e ao raciocínio intermediário).

O objetivo de treinamento utiliza a divergência reverse-KL on-policy:
$L_{MD} = D_{KL}(\pi_S(\cdot | x, y_{<t}) \parallel \pi_T(\cdot | x, \text{ITs}, y_{<t}))$
Onde $\pi_S$ é a política do aluno, $\pi_T$ é a política do professor, $x$ é a entrada, $y_{<t}$ são os tokens gerados anteriormente e $\text{ITs}$ são os tokens intermediários do professor.

Configurações Experimentais

Os autores instanciam este framework em duas configurações:

Autodestilação: O mesmo modelo atua como o professor (em modo de pensamento) e como o aluno (em modo não-pensante).
Configuração de Modelo Duplo: Um modelo de raciocínio maior serve como professor, supervisionando um aluno não-pensante separado e menor.

O Scaffold de Sufixo- $\alpha$

Para explorar o equilíbrio entre a internalização total e o custo de inferência, os autores introduzem uma variante de destilação mascarada de sufixo- $\alpha$ .

$\alpha = 0$ (Totalmente Mascarado): O aluno internaliza todo o rastro intermediário e emite apenas a solução.
$\alpha = 1$ (Não Mascarado): O aluno reproduz o rastro completo antes da resposta (equivalente à geração padrão de CoT).
$0 < \alpha < 1$ : O aluno internaliza o prefixo $(1-\alpha)$ do rastro do professor e é treinado para emitir o sufixo de fração $\alpha$ restante do rastro durante a inferência, juntamente com a solução.

Isso permite que os autores tratem os tokens intermediários como um "scaffold" (andaime) que pode ser parcialmente retido ou totalmente internalizado.

Principais Contribuições

Framework Proposto: Introduziu a Destilação Mascarada para internalizar o raciocínio de CoT nos parâmetros do modelo, permitindo a geração direta de respostas.
Análise de Scaffold: Definiu e avaliou o parâmetro de sufixo- $\alpha$ , estabelecendo um eixo controlado para ajustar o equilíbrio entre precisão e custo de inferência.
Avaliação Abrangente: Conduziu experimentos extensivos em dois domínios:
- Matemática: GSM8K (In-Distribution), MATH-500 e AIME-25 (Out-of-Distribution).
- Countdown: Uma tarefa de busca de quebra-cabeça numérico com variações de intervalo de alvo e profundidade de busca (divisões OOD).
Estudos de Ablação: Comparou a Destilação Mascarada (usando reverse-KL) contra o Ajuste Fino Supervisionado (SFT) em rastros de professor e o uso de "tokens de ensino" explícitos como scaffolds.

Resultados

1. Dependência de Tarefa da Internalização Total

A capacidade de internalizar totalmente o raciocínio ( $\alpha=0$ ) é altamente dependente da tarefa e da exposição prévia do aluno ao domínio durante o pré-treinamento:

GSM8K (Matemática): A internalização total é bem-sucedida. Na configuração de autodestilação, o aluno alcançou 76,0% de precisão (vs. 87,9% do professor) enquanto reduzia os tokens de inferência em 6,5×. Na configuração de modelo duplo, a precisão melhorou de 15,69% (base) para 45,26% com uma redução de tokens de 5×.
Countdown: A internalização total falha sem scaffolding. Na autodestilação, o aluno totalmente mascarado caiu para 41,7% de precisão (abaixo dos 56,2% do modelo base). Na configuração de modelo duplo, melhorou de 0% para 34,1%, mas permaneceu muito abaixo do professor (87,3%) e da variante não mascarada (81,1%).

2. Eficácia do Scaffolding de Sufixo- $\alpha$

Fornecer uma pequena quantidade de scaffolding (emitindo uma fração do rastro) recupera significativamente o desempenho, particularmente em tarefas onde a internalização total falha:

Countdown (Autodestilação): Definir $\alpha = 0,3$ elevou a precisão de 41,7% para 86,2%, essencialmente igualando o professor (87,3%) enquanto reduzia os tokens de inferência em ~1,3× em comparação com a variante não mascarada.
Countdown (Modelo Duplo): A variante $\alpha = 0,5$ alcançou 84,2% de precisão, superando a linha de base não mascarada (81,1%) enquanto utilizava menos tokens, estabelecendo um ponto de Pareto-ótimo.
GSM8K: Pequenos scaffolds ( $\alpha=0,3$ ) recuperaram a maior parte da lacuna de precisão (83,2% vs. 87,9%) com aproximadamente metade do custo de tokens da variante não mascarada.

3. Generalização para Fora da Distribuição (OOD)

Mudança de Intervalo de Alvo: Modelos treinados com vários paradigmas de scaffold transferiram-se limpamente para tarefas OOD onde o intervalo numérico do alvo mudou.
Mudança de Profundidade de Busca: Na autodestilação para Countdown, alunos treinados com scaffold (especificamente $\alpha=0,5$ ) generalizaram melhor do que a variante não mascarada sob aumento de profundidade de busca (32,8% vs. 25,7%).
Limitações do Modelo Duplo: Na configuração de modelo duplo em benchmarks matemáticos mais difíceis (MATH-500, AIME-25), a lacuna de capacidade entre o professor e o aluno foi grande demais; nem a internalização total nem o scaffolding recuperaram o desempenho OOD, com todas as variantes colapsando para o nível base do aluno.

4. Objetivos de Treinamento

Reverse-KL vs. SFT: O artigo observa que o Ajuste Fino Supervisionado (SFT) em rastros de professor falha em explorar o scaffolding de forma eficaz. No Countdown, o SFT com scaffolds rendeu ~38% de precisão, enquanto a Destilação Mascarada com Reverse-KL com os mesmos scaffolds atingiu ~67%.
Tokens de Ensino: Fornecer "tokens de ensino" explícitos como scaffolds melhorou o desempenho em relação ao mascaramento total, mas foi menos eficaz que a abordagem de sufixo- $\alpha$ .

Significância e Alegações

O artigo afirma que o scaffolding de sufixo fornece um mecanismo controlável para equilibrar precisão e eficiência de inferência. O ponto operacional ideal é determinado pela tarefa específica e pela lacuna de capacidade entre o professor e o aluno.

A internalização é possível, mas não universal: Modelos podem internalizar o raciocínio para tarefas com as quais estão familiarizados (como GSM8K), mas lutam com tarefas de busca novas (como Countdown) sem reter algum rastro explícito.
Troca Custo-Desempenho: Um pequeno amount de raciocínio explícito (ex: $\alpha=0,3$ ) pode recuperar quase todo o desempenho da geração de CoT completa, ofereando economias substanciais no custo de inferência (redução de 1,3× a 2× nos tokens).
Generalização: O scaffolding pode melhorar a generalização em cenários OOD específicos (ex: mudanças de profundidade de busca em autodestilação), sugerindo que reter um rastro parcial ajuda o modelo a navegar em espaços de busca complexos melhor do que um modelo totalmente internalizado ou um rastro completo em certos contextos.

Os autores concluem que, embora a internalização total seja um objetivo atraente para eficiência, a abordagem de sufixo- $\alpha$ oferece uma alternativa prática e ajustável que mantém alto desempenho com latência reduzida.