💻 computer science

Distribution-Aligned Sequence Distillation for Superior Long-CoT Reasoning

Este artigo apresenta o DASD-4B-Thinking, um modelo de raciocínio leve e de código aberto que alcança o estado da arte em desempenho ao abordar limitações críticas na destilação atual em nível de sequência por meio de um novo pipeline de treinamento que alinha melhor as distribuições professor-aluno e mitiga o viés de exposição, tudo isso utilizando significativamente menos amostras de treinamento.

Autores originais: Shaotian Yan, Kaiyuan Liu, Chen Shen, Bing Wang, Sinan Fan, Jun Zhang, Yue Wu, Zheng Wang, Jieping Ye

Publicado 2026-01-15

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Shaotian Yan, Kaiyuan Liu, Chen Shen, Bing Wang, Sinan Fan, Jun Zhang, Yue Wu, Zheng Wang, Jieping Ye

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um professor brilhante e de classe mundial (o Professor) que consegue resolver problemas matemáticos incrivelmente difíceis, escrever códigos complexos e responder a perguntas científicas complicadas. Agora, imagine que você tem um aluno pequeno, mas brilhante (o Aluno) que quer aprender com o professor, mas não possui o mesmo poder cerebral ou memória.

O objetivo deste artigo é ensinar o pequeno aluno a pensar como o grande professor, mesmo sendo muito menor. A equipe da Alibaba Cloud criou uma nova maneira de fazer isso chamada DASD-4B-Thinking.

Aqui está como eles fizeram isso, explicado através de analogias simples:

O Jeito Antigo: Apenas Copiando o Dever de Casa

Anteriormente, os pesquisadores tentavam ensinar o aluno dando a eles as respostas prontas do dever de casa do professor. O aluno apenas memorizava essas respostas.

O Problema: Às vezes, as respostas do professor eram perfeitas demais e raras, e às vezes eram bagunçadas. Se o aluno apenas escolhesse aleatoriamente o dever de casa para copiar, ele poderia perder as lições mais importantes ou se confundir com as bagunçadas. Além disso, o aluno só aprendia a copiar quando o professor estava parado logo ao lado dele (olhando para a resposta), mas no mundo real, o aluno tem que resolver problemas sozinho. Isso é como um aluno que só consegue escrever uma redação se o professor sussurrar a próxima palavra para ele; quando tentam escrever sozinhos, eles travam.

O Novo Jeito: Um Campo de Treinamento Mais Inteligente

Os autores perceberam que precisavam de um plano de treinamento melhor. Eles introduziram três principais "superpoderes" para corrigir os problemas antigos:

1. A Estratégia de "Aquecimento" e "Sprint" (Aprendizado com Programação de Temperatura)

Imagine que o professor está dando uma aula.

O Erro Antigo: O professor às vezes dava à classe respostas muito fáceis e óbvias, e outras vezes dava respostas selvagens, confusas ou raras. O aluno ficava confuso tentando aprender com as selvagens antes de entender o básico.
A Nova Correção: A equipe criou um cronograma de duas etapas.
- Etapa 1 (Aquecimento): Primeiro, eles deram ao aluno as respostas mais claras e confiantes do professor (temperatura baixa). Isso ajudou o aluno a construir uma base sólida e aprender os padrões básicos rapidamente.
- Etapa 2 (Sprint): Uma vez que o aluno estivesse confiante, eles introduziram respostas mais diversas e complicadas (temperatura alta). Isso expôs o aluno a uma variedade mais ampla de estilos de resolução de problemas, tornando-o mais flexível e robusto.
- Resultado: O aluno aprendeu o básico primeiro e depois expandiu seus horizontes, em vez de ficar sobrecarregado imediatamente.

2. O Filtro "Encontre a Diferença" (Amostragem Consciente de Divergência)

Quando o professor e o aluno olham para um problema, eles às vezes pensam de forma diferente.

O Erro Antigo: O aluno era forçado a copiar todas as respostas que o professor dava, mesmo que o aluno já estivesse confiante de uma maneira diferente (errada). Isso confundia o cério do aluno.
A Nova Correção: A equipe construiu um filtro que olha para as respostas e pergunta: "Onde o professor acha que esta é uma ótima ideia, mas o aluno acha que é uma ideia ruim?"
- Eles focaram o treinamento nesses momentos específicos. Estas são as lições de "alto valor", onde o aluno tem mais probabilidade de aprender algo novo e corrigir seus erros.
- Eles ignoraram as respostas onde o aluno e o professor já concordavam (porque o aluno já sabia aquilo) ou onde o aluno estava confiantemente errado de uma forma que não poderia ser corrigida facilmente.
- Resultado: O aluno gastou seu tempo de estudo apenas nas lições que realmente precisavam ser aprendidas, tornando seu tempo de estudo muito mais eficiente.

3. O Treino de "Simulação" (Destilação de Política Mista)

Isso corrige o problema do aluno precisar que o professor sussurre a próxima palavra.

O Erro Antigo: O aluno praticava copiando as respostas completas do professor. Mas, no teste real, o professor não está lá. O aluno começava a escrever, travava e então entrava em pânico porque nunca tinha praticado terminar uma frase sozinho.
A Nova Correção: Eles criaram um "treino de simulação".
- Eles deixaram o aluno tentar resolver um problema por conta própria.
- Se o aluno começasse a sair do caminho ou travasse, eles paravam o aluno no meio da frase.
- Então, o professor entrava para terminar a frase corretamente.
- O aluno então aprendia com essa resposta "metade escrita, metade corrigida".
- Resultado: O aluno aprendeu como se recuperar de seus próprios erros e terminar o trabalho sem ajuda, tornando-se muito mais confiável no mundo real.

Os Resultados Incríveis

Ao usar este campo de treinamento inteligente, a equipe criou um modelo minúsculo (apenas 4 Bilhões de parâmetros, o que é muito pequeno no mundo da IA) que pode pensar tão bem quanto, ou até melhor que, modelos muito maiores (alguns com 32 Bilhões de parâmetros).

Eficiência: Eles alcançaram esses resultados usando apenas 448.000 exemplos de treinamento. Outras equipes costumam usar milhões ou até dezenas de milhões de exemplos para obter resultados semelhantes. É como obter um doutorado com uma fração do tempo de estudo.
Desempenho: Em competições matemáticas difíceis (como a AIME), desafios de codificação e questões científicas, este modelo pequeno venceu muitos dos "gigantes" na área.

Resumo

O artigo mostra que você não precisa de uma quantidade massiva de dados ou de um computador gigante para criar uma IA inteligente. Em vez disso, você precisa de uma maneira mais inteligente de ensinar. Ao ensinar o aluno em etapas, focando nas lições certas e praticando como terminar tarefas por conta própria, uma pequena IA pode se tornar uma campeã de raciocínio.

A equipe compartilhou seu "livro didático" (o conjunto de dados) e o "aluno graduado" (o modelo) com o mundo para que outros possam aprender com seu método.

Resumo Técnico: Destilação de Sequência Alinhada à Distribuição para Raciocínio Superior de Longo CoT

1. Declaração do Problema

O artigo aborda as limitações do paradigma atual predominante para aumentar as capacidades de raciocínio em pequenos modelos de linguagem: a Destilação de Nível de Sequência via Ajuste Fino Supervisionado (SFT) em respostas geradas pelo professor. Embora trabalhos recentes (por exemplo, a destilação do DeepSeek-R1) tenham demonstrado que o SFT em saídas de alta qualidade de professores pode gerar um forte desempenho de raciocínio, os autores argumentam que essa abordagem é fundamentalmente baseada em uma perspectiva de SFT, em vez dos princípios centrais da destilação de conhecimento.

Os autores identificam três limitações críticas nas práticas existentes:

Representação Inadequada da Distribuição do Professor: Os métodos atuais frequentemente dependem de amostragem aleatória com filtragem heurística, o que falha em cobrir adequadamente todo o suporte da distribuição de saída de sequência do professor. Isso leva a uma cobertura de modo deficiente ou à inclusão de sequências ruidosas e de baixa probabilidade que são difíceis de serem aprendidas por modelos estudantes menores.
Desalinhamento da Capacidade de Aprendizado: O SFT padrão aumenta a probabilidade de tokens de verdade fundamental (ground-truth), mas pode gerar gradientes enganosos. Especificamente, se um estudante atribui alta probabilidade a um token que o professor atribui baixa probabilidade, o SFT empurra o estudante para mais longe da distribuição do professor. Os métodos existentes carecem de um mecanismo para identificar distribuições alvo que se alinhem melhor com a capacidade de aprendizado do estudante.
Viés de Exposição (Exposure Bias): Modelos treinados com teacher forcing (expostos a prefixos do professor) sofrem de desvios distributivos durante a inferência autorregressiva, onde devem depender de suas próprias previsões. Esse descompasso leva ao acúmulo de erros e desvios compostos, particularmente em tarefas de raciocínio de Cadeia de Pensamento (CoT) longa.

2. Metodologia

Os autores propõem o DASD (Destilação de Sequência Alinhada à Distribuição), um pipeline de treinamento projetado para impor explicitamente a interação professor-estudante e abordar as três limitações acima. O pipeline consiste em três inovações principais:

A. Aprendizado com Escalonamento de Temperatura

Para abordar o equilíbrio entre estabilidade de aprendizado e cobertura de distribuição, os autores propõem um cronograma de treinamento de dois estágios:

Estágio 1 (Temperatura Baixa): O estudante é primeiro treinado em amostras de alta confiança e baixa temperatura (ex: $T=0.6$ ). Essas amostras exibem padrões consistentes e permitem uma convergência rápida e estável.
Estágio 2 (Temperatura Alta): O treinamento continua com amostras de alta temperatura (ex: $T=1.0$ ). Embora essas amostras sejam mais difíceis de aprender devido à maior diversidade e ruído, elas cobrem uma gama mais ampla dos modos de saída do professor.
Racional: Este currículo "fácil-para-difícil" (ou recuo de temperatura reverso) permite que o estudante primeiro compreenda padrões consistentes antes de tentar aprender a informação latente mais rica e diversa presente na distribuição total do professor.

B. Amostragem Consciente de Divergência (DAS)

Para identificar uma distribuição de nível de sequência que suporte um aprendizado eficaz, os autores introduzem um framework de decomposição de distribuição. Eles analisam as discrepâncias de probabilidade entre o professor ( $p_T$ ), o estudante pré-destilação ( $p_S$ ) e o estudante pós-destilação ( $p_D$ ) através de segmentos de nível de sentença das respostas.

Classificação: As respostas são categorizadas em quatro tipos: Sentenças do Professor ( $p_T \gg p_S$ ), Sentenças do Estudante ( $p_S \gg p_T$ ), Sentenças Compartilhadas (probabilidades similares) e Sentenças Impulsionadas (similaridade em $p_T, p_S$ , mas com $p_D$ superior).
Estratégia de Seleção: A análise empírica revela que as Sentenças do Professor (onde o professor atribui alta confiança e o estudante atribui baixa probabilidade) correlacionam-se mais fortemente com a melhoria do desempenho no conjunto de teste. Esses instantes fornecem gradientes claros e não enganosos.
Implementação: A estratégia de amostragem prioriza exemplos ricos em Sentenças do Professor. Diferente da destilação de logits, este método requer apenas probabilidades de nível de token do professor e do estudante, tornando-o compatível com modelos que possuem diferentes tokenizadores e arquiteturas.

C. Destilação de Política Mista

Para mitigar o viés de exposição, os autores introduzem um estágio leve de política mista após o SFT off-policy inicial:

Processo: O modelo estudante treinado gera respostas para um subconjunto de questões de treinamento. Para respostas que divergem significamente do professor (ex: truncadas ou incorretas), a geração do estudante é truncada em um ponto aleatório, e o modelo professor é solicitado a completar a sequência.
Treinamento: Apenas as continuações do professor que passam pelos filtros de qualidade são retidas para o ajuste fino. Isso cria um conjunto de dados híbrido contendo tanto prefixos forçados pelo professor quanto prefixos gerados pelo estudante, permitindo que o modelo aprenda a corrigir seus próprios erros e reduzindo o desvio distributivo entre o treinamento e a inferência.

3. Principais Contribuições

Modelo DASD-4B-Thinking: Um modelo de raciocínio de 4 bilhões de parâmetros totalmente open-source que alcança desempenho de estado da arte (SOTA) entre modelos de escala comparável.
Inovações Metodológicas: A proposta de um pipeline de três componentes (Aprendizado com Escalonamento de Temperatura, Amostragem Consciente de Divergência e Destilação de Política Mista) que redefine a destilação de nível de sequência ao focar no alinhamento de distribuição em vez de simples SFT.
Eficiência de Dados: O modelo alcança seu desempenho usando apenas 448K amostras de treinamento, um fator de ordem menor do que a maioria dos esforços open-source existentes (que frequentemente utilizam milhões de amostras).
Validação de Cross-Arquitetura: O pipeline é demonstrado como eficaz através de diversas famílias de modelos (ex: destilando de gpt-oss-120b para Qwen3-4B) e escalas (validado em uma variante 30B MoE, DASD-30B-A3B-Thinking-Preview).

4. Resultados Experimentais

O modelo foi avaliado em cinco benchmarks desafiadores: AIME24, AIME25, LiveCodeBench (v5/v6) e GPQA-Diamond.

Raciocínio Matemático: O DASD-4B-Thinking alcançou 88.5 no AIME24 e 83.3 no AIME25. Esses escores superam modelos significativamente maiores, incluindo o Qwen3-32B de escala 32B (81.4/72.9) e o GLM-Z1-32B (80.8/63.6), bem como o DeepSeek-R1-0528-Qwen3-8B de 8B (86.0/76.3).
Geração de Código: No LiveCodeBench v5, o modelo pontuou 69.3, superando o Qwen3-32B (65.7) e o NVIDIA-OpenReasoning-Nemotron-7B (63.9).
Raciocínio Científico: No GPQA-Diamond, alcançou 68.4, igualando o desempenho do Qwen3-32B de 32B e aproximando-se do NVIDIA-Nemotron-Ultra-253B (76.0).
Estudos de Ablação: Os resultados confirmam que cada componente contribui incrementalmente. O treinamento de baixa temperatura estabelece uma base sólida, o treinamento de alta temperatura expande a capacidade, e a destilação de política mista fornece robustez final contra o viés de exposição.

5. Significância e Alegações

O artigo afirma que o DASD-4B-Thinking demonstra que capacidades de raciocínio complexo podem ser transferidas eficientemente de grandes modelos professores para estudantes leves através de um pipeline de destilação refinado. Os autores enfatizam que sua abordagem:

Redefine a Destilação: Move-se além da "perspectiva de SFT" para abordar explicitamente o princípio central da destilação — aprender a distribuição total de saída do professor.
Desafia as Leis de Escala (Scaling Laws): Alcança um desempenho comparável ou superior a modelos de 8 a 60 vezes maiores, sugerindo que a qualidade dos dados e a estratégia de destilação são mais críticas do que a mera contagem de parâmetros para tarefas de raciocínio.
Promove a Reprodutibilidade: Ao abrir o código do modelo, o conjunto de dados de treinamento e a metodologia, os autores visam fomentar a pesquisa comunitária em modelos de raciocínio eficientes e transparentes.

Os autores concluem que seu trabalho fornece uma nova perspectiva para o desenvolvimento de modelos de raciocínio compactos e de alto desempenho, embora reconheçam que trabalhos futuros são necessários para refinar ainda mais o reponderamento consciente da distribuição e integrar capacidades agênticas.