💬 NLP

Data-Efficient Autoregressive-to-Diffusion Language Models via On-Policy Distillation

Este artigo apresenta o OPDLM, um framework de eficiência de dados que transforma modelos de linguagem autorregressivos em modelos de linguagem de difusão via destilação on-policy, eliminando efetivamente o descompasso entre treinamento e inferência e preservando o conhecimento prévio ao reduzir os requisitos de tokens de treinamento em até 7.000x.

Autores originais: Xingyu Su, Jacob Helwig, Shubham Parashar, Atharv Chagi, Lakshmi Jotsna, Degui Zhi, James Caverlee, Dileep Kalathil, Shuiwang Ji

Publicado 2026-06-08

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Xingyu Su, Jacob Helwig, Shubham Parashar, Atharv Chagi, Lakshmi Jotsna, Degui Zhi, James Caverlee, Dileep Kalathil, Shuiwang Ji

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um chef brilhante e de classe mundial (o Modelo Autoregressivo, ou ARLM) que passou anos aperfeiçoando seu ofício cozinhando um prato de cada vez, passo a passo, sempre olhando para o que acabou de colocar na panela para decidir o próximo ingrediente. Este chef é incrivelmente rápido e sabe muito, mas ele só sabe cozinhar em linha reta.

Agora, imagine que você quer que este chef aprenda um novo estilo de cozinha revolucionário chamado Difusão (o Modelo de Linguagem de Difusão, ou DLM). Neste novo estilo, em vez de cozinhar passo a passo, o chef começa com uma tigela de ingredientes aleatórios e irreconhecíveis (uma sequência "mascarada") e os refina gradualmente em uma refeição perfeita de uma só vez. Este novo estilo é ótimo porque ele pode adivinhar vários ingredientes ao mesmo tempo, podendo cozinhar muito mais rápido.

O Problema: A Lacuna de "Tradução"
O artigo explica que as tentativas anteriores de transformar o chef passo a passo no chef "de uma só vez" tiveram dois grandes problemas:

A Perda de Memória: Quando você força o chef a parar de cozinhar passo a passo e começar a adivinhar o prato inteiro de uma vez, eles tendem a esquecer os milhares de receitas que aprenderam durante seus anos de treinamento. É como dizer a um mestre pianista para de repente tocar de olhos fechados e em um tom diferente; ele pode perder o seu toque.
O Descompasso entre Prática e Performance: No método antigo, o chef praticava jogando ingredientes aleatoriamente em uma tigela e tentando consertá-los (mascaramento aleatório). Mas no mundo real (inferência), o chef na verdade refina o prato com base em quão confiante ele está em seus palpites. A prática não correspondia à performance, então o chef estava sempre um pouco enferrujado quando importava.

A Solução: OPDLM (O Mentor "On-Policy")
Os autores introduzem um novo método chamado OPDLM (Modelo de Linguagem de Difusão On-Policy). Pense nisso como um campo de treinamento inteligente que resolve ambos os problemas usando uma técnica chamada Destilação On-Policy.

Veja como funciona, usando uma analogia simples:

O Estudante e o Professor: O "Estudante" é o novo chef de Difusão. O "Professor" é o chef passo a passo original, congelado (que é mantido em uma vitrine, inalterado).
O Toque "On-Policy": Em vez de praticar em tigelas de ingredientes aleatórias e bagunçadas (o jeito antigo), o chef Estudante tem permissão para cozinhar uma refeição completa usando seu próprio novo estilo "de uma só vez". Eles geram seu próprio caminho de uma tigela bagunçada até um prato finalizado.
A Destilação: Assim que o estudante termina uma refeição, o professor congelado olha para aquela mesma refeição específica e diz: "Se eu tivesse cozinhado este prato específico, aqui está exatamente o que eu teria dito para cada ingrediente que faltava".
O Aprendizado: O Estudante compara seu palpite com a resposta do Professor e aprende com ela.

Por que Isso é um Diferencial
Porque o Estudante pratica em refeições que eles mesmos geram (correspondendo à performance real) e é corrigido pelo especialista original, eles não esquecem seu conhecimento antigo e aprendem muito mais rápido.

O artigo afirma que este método é incrivelmente eficiente:

Economia de Dados: Requer de 15 a 7.000 vezes menos exemplos de treinamento do que os métodos anteriores. Se outros métodos precisassem ler uma biblioteca de um bilhão de livros para aprender, este método pode precisar de apenas algumas dezenas.
Sem Custo de "Pré-treinamento": Você não precisa treinar um novo chef de Difusão do zero (o que é caro e lento). Você apenas pega um especialista existente, dá a ele este treinamento específico e ele se transforma.
Mantendo a Magia: O novo modelo mantém as habilidades de "pensamento" e "multilinguismo" do chef original, mesmo que isso não tenha sido explicitamente ensinado durante a transformação. É como se o chef naturalmente lembrasse de falar francês ou resolver enigmas complexos porque o treinamento preservou seu cérebro original.

O Resultado
O artigo mostra que este novo chef "OPDLM" desempenha tão bem quanto os melhores chefs existentes em tarefas de matemática, programação e conhecimentos gerais, mas chegou lá com uma fração minúscula do esforço e dos dados. Ele transforma o difícil processo de mudar o "cérebro" de um modelo em um upgrade de pós-treinamento simples e eficiente.

Resumo Técnico: Modelos de Linguagem de Difusão de Eficiência de Dados via Destilação On-Policy

1. Declaração do Problema

O artigo aborda os desafios inerentes à transformação de Modelos de Linguagem Autoregressivos (ARLMs) pré-treinados em Modelos de Linguagem de Difusão (DLMs). Embora trabalhos recentes tenham tentado converter ARLMs em DLMs substituindo a atenção causal por atenção bidirecional e retreinando com um objetivo de difusão, os autores identificam dois "desvios de distribuição" críticos que limitam a eficiência de treinamento e o desempenho:

Descompasso de Retenção de Conhecimento: A transição de um objetivo de previsão de próximo token (ARLM) para um objetivo de difusão (DLM) pode enfraquecer ou descartar o conhecimento substancial adquirido durante o pré-treinamento original do ARLM.
Descompasso de Estado Treino-Inferência: Os DLMs padrão são treinados em sequências corrompidas por mascaramento aleatório uniforme (processo de propagação direta/forward). No entanto, durante a inferência, o modelo gera sequências via trajetórias de desmascaramento reverso guiadas por heurísticas de decodificação baseadas em confiança. Os estados encontrados durante a inferência diferem significancialmente dos estados aleatórios vistos durante o treinamento, levando a um aprendizado subótimo.

Os métodos de conversão existentes frequentemente tratam isso como uma continuação do pré-treinamento, falhando em abordar explicitamente esses descompassos ou exigindo conjuntos de dados proibitivamente grandes (trilhões de tokens) para pré-treinar DLMs do zero.

2. Metodologia: Modelos de Linguagem de Difusão On-Policy (OPDLM)

Os autores propõem o OPDLM, um framework que converte ARLMs em DLMs usando Destilação On-Policy (OPD). Esta abordagem reformula a conversão como um problema de pós-treinamento, em vez de um problema de pré-treinamento.

Mecanismo Central

O OPDLM emprega uma estratégia de "auto-OPD" onde o modelo estudante gera seus próprios dados de treinamento, e o ARLM original atua como um professor congelado.

Modelo Estudante: Um checkpoint de ARLM modificado para usar atenção causal por blocos (bidirecional), inicializado a partir dos pesos do ARLM original.
Modelo Professor: O ARLM original, congelado.
Trajetória de Treinamento (On-Policy): Em vez de amostrar máscaras aleatórias de um conjunto de dados limpo, o estudante DLM amostra suas próprias trajetórias de decodificação reversa ( $\tau \sim \Gamma^{rev}_{\theta}$ ). Essas trajetórias representam os estados reais que o modelo encontra durante a inferência.
Objetivo de Destilação:
- De uma trajetória reversa amostrada, um estado parcialmente denoisado $x_t$ é selecionado.
- Para cada posição de token mascarado $i$ em um bloco, a distribuição preditiva do estudante $p_{\theta}$ é treinada para corresponder à distribuição do professor.
- Crucialmente, a distribuição do professor é condicionada ao prefixo causal não mascarado da sequência terminal $x_0$ (a saída final gerada dessa trajetória). Especificamente, o alvo é $p_{ARLM}(\cdot | x_{<b}^0, x_{<i}^0)$ .
- A perda é uma divergência de Kullback-Leibler (KL) entre a distribuição de nível de token do professor e a distribuição do estudante nas posições mascaradas.

Aprendizado de Currículo (Curriculum Learning)

Para lidar com a instabilidade imediatamente após a conversão (onde o estudante pode gerar trajetórias de baixa qualidade devido à mudança estrutural de atenção causal para atenção por blocos), os autores introduzem um Currículo de Comprimento de Rollout. O comprimento da geração on-policy é aumentado progressivamente de um mínimo ( $L_{min}$ ) para um máximo ( $L_{max}$ ) ao longo das etapas de warmup, garantindo que o estudante aprenda a corresponder ao professor em contextos coerentes antes de enfrentar sequências mais longas.

3. Principais Contribuições

Formulação de ARLM-para-DLM como Pós-Treinamento: O artigo demonstra que DLMs podem ser obtidos sem a etapa computacionalmente intensiva de pré-treinamento do zero, posicionando a conversão como um procedimento de pós-treinamento eficiente.
Resolução de Desvios de Distribuição: Ao treinar nas próprias trajetórias reversas do estudante (on-policy), o OPDLM elimina o descompasso de estado treino-inferência. Ao usar o ARLM original como professor, ele garante a retenção de conhecimento.
Eficiência de Dados Extrema: O método alcança um desempenho competitivo usando de 15× a 7.000× menos tokens de treinamento do que as linhas de base estabelecidas de DLM (ex: LLaDA, Dream, SDAR).
Aplicabilidade Geral e Específica de Tarefa: O framework mostra-se capaz de produzir tanto DLMs de propósito geral quanto modelos especializados em tarefas (ex: matemática) sem exigir um estágio de pré-treinamento de DLM separado.

4. Resultados Experimentais

Os autores avaliaram o OPDLM (escalas de 4B e 8B) contra baselines como LLaDA, Dream, SDAR e Fast-dLLM-v2 em benchmarks de conhecimento geral, matemática e codificação.

Desempenho vs. Eficiência: O OPDLM-8B alcançou resultados fortes em benchmarks como AIME-24 (14,7% de acurácia) e GPQA-Diamond (36,1%) enquanto exigiu apenas 0,066 bilhões de tokens de treinamento e 4,2 × 10¹⁸ FLOPs. Em contraste, os baselines exigiram centenas de bilhões de tokens (ex: LLaDA-8B usou 1.500B de tokens).
Estudos de Ablação:
- On-Policy vs. Off-Policy: Substituir a amostragem de trajetória on-policy pelo mascaramento aleatório padrão (Off-Policy) resultou em quedas consistentes de desempenho, confirmando que o treinamento nos próprios estados de inferência do modelo é o principal motor do sucesso.
- Retenção de Conhecimento: O OPDLM reteve capacidades zero-shot que não foram explicitamente visadas durante a conversão, incluindo raciocínio estendido (raciocínio dentro de tags <thought>) e geração multilíngue, apesar de ter sido treinado em um corpus curado em inglês.
Eficiência de Inferência: Os modelos suportam decodificação de múltiplos tokens. Ao ajustar o limiar de confiança de decodificação e o tamanho do bloco, os autores demonstraram um trade-off onde o throughput pode exceder 2–3 tokens por passo com custos moderados de acurácia.
Adaptação Específica de Tarefa: Quando treinado estritamente em dados de matemática (dataset MATH), o OPDLM-MATH superou os baselines padrão de DLM e igualou modelos especializados treinados por RL (TraDo) sem exigir um DLM pré-treinado ou reforço com recompensas verificáveis.

5. Significância e Alegações

O artigo afirma que o OPDLM estabelece uma nova fronteira de Pareto para a eficiência do treinamento de DLM. Ao alavancar a destilação on-policy, os autores argumentam que a conversão de ARLMs para modelos de difusão pode ser alcançada com recursos computacionais mínimos, tornando a geração de texto baseada em difusão acessível sem o "custo proibitivo" de pré-treinar do zero.

Os autores enfatizam que esta abordagem permite que a comunidade adapte futuros ARLMs em modelos de difusão de forma eficiente, preservando o rico conhecimento dos modelos originais enquanto se ganha os benefícios da decodificação paralela da difusão. O trabalho é apresentado como um caminho prático para reduzir a lacuna entre a maturidade dos modelos autoregressivos e as potenciais vantagens dos modelos de difusão.