💬 NLP

Efficient-DLM: From Autoregressive to Diffusion Language Models, and Beyond in Speed

Este artigo apresenta o Efficient-DLM, um framework que converte modelos autoregressivos pré-treinados em modelos de linguagem de difusão altamente eficientes ao empregar um padrão de atenção por blocos e mascaramento de tokens dependente da posição, alcançando assim precisão e rendimento superiores em comparação com os modelos mais avançados.

Autores originais: Yonggan Fu, Lexington Whalen, Zhifan Ye, Xin Dong, Shizhe Diao, Jingyu Liu, Chengyue Wu, Hao Zhang, Enze Xie, Song Han, Maksim Khadkevich, Jan Kautz, Yingyan Celine Lin, Pavlo Molchanov

Publicado 2026-05-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yonggan Fu, Lexington Whalen, Zhifan Ye, Xin Dong, Shizhe Diao, Jingyu Liu, Chengyue Wu, Hao Zhang, Enze Xie, Song Han, Maksim Khadkevich, Jan Kautz, Yingyan Celine Lin, Pavlo Molchanov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: O Engarrafamento vs. A Rodovia

Imagine duas maneiras de escrever uma história:

O Jeito Antigo (Autoregressivo/AR): Isso é como uma estrada de pista única. Você escreve uma palavra, depois a próxima, e então a seguinte. Você não pode escrever a segunda palavra até que a primeira esteja terminada. É muito preciso, mas é lento porque você tem que esperar na fila para cada palavra individual.
O Jeito Novo (Difusão/DLM): Isso é como uma rodovia de múltiplas pistas. Você pode escrever muitas palavras ao mesmo tempo (em paralelo). Deveria ser muito mais rápido. No entanto, no passado, essas "rodovias" eram irregulares, confusas e frequentemente produziam histórias de qualidade inferior à da estrada de pista única. Elas também eram muito caras para construir (treinar).

O Problema: Os cientistas queriam a velocidade da rodovia com a qualidade da estrada de pista única, mas não conseguiam descobrir como construí-la sem começar do zero (o que custaria uma fortuna).

A Solução: Os autores deste artigo descobriram como pegar um modelo existente de "pista única" de alta qualidade e transformá-lo em um modelo de "rodovia" que é ao mesmo tempo rápido e preciso. Eles chamam essa nova família de modelos de Efficient-DLM.

Como Eles Fizeram Isso: Três Truques Chave

O artigo identifica três "regras" principais que eles tiveram que seguir para fazer essa transformação funcionar.

1. A Regra do "Contexto Limpo" (O Jeito dos Blocos)

O Erro Antigo: Tentativas anteriores tentavam deixar o modelo olhar para a frase inteira de uma vez, até mesmo as partes que ainda estavam bagunçadas ou faltando. Imagine tentar resolver um quebra-cabeça onde metade das peças está faltando, e você é permitido olhar para os espaços vazios como se estivessem preenchidos. Isso confundia o modelo e fazia com que ele esquecesse o que havia aprendido antes.
A Correção: Os autores decidiram quebrar a frase em pequenos blocos (como capítulos em um livro).
- O modelo olha para os capítulos anteriores, que já estão terminados e limpos.
- Ele apenas tenta corrigir o capítulo atual, que está bagunçado.
- Analogia: Pense nisso como uma equipe de construção. Eles não tentam consertar o prédio inteiro de uma vez. Eles terminam a fundação e o primeiro andar (contexto limpo) antes de subir para consertar o segundo andar (o bloco bagunçado). Isso mantém a estrutura estável e permite que eles usem um "atalho" (chamado de cache KV) para lembrar o que já construíram, tornando o processo muito mais rápido.

2. A Regra do "Sem Deslocamento de Token" (Pare de Adivinhar o Próximo Passo)

O Erro Antigo: Ao converter o modelo antigo, os pesquisadores costumavam fazer o modelo adivinhar a próxima palavra, assim como o antigo modelo de pista única fazia.
A Correção: Os autores descobriram que o modelo não precisa adivinhar a palavra "seguinte". Ele apenas precisa corrigir as palavras faltantes bem na sua frente.
Analogia: Imagine que você está editando um documento.
- Jeito Antigo: Você lê uma frase, depois tenta prever a próxima frase antes mesmo de terminar de editar a atual.
- Jeito Novo: Você apenas se concentra em preencher os espaços em branco no parágrafo atual. Acontece que corrigir os espaços em branco é mais fácil e preciso do que tentar prever o futuro.

3. A Regra do "Mascaramento Dependente de Posição" (O Viés da Esquerda para a Direita)

O Problema: Quando o modelo estava sendo treinado, ele costumava esconder palavras aleatoriamente (como escolher números da loteria). Mas quando o modelo é realmente usado (inferência), ele naturalmente tende a terminar palavras da esquerda para a direita, assim como os humanos leem. Isso criou uma incompatibilidade: o treinamento não se parecia com o teste real.
A Correção: Os autores mudaram o treinamento para que o modelo seja mais propenso a esconder palavras no final de um bloco, em vez do início.
Analogia: Imagine um professor corrigindo uma prova.
- Treinamento Antigo: O professor cobre perguntas aleatórias na página.
- Treinamento Novo: O professor percebe que os alunos geralmente ficam presos nas últimas poucas perguntas de uma seção. Então, o professor pratica especificamente cobrir o final da seção. Isso prepara o modelo para o mundo real, onde ele tem que terminar a frase da esquerda para a direita.

Os Resultados: Velocidade e Inteligência

Seguindo essas regras, os autores criaram a família Efficient-DLM (tamanhos 1,5B, 4B e 8B).

Velocidade: Eles são significativamente mais rápidos do que os melhores modelos existentes. Por exemplo, o modelo 8B deles é 4,5 vezes mais rápido do que um concorrente chamado "Dream" e 2,7 vezes mais rápido do que "Qwen3 4B".
Precisão: Apesar de serem mais rápidos, eles são na verdade mais precisos em tarefas de matemática, codificação e raciocínio do que os modelos que venceram.
Flexibilidade: Como eles podem gerar várias palavras de uma vez, você pode ajustá-los. Se você precisa de velocidade, gera muitas palavras de uma vez. Se precisa de precisão extrema, gera menos palavras de uma vez. É como ter um carro que pode mudar instantaneamente entre o "Modo Corrida" e o "Modo Cruzeiro".

Resumo

O artigo diz: "Pegamos um modelo lento e preciso e ensinamos ele a rodar em uma rodovia. Fizemos isso organizando o trabalho em blocos limpos, impedindo-o de adivinhar o futuro e treinando-o para focar no final das frases. O resultado é uma família de modelos que é ao mesmo tempo mais rápida e mais inteligente do que o estado atual da arte."

Eles também notaram que, como esses modelos podem olhar para o texto em ambas as direções (bidirecionais), eles são surpreendentemente bons em entender o "significado" do texto para tarefas de busca e incorporação (embedding), superando os modelos antigos de direção única.

1. Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) Autoregressivos (AR) alcancem a precisão mais avançada (state-of-the-art), eles sofrem com um gargalo de decodificação sequencial (gerando um token por vez), o que limita a vazão e a utilização de hardware, especialmente em cenários com restrições de memória.

Os Modelos de Linguagem Difusivos (dLMs) oferecem uma alternativa promissora ao permitir a geração paralela e não autoregressiva por meio de remoção iterativa de ruído. No entanto, os dLMs existentes enfrentam dois desafios críticos:

Eficiência de Treinamento: Treinar dLMs do zero é proibitivamente caro, pois eles devem aprender todas as permutações possíveis de tokens, ao passo que os modelos AR aprendem apenas dependências da esquerda para a direita.
Lacuna de Desempenho: Ao converter modelos AR pré-treinados em dLMs, os métodos existentes (frequentemente usando atenção totalmente bidirecional) sofrem quedas significativas de precisão e não aproveitam totalmente o cache de Chave-Valor (KV), resultando em velocidades de inferência mais lentas do que os modelos AR na prática.

A questão central abordada por este trabalho é: Como podemos converter eficientemente modelos AR pré-treinados em dLMs que preservem alta precisão em tarefas enquanto alcançam velocidades de geração paralela significativamente mais rápidas?

2. Metodologia: O Framework Efficient-DLM

Os autores propõem uma abordagem sistemática para converter modelos AR pré-treinados em dLMs eficientes por meio de Pré-treinamento Contínuo. Sua metodologia foca em três pilares principais:

A. Otimização do Padrão de Atenção

O artigo identifica que o padrão de atenção é o fator mais crítico na conversão de AR para dLM.

Limitação da Atenção Totalmente Bidirecional: Os métodos existentes corrompem toda a sequência e permitem que todos os tokens atendam uns aos outros. Isso causa grandes desvios de pesos do modelo AR original, quebra a causalidade e complica o cache KV.
Solução Proposta: Atenção por Blocos com Contexto Limpo:
- Causalidade por Blocos: A sequência é dividida em blocos. A atenção é causal entre blocos (um bloco atende apenas a blocos anteriores) mas bidirecional dentro de um bloco.
- Condicionamento com Contexto Limpo: Durante o treinamento, um bloco ruidoso é condicionado ao contexto limpo (totalmente decodificado) de todos os blocos precedentes, em vez de um contexto corrompido.
- Benefício: Este design imita o processo de inferência no momento do teste (onde blocos anteriores estão totalmente decodificados), minimiza o desvio de pesos do modelo AR pré-treinado e permite o cache KV nativo.

B. Mascaramento de Tokens Dependente de Posição

Os autores identificam uma lacuna entre treinamento e teste nas estratégias de mascaramento de tokens.

A Lacuna: Os dLMs existentes usam mascaramento uniforme (mascarando tokens aleatoriamente independentemente da posição). No entanto, durante a inferência com amostragem baseada em confiança, a remoção de ruído exibe naturalmente uma tendência da esquerda para a direita (os tokens são decodificados sequencialmente da esquerda para a direita à medida que a confiança aumenta).
Solução Proposta: Uma estratégia de mascaramento dependente de posição onde a probabilidade de mascarar um token aumenta à medida que a posição do token se move para o final do bloco (especialmente em níveis baixos de ruído).
- Isso é controlado por um hiperparâmetro $\beta$ (ou razão de meia-vida $\lambda$ ).
- Objetivo: Forçar o modelo a aprender os casos "mais difíceis" (tokens posteriores em um bloco) de forma mais eficaz durante o treinamento, alinhando a distribuição de treinamento com o comportamento de inferência.

C. Dinâmica de Treinamento e Deslocamento de Token

Deslocamento de Token (Token Shift): O artigo descobre que o mecanismo de "deslocamento de token" (prever o próximo token em vez do próprio token mascarado, comum em algumas conversões de AR para dLM) é desnecessário e potencialmente prejudicial. Sua remoção melhora a precisão.
Orçamento de Treinamento: Embora o treinamento de baixo custo (~~10B de tokens) recupere a maior parte da precisão AR, o treinamento estendido (~~100B+ de tokens) melhora significativamente a estimativa de verossimilhança, permitindo decodificação paralela mais agressiva (maior vazão) sem sacrificar a precisão.

3. Contribuições Principais

Família de Modelos Efficient-DLM: O lançamento de uma nova família de modelos (1.5B, 4B, 8B) convertidos a partir dos modelos AR Qwen2.5 e Qwen3, que superam tanto as bases AR quanto dLM de última geração (SOTA).
Atenção por Blocos com Contexto Limpo: Um esquema de treinamento inovador que preserva as distribuições de pesos AR e permite o cache KV, resolvendo o compromisso entre precisão e eficiência.
Mascaramento Dependente de Posição: Uma estratégia para fechar a lacuna entre treinamento e inferência, impulsionando significativamente o desempenho sob configurações agressivas de decodificação paralela.
Análise Abrangente: Estudos sistemáticos sobre tamanhos de blocos, padrões de atenção e dinâmicas de treinamento, fornecendo diretrizes acionáveis para a comunidade.

4. Resultados Experimentais

Os modelos Efficient-DLM foram testados contra modelos AR de última geração (Qwen3, Llama3.2) e dLMs (Dream, LLaDA) em 12 tarefas (Matemática, Codificação, Raciocínio, etc.).

Precisão vs. Vazão:
- O Efficient-DLM 8B alcança +5,4% de precisão superior ao Dream 7B com 4,5× maior vazão.
- Comparado ao Qwen3 4B, o Efficient-DLM 8B alcança +2,7% de precisão superior com 2,7× maior vazão.
- Supera o Qwen3 8B em precisão enquanto oferece vazão significativamente melhor.
Flexibilidade: Um único modelo Efficient-DLM pode equilibrar dinamicamente precisão e velocidade ajustando o limiar de confiança durante a inferência, oferecendo uma solução "um para todos" para diferentes cenários de implantação.
Embeddings de Texto: Devido à sua natureza bidirecional, os Efficient-DLMs superam significativamente os modelos AR do mesmo tamanho em tarefas de embedding de texto (benchmark MTEB), mostrando uma melhoria média de ~7-10%.
Estudos de Ablação:
- A troca de atenção bidirecional para atenção por blocos com contexto limpo melhorou a precisão média em ~19%.
- A adição de mascaramento dependente de posição melhorou a precisão em ~2,6% sob decodificação paralela agressiva.

5. Significado e Impacto

Mudança de Paradigma: Este trabalho demonstra que os dLMs podem ser mais rápidos e mais precisos do que os modelos AR se o processo de conversão for otimizado corretamente. Desafia a noção de que os dLMs são inerentemente mais lentos ou menos precisos.
Implantação Prática: Ao permitir o cache KV e a decodificação paralela, os Efficient-DLMs tornam a inferência de LLM de alta vazão viável em hardware limitado, abordando um grande gargalo em aplicações do mundo real.
Escalabilidade: As descobertas fornecem uma receita escalável para converter modelos AR massivos existentes (como Qwen, Llama) em dLMs eficientes sem a necessidade de treinamento do zero, reduzindo drasticamente o custo de adoção da geração baseada em difusão.
Direções Futuras: O artigo sugere que os dLMs não são apenas alternativas para geração, mas candidatos superiores para tarefas que exigem contexto bidirecional (como embeddings) e planejamento.

Em resumo, o Efficient-DLM estabelece um novo estado da arte para modelos de linguagem difusivos, resolvendo os gargalos de eficiência e precisão por meio de um design arquitetônico cuidadoso (atenção por blocos) e alinhamento de estratégia de treinamento (mascaramento dependente de posição).