💬 NLP

Beyond Masks: Efficient, Flexible Diffusion Language Models via Deletion-Insertion Processes

Este artigo apresenta os Modelos de Difusão de Deleção-Inserção (DID), uma abordagem que substitui o paradigma de mascaramento dos modelos atuais por processos de deleção e inserção para melhorar a eficiência computacional, suportar nativamente sequências de comprimento variável e incorporar um mecanismo intrínseco de auto-correção durante a geração.

Autores originais: Fangyu Ding, Ding Ding, Sijin Chen, Kaibo Wang, Peng Xu, Zijin Feng, Haoli Bai, Kai Han, Youliang Yan, Binhang Yuan, Jiacheng Sun

Publicado 2026-03-26

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Fangyu Ding, Ding Ding, Sijin Chen, Kaibo Wang, Peng Xu, Zijin Feng, Haoli Bai, Kai Han, Youliang Yan, Binhang Yuan, Jiacheng Sun

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando escrever uma história, mas em vez de começar do zero e escrever palavra por palavra da esquerda para a direita (como fazemos normalmente), você começa com uma folha de papel em branco e vai inserindo palavras nela, uma a uma, no lugar certo, até a frase ficar completa.

É exatamente assim que funciona o novo modelo de Inteligência Artificial apresentado neste artigo, chamado DID (Modelos de Linguagem de Difusão por Deleção e Inserção).

Aqui está uma explicação simples, usando analogias do dia a dia:

1. O Problema dos Modelos Antigos (Os "Máscaras")

Os modelos de linguagem de difusão anteriores (chamados MDLMs) funcionavam como um jogo de "Preencha as Lacunas".

Como funcionava: Eles pegavam uma frase inteira e escondiam (mascaram) metade das palavras, deixando espaços em branco com um sinal de "MÁSCARA". O computador tentava adivinhar o que estava escondido.
O problema: Para fazer isso, o computador tinha que olhar para todas as palavras, inclusive as que já estavam escondidas e não faziam sentido naquele momento. Era como tentar resolver um quebra-cabeça olhando para todas as peças, inclusive as que já estavam viradas para baixo e não serviam para nada. Isso gastava muita energia e tempo. Além disso, se a frase fosse curta, eles tinham que forçá-la a ter o mesmo tamanho de uma frase longa, preenchendo o resto com "espaços vazios" (chamados de PAD), o que era um desperdício total.

2. A Solução do DID: O "Jardineiro de Palavras"

O novo modelo DID muda a lógica. Em vez de esconder palavras, ele apaga e insere.

O Processo de Apagar (Treinamento): Imagine que você tem uma frase bonita. O modelo "apaga" as palavras uma por uma, como se estivesse podando um jardim, até que sobe apenas uma semente (o início da frase). Ele aprende como a frase foi construída ao ver o que foi removido.
O Processo de Inserir (Geração): Quando o modelo vai criar uma nova história, ele começa com nada (apenas a semente). Ele não preenche espaços vazios; ele planta palavras novas nos lugares certos.
- Analogia: Pense em construir uma casa. Os modelos antigos tentavam colocar tijolos em todos os lugares de uma vez e depois consertavam os erros. O DID começa com o terreno vazio e coloca um tijolo, depois outro, ajustando a posição se necessário, até a casa ficar pronta.

3. Por que é mais rápido e inteligente?

Sem Desperdício de Energia: Como o DID não precisa olhar para palavras que ainda não existem ou para espaços vazios inúteis, ele economiza muita energia. É como dirigir um carro que só gasta gasolina quando o motor está realmente acelerando, e não quando está parado no sinal vermelho.
Flexibilidade Natural: Se você quer escrever uma frase curta ou um livro inteiro, o DID se adapta. Ele não precisa forçar a frase a ter um tamanho fixo. É como ter uma fita métrica elástica que se estica ou encolhe conforme a necessidade, em vez de ter que cortar ou colar pedaços de fita para caber em um quadro fixo.
Correção de Erros (O "Auto-Correção"): Se o modelo coloca uma palavra errada no começo, ele não fica preso a ela. Como ele trabalha por inserção, ele pode "plantar" uma nova palavra entre as existentes para corrigir o fluxo da frase. É como se você estivesse escrevendo um texto e pudesse inserir uma vírgula ou uma palavra no meio da frase para fazer sentido, sem precisar apagar tudo e começar de novo.

4. O Resultado na Prática

Os testes mostraram que esse novo método:

É mais rápido: Gera textos em menos tempo (até 3 vezes mais rápido em alguns casos).
É mais barato: Consome menos poder de computação.
É mais flexível: Cria textos de tamanhos variados com muita qualidade, sem precisar de "ajustes" manuais.

Resumo da Ópera:
Enquanto os modelos antigos tentavam adivinhar o que estava escondido em um quadro cheio de máscaras, o DID é como um jardineiro habilidoso que começa com a terra vazia e planta as palavras certas, no lugar certo, criando uma história natural, eficiente e sem desperdício.

Título: Além das Máscaras: Modelos de Linguagem de Difusão Eficientes e Flexíveis via Processos de Deleção-Insersão (DID)

1. O Problema

Os Modelos de Linguagem de Difusão (DLMs), especificamente os Modelos de Linguagem de Difusão Mascarada (MDLMs), têm surgido como uma alternativa poderosa aos modelos autoregressivos (AR), oferecendo modelagem de contexto bidirecional e potencial para decodificação paralela. No entanto, os MDLMs atuais enfrentam limitações fundamentais:

Ineficiência Computacional: Os MDLMs dependem de um processo de "mascaramento" (substituição de tokens por <MASK>) e "desmascaramento". Durante o treinamento e a inferência, o modelo processa repetidamente tokens <MASK> que não contêm informação, desperdiçando cerca de metade das operações de ponto flutuante (FLOPs).
Inflexibilidade em Comprimento Variável: Para lidar com sequências de tamanhos variados, os MDLMs exigem preenchimento (padding) até um comprimento fixo máximo usando tokens <PAD>. Isso introduz ainda mais tokens não informativos, aumentando o custo computacional sem benefício, e impede que a geração de sequências curtas seja mais rápida.
Falta de Flexibilidade na Geração: Uma vez que um token é "desmascarado" em um MDLM, sua posição e conteúdo tornam-se fixos. Isso limita a capacidade de correção automática de erros (semelhante aos modelos AR) e dificulta a modelagem natural de comprimentos variáveis.

2. Metodologia: DID (Deletion-Insertion Diffusion)

Os autores propõem o DID, um novo paradigma de difusão discreta que substitui o mascaramento/desmascaramento por processos de deleção e inserção.

Processo Forward (Deleção)

Em vez de mascarar tokens, o processo forward deleta tokens da sequência original progressivamente até que a sequência fique vazia (exceto por um token especial <BOS> não deletável).
Isso é modelado como uma Cadeia de Markov Contínua (CTMC) onde cada token tem uma taxa de deleção independente $\sigma(t)$ .
A probabilidade de transição é derivada matematicamente baseada na contagem de subsequências distintas, eliminando a necessidade de tokens <MASK> ou <PAD>.

Processo Backward (Inserção)

A geração começa a partir de uma sequência vazia (apenas <BOS>) e insere tokens iterativamente até reconstruir a sequência completa.
Score de Inserção: Os autores definem um "score de inserção" $\bar{s}(x_t, t)[i, v]$ , que modela a probabilidade de inserir um token $v$ na posição $i$ da sequência atual $x_t$ no tempo $t$ .
Diferente dos MDLMs, a inserção permite ajustar dinamicamente a posição dos tokens, permitindo um mecanismo intrínseco de correção automática (self-correction) durante a geração.

Objetivo de Treinamento: DISE e DICE

Para treinar o modelo, os autores derivam um objetivo baseado em pontuação (score-based) chamado Denoising Insertion Score Entropy (DISE).
O objetivo DISE envolve calcular a razão entre o número de ocorrências de subsequências antes e depois de uma inserção. Calcular isso diretamente é computacionalmente proibitivo ( $O(mn^2V)$ ).
Solução Eficiente: Eles desenvolvem um algoritmo de Programação Dinâmica (DP) paralelizada que calcula todas as razões de contagem de subsequências necessárias em tempo linear $O(mn)$, tornando o treinamento viável.
Otimização para Comprimento Fixo: Para cenários de comprimento fixo (comparação justa com MDLMs), eles derivam uma simplificação chamada Denoising Insertion Cross Entropy (DICE), que remove a dependência do tempo $t$ e normaliza as saídas, reduzindo ainda mais a complexidade e melhorando a parametrização.

3. Principais Contribuições

Novo Paradigma de Difusão: Proposição do DID, que elimina completamente o uso de tokens <MASK> e <PAD>, substituindo-os por processos de deleção e inserção rigorosamente formulados no framework de difusão contínua.
Objetivo de Treinamento Inovador: Desenvolvimento do objetivo DISE (e sua versão simplificada DICE) e a derivação de um algoritmo de programação dinâmica paralelo eficiente para resolver problemas de contagem de subsequências, permitindo o aprendizado escalável do processo de inserção.
Flexibilidade Nativa: Suporte nativo a sequências de comprimento variável sem necessidade de preenchimento (padding), permitindo que o modelo aprenda a distribuição real de comprimentos dos dados.
Mecanismo de Correção: A natureza baseada em inserção permite que o modelo ajuste a posição dos tokens durante a geração, oferecendo uma capacidade intrínseca de correção de erros que os modelos baseados em mascaramento não possuem.

4. Resultados Experimentais

Os experimentos foram conduzidos em configurações de comprimento fixo (OpenWebText) e variável (Stories), comparando o DID com baselines fortes (RADD, um MDLM, e ILM, um modelo baseado em inserção não-difusão).

Eficiência Computacional:
- Treinamento: O DID acelerou o treinamento em até 1.99x (comprimento fixo) e 3.42x (comprimento variável) em comparação com o RADD.
- Inferência: O DID foi até 1.58x (fixo) e 3.79x (variável) mais rápido na inferência.
- A eliminação de tokens <MASK> e <PAD> reduziu drasticamente o custo de FLOPs, permitindo que o modelo gerasse sequências curtas muito mais rápido.
Desempenho de Modelagem:
- Compressão de Perplexidade (Zero-shot): Em benchmarks de linguagem fixa, o DID (ajustado por FLOPs) superou consistentemente o RADD em múltiplos conjuntos de dados (WikiText, Lambada, Arxiv, etc.).
- Qualidade de Geração: O DID alcançou perplexidade de geração (PPL) inferior e maior diversidade (entropia unigrama) em comparação com os baselines, especialmente em poucos passos de amostragem.
- Modelagem de Comprimento: No cenário de comprimento variável, o DID demonstrou uma distribuição de comprimento de geração muito mais alinhada com os dados reais (verificado por CDFs), superando o RADD (que tende a gerar sequências longas devido ao padding) e o ILM.
Estabilidade: O DID mostrou maior estabilidade e convergência em diferentes números de passos de denoising, sem a necessidade de ajuste fino de hiperparâmetros.

5. Significância e Impacto

Este trabalho representa um avanço significativo na área de Modelos de Linguagem de Difusão (DLMs):

Quebra de Paradigma: Demonstra que a dependência de tokens de mascaramento (<MASK>) não é necessária para a difusão discreta, propondo uma abordagem mais natural e eficiente baseada em operações de edição (deleção/insersão).
Eficiência Prática: Ao eliminar o desperdício computacional de tokens não informativos, o DID torna os DLMs viáveis para aplicações em larga escala e em tempo real, onde a latência e o custo de computação são críticos.
Flexibilidade: A capacidade de lidar nativamente com comprimentos variáveis e corrigir erros de geração dinamicamente posiciona o DID como uma arquitetura superior para tarefas que exigem adaptação estrutural, como geração de código, resumo e diálogo, superando as limitações rígidas dos modelos autoregressivos e dos MDLMs atuais.

Em resumo, o DID oferece uma via teoricamente fundamentada e empiricamente superior para a próxima geração de modelos de linguagem difusivos, combinando a flexibilidade da geração não-autoregressiva com a eficiência computacional necessária para aplicações práticas.