📊 statistics

Continuous Diffusion Scales Competitively with Discrete Diffusion for Language

Autores originais: Zhihan Yang, Wei Guo, Shuibai Zhang, Subham Sekhar Sahoo, Yongxin Chen, Arash Vahdat, Morteza Mardani, John Thickstun

Publicado 2026-05-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhihan Yang, Wei Guo, Shuibai Zhang, Subham Sekhar Sahoo, Yongxin Chen, Arash Vahdat, Morteza Mardani, John Thickstun

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: Duas Maneiras de Escrever com IA

Imagine que você quer ensinar um robô a escrever uma história. Existem duas maneiras principais de fazer isso:

O Jeito "Autorregressivo" (O Escritor Serial): É assim que a maioria das IAs atuais (como a com quem você está falando agora) funciona. Ela escreve uma palavra de cada vez, como uma pessoa digitando uma frase. Ela conhece a primeira palavra, depois adivinha a segunda, depois a terceira. É muito rápido e preciso, mas precisa fazer isso palavra por palavra, o que pode ser lento para textos longos.
O Jeito "Difusão" (O Escultor): Este é um método mais novo e na moda. Imagine um bloco de mármore que inicialmente é apenas uma bagunça de poeira. O trabalho da IA é lentamente remover a poeira, refinando a forma até que uma estátua (uma frase perfeita) surja.
- Difusão Discreta: O escultor remove blocos específicos e distintos (como remover uma palavra inteira de cada vez).
- Difusão Contínua: O escultor alisa a superfície continuamente, como lixar uma pedra áspera até que fique perfeita. Este método é teoricamente mais suave e permite edições mais criativas, mas, até agora, acreditava-se que era muito mais lento e menos eficiente do que o "Escritor Serial".

O Problema: O "Bump de Velocidade"

Por muito tempo, os pesquisadores acreditaram que o método de Difusão Contínua (o escultor suave) estava fundamentalmente quebrado para tarefas de linguagem em grande escala. Eles pensavam que exigia 64 vezes mais poder de computação do que o "Escritor Serial" padrão apenas para obter a mesma qualidade de escrita. Por causa desse "bump de velocidade", todos assumiram que a difusão contínua nunca conseguiria escalar para construir modelos de IA massivos e poderosos.

A Solução: RePlaid (O Escultor "Re-ajustado")

Os autores deste artigo decidiram testar essa crença. Eles pegaram um modelo de difusão contínua existente chamado Plaid e deram a ele um grande makeover, renomeando-o para RePlaid.

Pense no Plaid como uma ferramenta de escultura antiga e levemente enferrujada. Ela tinha a ideia certa, mas não foi construída com as ferramentas modernas que os "Escritores Serial" estavam usando. Os autores não inventaram uma nova ferramenta; eles apenas re-alinharam a antiga. Eles:

Trocaram as engrenagens internas para corresponder à arquitetura moderna do "Escritor Serial" (usando o mesmo motor "Transformer").
Corrigiram a maneira como lida com o "ruído" (a poeira) que adiciona ao texto.
Garantiram que a matemática usada para treiná-lo fosse perfeitamente otimizada.

Os Resultados: Fechando a Lacuna

Quando eles testaram o RePlaid contra os melhores "Escritores Serial" e modelos de "Difusão Discreta" usando exatamente as mesmas regras e orçamento:

A Lacuna Encolheu: A lacuna de poder de computação caiu de um enorme 64x para apenas 20x. Embora ainda não seja tão rápido quanto o "Escritor Serial", não é mais "impossível". Agora é competitivo.
Melhor Qualidade: O RePlaid alcançou um novo recorde para a melhor qualidade de escrita (medida por "perplexidade", que é como uma pontuação para o quanto o modelo está confuso) entre todos os modelos de difusão contínua. Na verdade, ele escreveu melhor do que alguns modelos de "Difusão Discreta".
Eficiência: Ele conseguiu fazer isso usando menos parâmetros (o "tamanho do cérebro" do modelo) do que seus concorrentes.

Por Que Funcionou? (O Segredo)

O artigo explica duas razões principais pelas quais esse escultor "re-ajustado" funciona tão bem:

1. A "Dificuldade Uniformemente Distribuída" (O Cronograma de Ruído)
Imagine que você está tentando limpar uma janela suja. Se você tentar esfregar toda a janela de uma vez, pode ficar cansado ou perder pontos.

Jeito Antigo: Alguns modelos tentavam esfregar a janela em um padrão estranho e desigual, tornando algumas partes muito difíceis de limpar e outras fáceis demais.
Jeito do RePlaid: Ao usar um truque matemático específico (otimizando o "cronograma de ruído"), o RePlaid descobriu naturalmente como espalhar o esforço de limpeza uniformemente por toda a janela. Ele não precisou que um humano lhe dissesse como fazer isso; a matemática da "verossimilhança" (uma medida de quão provável é o texto) forçou-o a encontrar o caminho mais eficiente automaticamente.

2. A "Argila Organizada" (Geometria de Incorporação)
Imagine que a IA está tentando moldar argila em formas.

Jeito Antigo: Alguns modelos tratavam a argila como uma bagunça caótica, onde cada pedaço de argila estava espalhado aleatoriamente. Isso tornava difícil encontrar a forma certa.
Jeito do RePlaid: O RePlaid aprendeu a organizar a argila em pilhas limpas e estruturadas (geometria de baixo posto). Ele aprendeu que certos "pedaços de argila" (palavras) pertencem juntos em padrões específicos. Essa estrutura tornou muito mais fácil para o modelo prever a próxima palavra, levando a uma escrita muito melhor.

A Conclusão

Este artigo desafia a ideia de que a difusão contínua "suave" é muito lenta para grandes modelos de linguagem. Ao simplesmente re-alinhar um modelo existente com os padrões modernos, os autores mostraram que a difusão contínua pode escalar e competir com os melhores modelos que temos hoje.

Eles não apenas criaram um modelo ligeiramente melhor; provaram que o próprio método (difusão contínua) é viável e poderoso, desde que você o ajuste corretamente. É como descobrir que um motor de carro antigo não estava quebrado; ele apenas precisava do combustível certo e de um ajuste para rodar tão rápido quanto um Ferrari.

Resumo Técnico: Difusão Contínua Escala Competitivamente com Difusão Discreta para Linguagem

Declaração do Problema

Embora os modelos de difusão tenham ganhado tração significativa na modelagem de linguagem, a difusão contínua foi historicamente vista como menos escalável do que a difusão discreta e os modelos autoregressivos (AR). Estudos anteriores, especificamente o trabalho original Plaid, relataram uma lacuna computacional substancial (64×) para que a difusão contínua correspondesse à verossimilhança dos modelos AR. Essa disparidade de desempenho levou a uma narrativa predominante de que a difusão contínua é inerentemente não escalável para tarefas de linguagem em grande escala. O desafio central abordado por este artigo é determinar se essa lacuna é uma limitação intrínseca da difusão contínua ou uma consequência de configurações experimentais e análises de escalabilidade incompatíveis.

Metodologia

Os autores introduzem o RePlaid, uma versão revisada do modelo de linguagem de difusão contínua baseado em verossimilhança Plaid (DLM), projetado para alinhar-se estritamente às práticas modernas de DLMs discretos.

1. Alinhamento Arquitetural

Para garantir uma comparação justa, o RePlaid adota a arquitetura exata e os protocolos de treinamento usados pelos modelos discretos mais avançados (MDLM e Duo), conforme definido por Sahoo et al. [51]. As principais características de alinhamento incluem:

Backbone Transformer: Utilização de um Diffusion Transformer (DiT) com atenção bidirecional, RoPE (Embeddings de Posição Rotacionais) e modulação AdaLN-Zero.
Otimização: Hiperparâmetros idênticos (AdamW, cronograma de taxa de aprendizado cosseno, decaimento de peso) e conjunto de dados (SlimPajama) em relação às bases discretas.
Precisão Numérica: Remoção das cabeças de logits FP32-only usadas no Plaid original para eliminar confundidores numéricos.
Embeddings: Manutenção da inovação central do Plaid: embeddings aprendíveis, de baixa dimensionalidade ( $d_e=16$ ) e normalizados por comprimento, que são significativamente mais baratos de computar do que os embeddings one-hot de alta dimensionalidade usados em outros modelos contínuos.

2. Análise Unificada de Escalabilidade

O artigo realiza a primeira análise IsoFLOP comparando DLMs contínuos e discretos. Modelos de tamanhos variados são treinados até orçamentos computacionais fixos ( $C \in \{6 \times 10^{18}, \dots, 1 \times 10^{20}\}$ FLOPs) para identificar tamanhos de modelo ótimos em termos de computação e perdas de validação. Isso permite uma comparação direta das leis de escalabilidade entre RePlaid, MDLM, Duo e bases AR.

3. Investigação Teórica

Os autores analisam o objetivo Limite Inferior da Evidência (ELBO) para entender por que o treinamento baseado em verossimilhança tem sucesso onde métodos heurísticos (como entropia cruzada ou fluxo de correspondência) podem ter dificuldades. Eles investigam:

A relação entre o cronograma de ruído aprendido e a distribuição da dificuldade de remoção de ruído.
As propriedades geométricas dos embeddings de tokens aprendidos sob otimização de verossimilhança versus otimização de entropia cruzada.

Principais Contribuições

1. RePlaid e Avaliação Comparativa

Os autores introduzem o RePlaid, que alcança uma perplexidade (PPL) state-of-the-art de 22,1 no OpenWebText entre DLMs contínuos. Isso supera o Plaid original (24,4), modelos contínuos concorrentes como LangFlow (32,2) e até mesmo supera o modelo discreto Duo (25,2), aproximando-se do desempenho do MDLM (23,1).

2. Leis de Escalabilidade Unificadas

Em um cenário unificado, o RePlaid demonstra que a difusão contínua escala competitivamente com a difusão discreta:

Lacuna Computacional: O RePlaid requer apenas um sobrecusto computacional de 20× em comparação com modelos AR para corresponder à sua perda de validação (reduzido dos 64× citados anteriormente).
Eficiência de Parâmetros: O RePlaid alcança sua fronteira ótima em computação com 3,4× menos parâmetros do que as bases AR e 1,8× menos parâmetros do que MDLM e Duo, enquanto supera a perda do Duo.
Regime de Super-treinamento: No regime de super-treinamento (treinamento além dos orçamentos ótimos em computação), o RePlaid consistentemente supera o MDLM, sugerindo eficiência superior para cenários intensivos em inferência.

3. Insights Teóricos

O artigo fornece explicações teóricas para o sucesso do RePlaid:

Agendamento Automático de Ruído: A otimização do cronograma de ruído para minimizar a variância do ELBO produz naturalmente um cronograma linear de entropia cruzada (perda de informação) ao longo do tempo. Isso distribui uniformemente a dificuldade de remoção de ruído sem exigir reparametrizações de tempo heurísticas usadas em outros trabalhos.
Geometria de Embeddings: A otimização de embeddings via limite de verossimilhança cria geometrias estruturadas e de baixo rank no espaço latente. Em contraste, adicionar termos de entropia cruzada ou usar embeddings fixos interrompe essa estrutura, levando à dispersão de tokens e maior perplexidade. O artigo demonstra que aprender a geometria do embedding é o principal motor dos ganhos de desempenho.

Resultados

Verossimilhança: No OpenWebText, o RePlaid (com auto-condicionamento) alcança uma PPL de 22,1, a melhor entre DLMs contínuos e superior ao Duo (25,2) e LangFlow (32,2).
Qualidade de Geração: Usando amostragem DDPM padrão, o RePlaid gera texto com maior qualidade (menor GenPPL) do que o Duo e outros modelos contínuos em todas as etapas de amostragem.
Compromisso entre Diversidade e Qualidade: O RePlaid mantém uma fronteira favorável GenPPL-entropia. Embora o auto-condicionamento possa levar a menor entropia em etapas de amostragem muito altas, o RePlaid geralmente supera modelos discretos (Duo, MDLM) e outros modelos contínuos (FLM, LangFlow) na métrica MAUVE, que captura tanto qualidade quanto diversidade.
Eficiência de Amostragem: Solucionadores ODE de ordem superior (por exemplo, DPM-Solver++) melhoram a amostragem de baixa etapa, mas convergem para o desempenho do solucionador DDIM de primeira ordem em contagens de etapas altas, onde o amostrador ancestral DDPM performa melhor.

Significado e Alegações

O artigo afirma que a difusão contínua, quando treinada via um objetivo baseado em verossimilhança principiado (ELBO) e alinhada com padrões arquitetônicos modernos, é uma alternativa altamente competitiva e escalável aos DLMs discretos.

Os autores desafiam a narrativa de não escalabilidade inerente ao mostrar que a lacuna computacional de 64× relatada anteriormente foi amplamente um artefato de análises de escalabilidade incompatíveis e configurações subótimas. Ao reduzir a lacuna para 20× e demonstrar eficiência superior de parâmetros, o trabalho sugere que a difusão contínua oferece um caminho viável para geração de texto eficiente, particularmente aproveitando seu potencial para controlabilidade e aceleração via solucionadores ODE.

O artigo reconhece modestamente que uma lacuna computacional de 20× permanece em comparação com modelos AR e identifica embeddings de tokens aprendíveis como o fator crítico para o sucesso do RePlaid. Trabalhos futuros são sugeridos para explorar codificadores contextuais mais ricos e o potencial de escalabilidade em tempo de inferência no espaço latente, mas a contribuição atual está estritamente limitada ao estabelecimento das leis de escalabilidade competitivas e fundamentos teóricos da difusão contínua baseada em verossimilhança.