💬 NLP

How to Train Your Latent Diffusion Language Model Jointly With the Latent Space

Este artigo apresenta o Modelo de Linguagem de Difusão Latente (LDLM), que treina conjuntamente um codificador latente, um modelo de difusão e um decodificador para criar um espaço latente contínuo de alta qualidade, alcançando desempenho superior na geração de texto e velocidades de inferência significativamente mais rápidas em comparação com os modelos de difusão discretos e contínuos existentes.

Autores originais: Viacheslav Meshchaninov, Alexander Shabalin, Egor Chimbulatov, Nikita Gushchin, Ilya Koziev, Alexander Korotin, Dmitry Vetrov

Publicado 2026-05-11

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Viacheslav Meshchaninov, Alexander Shabalin, Egor Chimbulatov, Nikita Gushchin, Ilya Koziev, Alexander Korotin, Dmitry Vetrov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a escrever uma história. O método antigo (chamado "autoregressivo") é como um estudante escrevendo uma frase uma palavra de cada vez, da esquerda para a direita. Se eles cometem um erro no início, não podem voltar e corrigi-lo sem reescrever tudo. Eles também só podem escrever uma palavra de cada vez, o que é lento.

O novo método neste artigo, chamado LDLM, é como um escultor trabalhando em um bloco de mármore. Em vez de esculpir uma palavra de cada vez, o escultor começa com um bloco de pedra áspero e ruidoso (uma versão "ruidosa" da história) e gradualmente remove o ruído para revelar a forma final. Eles podem olhar para todo o bloco de uma só vez e refiná-lo em paralelo, corrigindo erros em qualquer parte da história instantaneamente.

No entanto, há uma pegadinha: para esculpir efetivamente, você precisa do tipo certo de mármore. Se a pedra for muito dura ou muito macia, o escultor não consegue fazer seu trabalho. Em termos de IA, esse "mármore" é chamado de espaço latente — uma representação matemática oculta do texto com a qual o modelo trabalha antes de transformá-lo de volta em palavras.

O Problema: O "Projeto Congelado"

Tentativas anteriores desse método de "escultura" usaram um projeto pré-fabricado para o mármore. Eles pegaram um modelo de linguagem inteligente e pré-treinado (como um dicionário que já sabe como as palavras se encaixam) e o congelaram no lugar. Eles tentaram esculpir o texto usando esse projeto fixo.

Os autores deste artigo perceberam que isso era como tentar esculpir uma estátua usando um projeto feito para um tipo diferente de pedra. O modelo pré-treinado não foi otimizado para o processo de "escultura" (difusão), então os resultados eram desajeitados, lentos ou de baixa qualidade.

A Solução: Treinamento Conjunto (A "Parceria")

Os autores construíram um novo sistema chamado LDLM (Modelo de Linguagem de Difusão Latente). Em vez de usar um projeto congelado, eles criaram uma equipe de três pessoas que aprende junta desde o início:

O Codificador: Um tradutor que transforma palavras em "mármore" (espaço latente).
O Escultor (Modelo de Difusão): A parte que remove o ruído para refinar a história.
O Decodificador: Um tradutor que transforma o mármore refinado de volta em palavras legíveis.

A mágica é que todos os três aprendem juntos. À medida que o Escultor fica melhor em remover ruído, ele diz ao Codificador: "Ei, preciso que o mármore seja moldado desta maneira para funcionar melhor". O Codificador então ajusta sua forma para ajudar o Escultor. É um ciclo de feedback onde toda a equipe evolui para se adaptar perfeitamente umas às outras.

A "Receita" para o Sucesso

Os autores descobriram que apenas juntar esses três não funcionava imediatamente; a equipe discutia e falhava em aprender. Eles tiveram que seguir uma "receita" específica para fazê-los cooperar:

O Aquecimento: No início, eles deixaram o Codificador e o Decodificador praticarem a tradução de palavras sem a interferência do Escultor. Isso dá ao Codificador a chance de construir uma base estável antes que o Escultor comece a tentar moldá-lo. É como deixar um músico afinar seu instrumento antes da banda começar a tocar.
O Truque do "Ruído": Durante o treinamento, eles intencionalmente adicionam um pouco de estática (ruído) à entrada do Decodificador. Isso força o Codificador a ser robusto e armazenar informações de forma eficiente, em vez de depender de sinais perfeitos e frágeis. É como treinar um corredor com uma mochila pesada para que, quando ele correr sem ela, se sinta leve e rápido.
Tempo Inteligente: Eles não treinam o modelo a uma velocidade constante. Eles ajustam quando praticam com base na dificuldade da tarefa naquele momento, garantindo que o modelo aprenda as partes mais difíceis tão bem quanto as partes fáceis.

Os Resultados: Mais Rápido e Mais Inteligente

Quando testaram essa nova equipe em grandes conjuntos de dados de texto (como artigos de notícias e livros):

Qualidade: As histórias geradas foram mais coerentes e diversas do que os métodos anteriores.
Velocidade: Como o modelo trabalha no "mármore" (a matemática oculta) em vez de tentar escolher palavras individuais de um dicionário gigante a cada passo, é 2 a 13 vezes mais rápido que a concorrência.
Eficiência: Alcança um melhor equilíbrio entre escrever texto de alta qualidade e manter o texto variado (não repetitivo).

Resumo

Em resumo, este artigo apresenta uma nova maneira de ensinar IA a escrever, fazendo com que o "tradutor", o "escultor" e o "refinador" aprendam juntos como uma única unidade, em vez de usar uma ferramenta pré-fabricada e congelada. Seguindo uma receita de treinamento específica, eles criaram um sistema que escreve texto melhor, muito mais rápido do que antes.

Resumo Técnico: Como Treinar Seu Modelo de Linguagem de Difusão Latente Conjuntamente com o Espaço Latente

Declaração do Problema

Os modelos autoregressivos dominam atualmente a geração de texto, mas são limitados por sua natureza sequencial da esquerda para a direita, o que impede a geração paralela e a correção de erros anteriores. Os modelos de linguagem de difusão oferecem uma alternativa ao gerar texto por meio de refinamento iterativo em paralelo. No entanto, as abordagens existentes enfrentam obstáculos significativos:

Difusão Discreta: Opera diretamente no espaço de tokens, mas sofre com distribuições conjuntas fatoradas, prevendo tokens independentemente em cada etapa. Isso limita a capacidade de gerar múltiplos tokens simultaneamente, tornando difícil a geração de alta qualidade em poucas etapas.
Difusão Contínua: Opera em um espaço latente, permitindo o refinamento gradual de todas as posições. Embora superior aos métodos discretos, as abordagens contínuas atuais dependem de codificadores pré-treinados congelados (por exemplo, codificadores baseados em Transformer) para construir o espaço latente. Esses codificadores são treinados em tarefas substitutas (como previsão do próximo token) e não são otimizados para as necessidades específicas do processo de remoção de ruído da difusão. Por outro lado, incorporações de tokens rasas (one-hot ou vetores fixos) produzem espaços latentes subótimos, mesmo quando ajustados para difusão.

O desafio central é construir um espaço latente que seja simultaneamente decodificável (pode ser mapeado de volta para tokens) e amigável à difusão (fácil de remover ruído), sem o descompasso causado pela separação do treinamento do codificador do treinamento da difusão.

Metodologia: LDLM

Os autores propõem o Modelo de Linguagem de Difusão Latente (LDLM), um framework onde o codificador latente, o modelo de difusão e o decodificador são treinados conjuntamente. Isso permite que o objetivo de difusão molde diretamente o espaço latente.

Arquitetura

Codificação em Duas Etapas:
- Codificador de Tokens Congelado: Os tokens de entrada $w$ são primeiro processados por um codificador de tokens pré-treinado congelado (GPT-2) para extrair estados ocultos contextuais $h$ .
- Codificador Latente Treinável: Um codificador treinável $E_\theta^z$ mapeia esses estados ocultos $h$ para o espaço latente de difusão $z_0$ . Isso remodela a representação para ser adequada à difusão, mantendo a decodificabilidade.
Decodificação em Duas Etapas:
- Decodificador Latente: Um decodificador treinável $D_\theta^h$ mapeia o latente $z_0$ (perturbado por ruído durante o treinamento) de volta para estados ocultos $\hat{h}$ .
- Decodificador de Tokens: Um decodificador de tokens $D_\theta^w$ converte $\hat{h}$ em tokens $w$ .
Objetivos de Treinamento:
O modelo minimiza uma perda combinada: $L(\theta) = L_{diff} + L_h + L_w$ $L (θ) = L_{d i f f} + L_{h} + L_{w}$ .
- $L_{diff}$ : Perda padrão de difusão contínua (MSE) para recuperar latentes limpos de observações ruidosas.
- $L_h$ (MSE de Estado Oculto): Reconstrói os estados ocultos do codificador congelado $h$ a partir do espaço latente. Crucialmente, isso usa Erro Quadrático Médio (MSE) em vez de Entropia Cruzada (CE).
- $L_w$ (CE de Tokens): Reconstrói tokens a partir dos estados ocultos. Os gradientes são interrompidos nos estados ocultos reconstruídos para evitar afetar o codificador latente.

Receita Chave de Treinamento (A Solução de "Quatro Partes")

Os autores identificam que o treinamento conjunto ingênuo falha (produzindo gerações de baixa diversidade) e propõem uma receita específica para fazê-lo funcionar:

Perda de Decodificador MSE: Diferentemente de trabalhos anteriores que usam Entropia Cruzada, o LDLM usa MSE para reconstruir estados ocultos. A CE força os latentes a serem bem separados para distinguir tokens, o que conflita com a geometria suave necessária para a difusão. O MSE é menos rigoroso, permitindo que latentes estejam próximos se seus estados ocultos subjacentes forem semelhantes, prevenindo o colapso latente enquanto mantém uma variedade suave.
Aquecimento de Difusão para Codificador: No início do treinamento, a perda de reconstrução (que incentiva grandes magnitudes latentes) e a perda de difusão (que incentiva pequenas magnitudes para trivializar a remoção de ruído) puxam o codificador em direções opostas. Os autores implementam um aquecimento onde o gradiente de difusão é escalado por um coeficiente $\gamma(s)$ que começa próximo de 0 e aumenta até 1. Isso permite que o codificador primeiro aprenda um espaço latente decodificável antes que o objetivo de difusão o molde.
Amostragem Adaptativa de Passos de Tempo: Como o espaço latente evolui durante o treinamento, um cronograma de ruído fixo é subótimo. Os autores ajustam dinamicamente a distribuição de amostragem de passos de tempo para garantir que a perda de remoção de ruído cresça linearmente com o passo de tempo, fazendo com que todos os passos de tempo contribuam igualmente para a redução da incerteza.
Ruído de Entrada do Decodificador: Ruído gaussiano ( $\sigma_{dec}\epsilon$ $σ_{d ec} ϵ$ ) é injetado na entrada do decodificador latente durante o treinamento. Isso serve a três propósitos:
- Incentiva o codificador a armazenar informações de forma eficiente (impedindo dimensões não utilizadas de corromper o sinal).
- Atua como aumento de dados, tornando o decodificador robusto a erros de difusão.
- Estabiliza a variância das coordenadas latentes, melhorando a parametrização da difusão.

Resultados

Os autores avaliam o LDLM em OpenWebText (OWT) e LM1B, comparando-o com baselines de difusão state-of-the-art discretas (MDLM, Duo) e contínuas (CANDI, FLM).

Compromisso Qualidade-Diversidade: O LDLM alcança a melhor fronteira de Pareto entre Perplexidade Generativa (Gen. PPL) e Entropia. Ele supera significativamente as baselines em Gen. PPL em níveis de entropia comparáveis, aproximando-se da qualidade de texto real.
Comparação de Espaço Latente: Estudos de ablação mostram que os latentes aprendidos conjuntamente pelo LDLM superam:
- Incorporações rasas (treinadas do zero ou congeladas).
- Incorporações contextuais de codificadores congelados (estilo TEncDM).
- Latentes de autoencoders treinados com objetivos explícitos de suavização (estilo COSMOS).
  Isso confirma que o espaço latente deve ser ajustado especificamente para o objetivo de difusão.
Eficiência Computacional: O LDLM é 2–13× mais rápido que os métodos concorrentes durante a amostragem. Diferentemente de modelos de difusão em nível de token que projetam para o vocabulário a cada etapa, o LDLM opera em um espaço latente de dimensão inferior durante todo o processo de geração, projetando para tokens apenas uma vez no final.

Significado e Alegações

O artigo afirma que aprender conjuntamente o espaço latente é um passo crítico, anteriormente não abordado, para tornar a difusão latente competitiva para geração de texto.

Superando o Treinamento Conjunto Ingênuo: O trabalho demonstra que simplesmente treinar um codificador e um modelo de difusão juntos é insuficiente; técnicas específicas (perda MSE, aquecimento, amostragem adaptativa, ruído do decodificador) são necessárias para estabilizar o treinamento e alcançar alta qualidade.
Superioridade de Latentes Contextuais: Os resultados indicam que informações de sequência de alto nível (capturadas pelo codificador GPT-2 congelado) são essenciais, mas devem ser remodeladas por um codificador treinável especificamente para difusão.
Eficiência: Ao evitar projeções de vocabulário por etapa, o LDLM oferece uma aceleração substancial, abordando um grande gargalo na geração de texto baseada em difusão.

Os autores concluem que moldar o espaço latente diretamente com o objetivo de remoção de ruído é essencial para construir modelos eficazes de difusão de texto latente, alcançando qualidade de geração state-of-the-art enquanto mantém velocidade de inferência superior.