🤖 machine learning

UNIFUSION: Adapting Autoregressive Language Models into Discrete Diffusion under a Unified Reverse-Rate Objective

O artigo propõe o UNIFUSION, um framework unificado que estabelece conexões entre vários objetivos de difusão discreta para permitir a adaptação direta de modelos autorregressivos pré-treinados para difusão de ruído uniforme, alcançando o estado da arte tanto em qualidade generativa quanto em precisão de tarefas de jusante.

Autores originais: Xiaoyi Jiang, Jingyuan Li, Yixuan Jiang, Wei Liu, Yi Zhu, Zuoqiang Shi, Pipi Hu

Publicado 2026-07-28

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Xiaoyi Jiang, Jingyuan Li, Yixuan Jiang, Wei Liu, Yi Zhu, Zuoqiang Shi, Pipi Hu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a escrever histórias. Por muito tempo, a melhor maneira de fazer isso era ensinar o robô a escrever uma palavra de cada vez, da esquerda para a direita, como um humano digitando uma frase. Esse método, chamado de aprendizado "autorregressivo", é ótimo porque é rápido e o robô aprende muitas regras de linguagem. Mas tem um grande defeio: uma vez que o robô escreve uma palavra, ele nunca pode voltar atrás para mudá-la. Se ele cometer um erro na primeira frase, toda a história pode ser arruinada porque ele não consegue editar seu passado.

Recentemente, cientistas tentaram uma abordagem diferente chamada "difusão discreta". Em vez de escrever palavra por palavra, esse método começa com uma frase completa que foi embaralhada ou "corrompida" com ruído, e o robô aprende a limpá-la, consertando uma palavra de cada vez até que a frase fique perfeita. Isso é como pegar um quarto bagunçado e organizá-lo lentamente. O problema é que a maioria desses novos robôs de "limpeza" é treinada do zero, desperdiçando todo o conhecimento de linguagem que os antigos robôs "palavra por palavra" já possuíam. Além disso, muitos desses novos robôs usam um tipo específico de ruído onde escondem palavras atrás de uma "máscara" (como uma caixa preta). Isso significa que o robô só pode consertar as partes escondidas, não as palavras que já estão visíveis. A grande questão era: Podemos pegar um robô "palavra por palavra" inteligente e pré-treinado e transformá-lo instantaneamente em um poderoso robô de "limpeza" que possa consertar qualquer palavra em uma frase, mesmo aquelas que não estão escondidas?

Este artigo, intitulado "Unifusion", diz que sim, e mostra como fazer isso. Os pesquisadores descobriram que, apesar das diferentes fórmulas matemáticas usadas por vários robôs de "limpeza", todos estão secretamente tentando resolver o mesmo problema subjacente: prever a rapidez com que uma palavra deve saltar de um estado para outro. Eles chamam isso de "taxa reversa" (reverse rate). Ao perceberem que todos esses diferentes métodos são apenas falando dialetos diferentes da mesma língua, eles criaram um tradutor universal. Este tradutor permite que eles peguem o conhecimento de um modelo "palavra por palavra" padrão (como o GPT-2) e o adaptem diretamente para um modelo de difusão de "ruído uniforme" (uniform-noise).

A inovação principal é que este novo modelo, o Unifusion, não precisa esconder palavras atrás de máscaras. Em vez disso, ele trata cada palavra da frase como editável, exatamente como você pode editar qualquer palavra em um Google Docs. Os pesquisadores testaram isso pegando duas versões de um modelo pré-treinado (um com 124 milhões de parâmetros e outro com 355 milhões) e treinando-os para serem artistas da "limpeza". Eles descobriram que, conforme davam ao modelo mais tempo para pensar (aumentando o número de etapas de 16 para 256), a qualidade do texto melhorava constantemente.

No máximo de 256 etapas, o modelo menor (Unifusion-S) alcançou uma "perplexidade generativa" (uma medida de quão confuso o modelo fica pelo texto que ele cria) de 97,783, enquanto o modelo maior (Unifusion-M) atingiu 71,516. Mais importante ainda, esses modelos não apenas escreveram textos fluentes; eles também mantiveram uma alta "entropia unigrama", que é uma forma sofisticada de dizer que o texto era diverso e não ficava preso repetindo as mesmas frases ou padrões. De fato, nas 256 etapas, nenhum outro modelo testado do mesmo tamanho foi capaz de superar o Unifusion tanto em fluência quanto em diversidade ao mesmo tempo.

O artigo também mostrou que essa conversão direta funciona melhor do que a antiga maneira de tentar ir de "palavra por palavra" para "difusão mascarada" e depois para "difusão uniforme". Ao pular o intermediário, o Unifusion alcançou a mesma alta qualidade de forma muito mais eficiente. Quando testado em quebra-cabeças de lógica do mundo real e questões de senso comum (como WinoGrande e SIQA), esses novos modelos de difusão superaram todos os outros modelos de difusão de seu tamanho, provando que eles não apenas aprenderam a limpar o ruído, mas também retiveram as habilidades de raciocínio inteligente de seu treinamento original "palavra por palavra".

Em resumo, o Unifusion é como pegar um mestre cuca que está acostumado a cozinhar uma refeição um ingrediente de cada vez e ensiná-lo uma nova técnica onde ele pode provar e ajustar toda a panela de sopa de uma só vez, sem ter que jogar fora seus anos de experiência culinária. O resultado é um modelo que pode gerar um texto que é ao mesmo tempo fluente e criativamente diverso, simplesmente aprendendo a editar a frase inteira de uma vez.

Resumo Técnico: Unifusion

Declaração do Problema

Os métodos existentes para adaptar modelos de linguagem autorregressivos (AR) pré-treinados para difusão discreta dependem tipicamente de uma corrupção por máscara de absorção (absorbing mask corruption). Embora essa escolha se conecte naturalmente ao treinamento AR (já que a decodificação AR é uma ordem específica de revelação de tokens), ela impõe uma limitação significativa: uma vez que um token é revelado, ele não pode ser editado durante o processo de amostragem. Isso frequentemente leva a problemas de geração, como repetição, colapso de template ou a geração de fragmentos sem sentido quando o orçamento de amostragem é aumentado.

Inversamente, a difusão de ruído uniforme (uniform-noise diffusion) substitui os tokens por itens do vocabulário em vez de uma máscara especial, permitindo que todas as posições permaneçam editáveis durante toda a amostragem. Isso oferece o potencial para uma maior diversidade lexical e melhor controle. No entanto, adaptar diretamente checkpoints AR para difusão uniforme tem sido desafiador porque os modelos de difusão discreta existentes (SEDD, MDLM/GIDD, M2S, Neural CTMC) utilizam diferentes parametrizações de predição (por exemplo, scores concretos, tokens limpos, médias posteriores, taxas de saída) e funções de perda distintas. Essas diferenças obscurecem se os métodos aprendem processos reversos fundamentalmente diferentes ou se apenas descrevem o mesmo processo com saídas diferentes, e impedem o reuso direto de saídas AR para kernels uniformes.

Metodologia

1. Unificando a Difusão Discreta no Espaço de Taxa Reversa

Os autores estabelecem uma conexão teórica entre quatro grandes frameworks de difusão discreta: SEDD, MDLM/GIDD, M2S e Neural CTMC.

Objetivo Unificado: Eles demonstram que as perdas condicionais de todos os quatro métodos podem ser expressas como um único objetivo generalizado de Kullback–Leibler (KL) sobre as taxas reversas do modelo. Ao mapear a saída específica de cada método (scores, tokens, médias ou taxas) para as taxas reversas fora da diagonal induzidas, os autores mostram que o alvo de otimização subjacente é idêntico.
Teoremas de Conversão: O artigo deriva conversões matemáticas explícitas para traduzir uma predição de token limpo ( $x_0$ ) para as parametrizações específicas exigidas pelo SEDD, M2S e Neural CTMC. Isso cria uma interface compartilhada onde uma única predição de $x_0$ pode impulsionar qualquer uma dessas parametrizações.
Agnosticismo de Kernel: A distribuição do token limpo $x_\theta(x_0 | x_t, t)$ responde à mesma pergunta, independentemente do kernel de corrupção: "Qual token do vocabulário ocupava esta posição antes da corrupção?". Uma vez predito, o kernel de propagação conhecido (seja de absorção ou uniforme) converte essa predição nas taxas reversas necessárias. Isso preenche a lacuna entre a inicialização AR e a difusão uniforme.

2. A Abordagem Unifusion

Com base nessas conexões teóricas, os autores propõem o Unifusion, uma estratégia simples de pré-treinamento contínuo para adaptar checkpoints do GPT-2 diretamente para a difusão de ruído uniforme, sem uma etapa intermediária de difusão mascarada.

Inicialização: O método aproveita a estrutura inerente dos modelos AR. O seguinte token da distribuição de um checkpoint AR para a posição $i$ dado $x_{<i}$ é deslocado em uma posição para servir como a predição inicial para o token limpo $x_0$ na posição $i$ .
Dinâmica de Treinamento:
- Anelamento de Atenção (Attention Annealing): O modelo transita de uma atenção causal (usada no pré-treinamento AR) para uma atenção totalmente bidirecional sobre os tokens corrompidos visíveis. Isso permite que o modelo abra gradualmente o contexto total durante a otimização.
- Condicionamento de Tempo: Como os checkpoints AR carecem de condicionamento de tempo, o modelo aprende parâmetros dependentes do tempo durante o ajuste fino (fine-tuning), mantendo a inicialização AR para os outros pesos.
- Esquema de Corrupção: O modelo é treinado com um esquema de corrupção uniforme linear ( $\alpha_t = 1-t, \beta_t = t$ ) e um prior uniforme.

Principais Contribuições

Unificação Teórica: O artigo unifica as perdas condicionais de SEDD, MDLM/GIDD, M2S e Neural CTMC no espaço de taxa reversa, provando que são equivalentes sob o mesmo CTMC de propagação e esquema de ruído. Ele fornece fórmulas de conversão explícitas entre predições de tokens limpos e todas as quatro parametrizações.
Adaptação Direta AR-para-Uniforme: Ao usar predições de tokens limpos $x_0$ como uma ponte, os autores permitem a adaptação direta de modelos AR pré-treinados para kernels de difusão de ruído uniforme, contornando a necessidade de checkpoints intermediários de difusão mascarada.
Validação Empírica: O estudo separa a equivalência de espaço de taxa da otimização de orçamento finito, mostrando que, embora a equivalência teórica exista, as trajetórias de treinamento nativas diferem. O Unifusion demonstra que a adaptação direta AR-para-uniforme alcança um desempenho comparável aos caminhos de máscara de dois estágios, mas com trade-offs superiores na qualidade da geração.

Resultados

Os autores avaliaram o Unifusion em modelos de 124M (Unifusion-S) e 355M (Unifusion-M) parâmetros derivados do GPT-2.

Perplexidade Generativa (GenPPL) vs. Entropia: O Unifusion melhora constantemente o equilíbrio entre GenPPL e entropia de unigrama conforme o orçamento de amostragem aumenta de 16 para 256 passos.
- Com 256 passos, o Unifusion-S alcançou um GenPPL de 97,783 com uma entropia de 5,2626.
- Com 256 passos, o Unifusion-M alcançou um GenPPL de 71,516 com uma entropia de 5,6669.
- Nenhum modelo avaliado na mesma escala superou simultaneamente o Unifusion em ambas as métricas. Por exemplo, enquanto alguns baselines alcançaram um GenPPL mais baixo, eles sofreram de uma entropia significativamente menor (indicando repetição ou colapso), enquanto o Unifusion manteve uma alta diversidade lexical.
Precisão em Tarefas de Avaliação (Downstream Accuracy): Os modelos Unifusion alcançaram a maior precisão zero-shot entre os modelos de difusão comparados em WinoGrande, SIQA e BBH, superando suas inicializações GPT-2 e outros baselines de difusão como DiffuGPT e SEDD.
Eficiência de Amostragem: O ponto de 64 passos do Unifusion-M já domina o Pareto em relação ao ponto de 256 passos do DiffGPT-M, sugerindo alta eficiência no orçamento de amostragem.

Significância e Alegações

O artigo afirma que o Unifusion aborda com sucesso a "questão em aberto" de como chegar a um modelo de difusão de ruído uniforme diretamente de um checkpoint AR. Ao unificar o cenário teórico da difusão discreta e aproveitar a interface de token limpo, os autores demonstram que:

A difusão uniforme pode herdar a inicialização AR efetivamente sem uma etapa intermediária de máscara.
A adaptação direta produz um equilíbrio superior entre fluência (baixo GenPPL) e diversidade (alta entropia) em comparação com métodos existentes.
A equivalência teórica de diferentes perdas de difusão discreta permite escolhas de implementação flexíveis, mantendo um objetivo de otimização consistente no espaço de taxa reversa.

O trabalho sugere que a escolha do kernel de corrupção (máscara vs. uniforme) é uma decisão de design crítica que impacta a qualidade da geração, e que os kernels uniformes, quando adequadamente adaptados de modelos AR, oferecem um processo de geração mais robusto que evita os problemas de repetição comuns na difusão mascarada.