💬 NLP

Esoteric Language Models: A Family of Any-Order Diffusion LLMs

Este artigo introduz os Eso-LMs, uma nova família de modelos de linguagem de difusão que fundem os paradigmas autorregressivo e de difusão mascarada usando atenção causal para permitir o cache de KV e a geração paralela, estabelecendo assim um novo estado da arte na fronteira de Pareto entre velocidade e qualidade para geração incondicional.

Autores originais: Subham Sekhar Sahoo, Zhihan Yang, Yash Akhauri, Johnna Liu, Deepansha Singh, Zhoujun Cheng, Zhengzhong Liu, Eric Xing, John Thickstun, Arash Vahdat

Publicado 2026-06-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Subham Sekhar Sahoo, Zhihan Yang, Yash Akhauri, Johnna Liu, Deepansha Singh, Zhoujun Cheng, Zhengzhong Liu, Eric Xing, John Thickstun, Arash Vahdat

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando escrever uma história, mas tem duas maneiras muito diferentes de fazer isso.

O Jeito Antigo (Modelos Autoregressivos):
Pense nisso como escrever uma frase uma palavra por vez, da esquerda para a direita. Você escreve "O", depois pensa no que vem a seguir, escreve "gato", depois "sentou", e assim por diante. Isso é muito preciso e de alta qualidade, mas é lento porque você não pode escrever a próxima palavra até ter terminado a anterior. É como uma única pessoa digitando em um teclado; ela não consegue digitar duas teclas ao mesmo tempo.

O Jeito "Difusão" (Modelos de Difusão Mascarados):
Agora, imagine que você tem uma página em branco onde cada palavra está escondida atrás de uma máscara (como um "____"). Em vez de escrever uma palavra de cada vez, você adivinha muitas das palavras escondidas ao mesmo tempo. Você pode adivinhar a primeira, a terceira e a quinta palavras simultaneamente. Então, você verifica seus palpites, corrige os errados e adivinha novamente. Isso é muito mais rápido porque você está trabalhando na página inteira de uma só vez. No entanto, como você está adivinhando muitas coisas ao mesmo tempo sem verificar seu trabalho anterior, às vezes você comete erros, e a história final pode não ser tão perfeita quanto a do "Jeito Antigo". Além disso, até agora, este método era ineficiente porque toda vez que você fazia um palpite, tinha que reler a página inteira do zero, mesmo as partes que você já tinha resolvido.

A Nova Solução: "Esoteric Language Models" (Eso-LMs)

Os pesquisadores neste artigo criaram um novo método chamado Eso-LMs (Esoteric Language Models). Eles o chamam de "Esotérico" porque é um pouco incomum e explora os limites estranhos entre essas duas formas de escrever.

Pense nos Eso-LMs como uma equipe híbrida que obtém o melhor dos dois mundos:

A Fase de "Palpites em Grupo": Primeiro, o modelo age como o método de Difusão. Ele olha para a página inteira e adivinha um monte de palavras ao mesmo tempo. Isso é rápido e cobre muito terreno rapidamente.
A Fase de "Polimento": Assim que o grupo faz um bom começo, o modelo muda para o "Jeito Antigo" (palavra por palavra) para preencher os espaços restantes.

Por que isso é um grande feito?

O artigo afirma três grandes avanços:

1. O "Banco de Memória" (KV Caching)
No antigo método de Difusão, toda vez que o modelo adivinhava uma palavra, ele tinha que reler a história inteira desde o início, mesmo as partes que já havia resolvido. Era como um estudante lendo um livro inteiro toda vez que queria verificar um fato.
O Eso-LMs introduz um "Banco de Memória" (chamado de KV Caching). Uma vez que uma palavra é decifrada, o modelo a salva em sua memória. Quando ele precisa adivinhar a próxima palavra, ele apenas consulta seu banco de memória em vez de reler o livro inteiro.

O Resultado: O modelo agora é de 14 a 65 vezes mais rápido do que o antigo método de Difusão para histórias longas, e de 3 a 4 vezes mais rápido do que o método de "bloco" anterior.

2. O Equilíbrio Perfeito (A "Fronteira de Pareto")
Geralmente, você tem que escolher entre velocidade e qualidade. Se você quer rapidez, fica bagunçado. Se você quer perfeição, é lento.
O Eso-LMs cria uma escala deslizante suave. Você pode dizer ao modelo: "Eu quero 80% de velocidade e 20% de perfeição", ou "Eu quero 20% de velocidade e 80% de perfeição".

O Resultado: Ele atinge um novo "Estado da Arte". Ele não fica apenas no meio; ele supera os métodos anteriores em todas as configurações de velocidade. Mesmo quando roda muito rápido, não produz textos sem sentido (um problema que o método de "bloco" anterior tinha).

3. Calculando a "Pontuação Real"
Em aprendizado de máquina, é difícil saber exatamente o quão "bom" um modelo de Difusão é, porque a matemática costuma ser complexa demais para ser resolvida exatamente.
Como o Eso-LMs usa um tipo específico de atenção (uma forma de o modelo olhar para as palavras), os pesquisadores descobriram uma maneira de calcular a pontuação exata (verossimilhança) do modelo pela primeira vez.

O Resultado: Isso permite um melhor treinamento e teste, e abre as portas para o uso de técnicas avançadas (como Aprendizado por Reforço) para tornar esses modelos ainda mais inteligentes.

Em Resumo

O artigo apresenta uma nova maneira de gerar texto que combina a velocidade de adivinhar muitas palavras ao mesmo tempo com a precisão de escrevê-las uma por uma. Ao adicionar um "banco de memória" ao método rápido, eles o tornaram incrivelmente eficiente, resolvendo o problema de velocidade que travava os modelos de Difusão há muito tempo. Eles o chamam de "Esotérico" porque é uma mistura inteligente e ligeiramente não convencional de duas filosofias diferentes que funciona melhor do que qualquer uma delas isoladamente.

Resumo Técnico: Modelos de Linguagem Esotéricos (Eso-LMs)

Declaração do Problema

Os Modelos de Linguagem de Difusão (MDMs) oferecem uma alternativa atraente aos modelos Autorregressivos (AR) ao permitir a geração paralela e controlável. No entanto, os MDMs existentes enfrentam duas limitações críticas:

Eficiência de Inferência: Apesar das capacidades de geração paralela, os MDMs são significativamente mais lentos que os modelos AR na prática devido à falta de cache de KV. Os MDMs padrão usam atenção bidirecional, o que impede o reuso dos estados de chave-valor durante o processo de denoising.
Qualidade de Geração: Os MDMs geralmente exibem perplexidade mais alta (pior verossimilhança) do que os modelos AR em tarefas de linguagem complexas.
Limitações de Abordagens de Interpolação: Tentativas recentes de preencher essa lacuna, como o Block Diffusion (BD3-LMs), que realiza a difusão sobre blocos de comprimento fixo sequencialmente, sofrem de degradação da qualidade da amostra em baixos passos de amostragem (baixos NFEs) e oferecem apenas um cache de KV incompleto (cache entre blocos, mas não dentro deles).

Metodologia

Os autores propõem os Modelos de Linguagem Esotéricos (Eso-LMs), um framework híbrido que funde os paradigmas Autorregressivo (AR) e de Difusão Mascarada (MDM). A inovação central reside em tratar o processo de geração como uma interpolação suave entre a difusão total e a autorregressão total, governada por um parâmetro $\alpha_0$ (a fração esperada de tokens gerados via difusão).

1. Processo Generativo Híbrido

Os Eso-LMs decompõem o processo generativo em duas fases:

Fase de Difusão: Um componente MDM gera uma sequência parcialmente mascarada em paralelo.
Fase Sequencial: Um componente AR preenche os tokens de máscara restantes sequencialmente da esquerda para a direita.
O modelo é treinado com uma perda híbrida que combina objetivos AR e MDM, permitindo que ele interpole entre as perplexidades dos dois paradigmas.

2. Mecanismo de Atenção & Cache de KV

Para suportar ambos os estilos de geração dentro de um único transformer, os autores introduzem uma matriz de viés de atenção flexível.

Atenção Causal: Ao contrário dos MDMs anteriores que usam atenção bidirecional, os Eso-LMs empregam atenção causal (esquerda para a direita).
Estratégia de Embaralhamento: Durante o treinamento para a fase de difusão, a sequência de entrada é embaralhada de modo que os tokens limpos precedam os tokens mascarados. Isso permite que o modelo use atenção causal padrão enquanto ainda aprende a prever tokens em uma ordem aleatória (Any-Order AR).
Cache de KV Exato: Ao impor a atenção causal, o modelo pode fazer o cache de chaves e valores para os tokens conforme eles são denoisados. Os autores implementam um cronograma de denoising unificado que restringe as passagens forward apenas aos tokens limpos e ao conjunto atual de tokens de máscara a serem atualizados, eliminando computação redundante e permitindo o cache de KV exato pela primeira vez em MDMs.

3. Estimativa de Verossimilhança Tratável

Uma contribuição teórica significativa é a derivação da primeira fórmula de verossimilhança (assintoticamente) exata para MDMs.

Ao aproveitar a conexão entre MDMs e modelos Any-Order AR, os autores mostram que o Negative Evidence Lower Bound (NELBO) pode ser computado via uma única passagem forward usando uma permutação específica da sequência de entrada.
Eles propõem um limite de Pesagem de Importância (IW) que converge para a verossimilhança exata conforme o número de amostras aumenta, um feito anteriormente intratável para MDMs padrão devido à sua natureza bidirecional.

Principais Contribuições

Novo Framework Híbrido: Introdução dos Eso-LMs, que permitem a interpolação fina entre as perplexidades de difusão e AR, estreitando a lacuna em relação aos modelos AR enquanto retêm os benefícios da difusão.
Eficiência de Estado da Arte: Ao permitir o cache de KV exato durante a difusão enquanto preservam a geração paralela, os Eso-LMs alcançam um novo estado da arte na fronteira de Pareto entre velocidade-qualidade para geração incondicional.
Desempenho Superior em Baixo NFE: Diferente dos BD3-LMs, que degradam significativamente em baixos passos de amostragem, os Eso-LMs permanecem competitivos com MDMs em regimes de baixo NFE e com modelos AR em regimes de alto NFE.
Aceleração de Longo Contexto: Em contextos longos, os Eso-LMs fornecem 14–65× mais velocidade de inferência do que os MDMs padrão e 3–4× mais rápidos do que as bases de block diffusion (BD3-LMs).
Fórmula de Verossimilhança Exata: Derivação da primeira fórmula de verossimilhança exata para MDMs, facilitando a aplicação de técnicas de Aprendizado por Reforço (RL) como GRPO para modelos de difusão.

Resultados Experimentais

Os autores avaliaram os Eso-LMs nos datasets One Billion Words (LM1B) e OpenWebText (OWT).

Perplexidade: Os Eso-LMs interpolam suavemente entre as perplexidades de difusão e AR. Embora o modo de difusão pura ( $\alpha_0=1$ ) tenha uma perplexidade ligeiramente superior à do MDLM (devido à mudança da atenção bidirecional para a causal), ele alcança um desempenho competitivo.
Compromisso Velocidade-Qualidade: Em tarefas de geração incondicional, os Eso-LMs estabelecem um novo SOTA na fronteira de Pareto. Eles evitam o colapso de qualidade observado nos BD3-LMs em baixos passos de amostragem.
Latência: Para comprimentos de sequência de 8192, os Eso-LMs são aproximadamente 65× mais rápidos que o MDLM e 3.8× mais rápidos que as bases de block diffusion (BD3-LMs).
Desempenho Zero-Shot: Os modelos mantêm precisão competitiva em tarefas de verossimilhança zero-shot subsequentes.

Significância e Alegações

O artigo afirma que os Eso-LMs representam uma mudança de paradigma no modelagem de linguagem ao unificar com sucesso os pontos fortes dos modelos AR e de difusão.

Preenchendo a Lacuna: O trabalho demonstra que o compromisso entre velocidade de geração e qualidade da amostra não é fixo; ele pode ser otimizado através da fusão de paradigmas.
Viabilidade Prática: Ao resolver o gargalo do cache de KV em modelos de difusão, o artigo argumenta que modelos de linguagem baseados em difusão podem se tornar viáveis para aplicações em tempo real (ex: sistemas de chat) onde os modelos AR atualmente dominam.
Avanço Teórico: A derivação de verossimilhanças exatas para MDMs abre novos caminhos para o treinamento e ajuste fino de modelos de difusão usando objetivos de verossimilhança (ex: RL), que eram anteriormente computacionalmente proibitivos.

Os autores posicionam os Eso-LMs não meramente como uma melhoria incremental, mas como um repensar fundamental da arquitetura de transformer de denoising, explorando os limites "esotéricos" do design de modelos de linguagem para alcançar eficiência e qualidade ótimas.