🤖 machine learning

Multi-Block Diffusion Language Models

Este artigo introduz os Modelos de Linguagem de Difusão de Múltiplos Blocos (MBD-LMs), que reduzem a lacuna entre treinamento e inferência na geração de texto baseada em difusão por meio de uma nova estratégia de Forçamento de Professor de Múltiplos blocos e um algoritmo de decodificação de Buffer de Bloco otimizado, alcançando ganhos significativos tanto em velocidade de geração (Tokens Por passagem de Forward) quanto em precisão.

Autores originais: Yijie Jin, Jiajun Xu, Yuxuan Liu, Chenkai Xu, Yi Tu, Jiajun Li, Dandan Tu, Xiaohui Yan, Kai Yu, Pengfei Liu, Zhijie Deng

Publicado 2026-06-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yijie Jin, Jiajun Xu, Yuxuan Liu, Chenkai Xu, Yi Tu, Jiajun Li, Dandan Tu, Xiaohui Yan, Kai Yu, Pengfei Liu, Zhijie Deng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Panorama Geral: Corrigindo o Gargalo da "Linha de Montagem"

Imagine uma fábrica que constrói carros (texto).

O Jeito Antigo (Autorregressivo): A fábrica constrói um carro de cada vez. Eles terminam o motor, depois as rodas, depois a pintura e só então começam o próximo carro. É confiável, mas lento.
O Jeito Difusão (A Nova Fábrica): Em vez de construir do zero, esta fábrica começa com uma pilha de sucata (ruído aleatório) e a refina gradualmente até se tornar um carro perfeito. Isso permite que eles trabalhem em muitas partes do carro ao mesmo tempo (processamento paralelo), o que é muito mais rápido.

O Problema:
A atual "Fábrica de Difusão" (chamada de Block Diffusion) tem um truque inteligente: ela constrói carros em lotes (blocos). No entanto, ela ainda possui um gargalo. Ela termina um lote, coloca em armazenamento (cache) e então começa o próximo lote. É como uma corrida de revezamento onde o corredor deve parar completamente para entregar o bastão antes que o próximo corredor possa sequer começar a correr. Isso cria "bolhas de espera" onde a fábrica fica ociosa.

A Solução: O Revezamento "Multi-Block"

Os autores propõem um novo método chamado Multi-Block Diffusion (MBD).

A Analogia: O Revezamento Sobreposto
Imagine uma corrida de revezamento onde os corredores não esperam o corredor anterior cruzar a linha de chegada para começarem.

O Corredor A está terminando sua volta.
O Corredor B já está correndo em velocidade máxima na próxima volta.
O Corredor C está se preparando na próxima raia.

Todos eles estão correndo ao mesmo tempo! Isso é o Multi-Block Diffusion. Em vez de terminar um bloco de texto antes de começar o próximo, o modelo refina vários blocos de texto simultaneamente. Isso cria um "pipeline" onde o trabalho está constantemente acontecendo, acelerando drasticamente o processo.

O Obstáculo: Treinamento vs. Realidade

Havia um grande problema ao tentar fazer isso.

O Treinamento: Os modelos eram treinados como um professor rigoroso (Teacher Forcing). O professor mostrava ao aluno: "Aqui está um parágrafo perfeito, agora corrija esta única frase bagunçada". O aluno nunca praticou corrigir múltiplas frases bagunçadas ao mesmo tempo.
A Realidade: Quando o modelo tentava realizar a corrida "Multi-Block" (corrigindo 2 ou 3 blocos de uma vez), ele tropeçava porque nunca havia praticado esse cenário específico. Era como pedir a um aluno que só praticou problemas matemáticos individuais para, de repente, resolver uma equação complexa com três variáveis ao mesmo tempo.

A Correção: "Multi-Block Teacher Forcing" (MultiTF)

Para corrigir isso, os autores criaram um novo método de treinamento chamado Multi-block Teacher Forcing (MultiTF).

A Analogia: O Treinamento de Simulação
Em vez de apenas mostrar ao aluno uma frase bagunçada, o professor agora mostra uma fileira inteira de frases bagunçadas (um "grupo de ruído") e diz: "Corrija todas estas de uma vez".

Eles não as tornam bagunçadas de uma ordem previsível; eles as tornam bagunças de uma forma caótica e realista, que corresponde ao que acontece durante a corrida real.
Este "treinamento" ensina o modelo a lidar com múltiplos blocos de texto simultaneamente sem se confundir.

O Motor: O "Block Buffer"

Mesmo com um modelo treinado, rodar isso em um computador é complicado. Computadores gostam de trabalhar com tamanhos fixos (como uma bandeja com exatamente 4 espaços). Se você tentar adicionar um novo bloco dinamicamente, o computador tem que parar e reorganizar tudo, o que reduz a velocidade.

A Analogia: A Bandeja Fixa
Os autores construíram um mecanismo especial de "Block Buffer".

Imagine uma esteira com 4 espaços fixos.
Em vez de adicionar um novo espaço quando você precisa, você apenas ativa um espaço vazio que já estava lá.
Quando um bloco é finalizado, ele desliza para fora da esteira em um "armário de armazenamento" (cache), e um novo espaço vazio desliza para dentro na parte de trás.
Isso mantém o tamanho da esteira exatamente o mesmo, permitindo que o computador rode em velocidade máxima sem parar para reorganizar a esteira.

Os Resultados: Mais Rápidos e Mais Inteligentes

O artigo testou isso em tarefas de matemática e programação. Aqui está o que descobriram:

Velocidade: O novo método (MBD) processa significativamente mais "tokens" (palavras/ideias) por segundo do que o método antigo.
- Analogia: Se a antiga fábrica fazia 3 carros por hora, a nova fábrica faz 6 carros por hora.
Qualidade: Geralmente, quando você tenta ir mais rápido, comete mais erros. No entanto, como eles treinaram o modelo especificamente para este estilo "Multi-Block" (usando MultiTF), a nova fábrica não apenas foi mais rápida; ela também cometeu menos erros do que a antiga fábrica.
Compatibilidade: Este novo método funciona bem com outros truques de aceleração (como o DMax) que já estavam sendo usados, acumulando resultados para tornar o sistema ainda mais rápido.

Resumo

O artigo introduz uma maneira de tornar os geradores de texto de IA mais rápidos, fazendo com que eles trabalhem em vários pedaços de texto ao mesmo tempo. Eles resolveram o problema através de:

Treinando a IA para lidar com múltiplos pedaços de uma vez (MultiTF).
Construindo um sistema de computador que mantém a carga de trabalho constante e eficiente (Block Buffer).

O resultado é um gerador de texto que é tanto mais rápido quanto mais preciso do que as versões anteriores.

Resumo Técnico: Modelos de Linguagem de Difusão Multi-Bloco (MBD-LMs)

1. Definição do Problema

Os Modelos de Linguagem de Difusão (DLMs) oferecem decodificação paralela nativa como uma alternativa à geração autorregressiva, mas historicamente lutam com o serviço eficiente devido à falta de cache KV e suporte à geração de comprimento dinâmico. Recentes Modelos de Linguagem de Difusão de Bloco (BD-LMs) abordaram isso introduzindo a geração bloco-causal, permitindo a Difusão de Bloco Único (SingleBD). No SingleBD, o modelo decodifica um bloco ruidoso baseado em um prefixo limpo e em cache, permitindo o uso de cache KV e paralelismo intra-bloco. No entanto, os blocos ainda são processados sequencialmente, criando "bolhas de armazenamento" onde o sistema espera para fazer o cache de um bloco concluído antes de decodificar o próximo, travando o paralelismo inter-bloco.

Embora a Difusão de Forçamento Discreto (D2F) tenha introduzido a visibilidade entre múltiplos blocos ruidosos para permitir a Difusão Multi-Bloco (MultiBD) e o paralelismo inter-bloco, permanece um significativo descompasso entre treinamento e inferência. A D2F treina em sufixos ruidosos longos e monotônicos, enquanto a MultiBD prática opera em um conjunto de execução limitado de blocos consecutivos com padrões de ruído slot-wise heterogêneos. Os BD-LMs existentes treinados sob Forçamento do Professor (TF) ou D2F não se alinham a esses estados específicos de inferência, levando a um desempenho subótimo ao tentar decodificar múltiplos blocos simultaneamente. Além disso, implementações ingênuas de MultiBD frequentemente dependem de formas de entrada dinâmicas, que são incompatíveis com mecanismos de execução de forma estática, como a captura de CUDA Graph, dificultando ganhos práticos de vazão (throughput).

2. Metodologia

O artigo propõe os Modelos de Linguagem de Difusão Multi-Bloco (MBD-LMs), um framework unificado e uma estratégia de treinamento para preencher a lacuna entre os BD-LMs existentes e a inferência eficiente MultiBD.

2.1 Formulação Unificada: MBD-LMs

Os autores definem os MBD-LMs como uma generalização dos BD-LMs onde um conjunto de execução ( $R_s$ ) de blocos consecutivos é decodificado concorrentemente. Diferente do SingleBD (onde $|R_s|=1$ ) ou da D2F de sequência completa, os MBD-LMs práticos operam em um regime intermediário limitado onde $|R_s|$ é pequeno (ex: 2–4 blocos) para equilibrar paralelismo com eficiência computacional.

2.2 Forçamento do Professor Multi-bloco (MultiTF)

Para alinhar os estados de treinamento com o regime de inferência de conjunto de execução limitado, os autores introduzem o Forçamento do Professor Multi-bloco (MultiTF), um método de pós-treinamento para BD-LMs existentes.

Construção de Grupos de Ruído: Em vez de corromper um único bloco (TF) ou um sufixo monotônico longo (D2F), o MultiTF constrói grupos de ruído: grupos de blocos ruidosos consecutivos e limitados, condicionados a um prefixo limpo.
Layouts de Grupo: Os dados de treinamento são particionados usando tanto layouts sistemáticos (enumerando todos os deslocamentos e tamanhos de grupo até um máximo de $G_{max}$ ) quanto layouts aleatórios para garantir cobertura diversificada de tamanhos de conjunto de execução e posições relativas aos blocos.
Agendador de Ruído Cadeia-Uniforme: Dentro de cada grupo de ruído, o MultiTF emprega um agendador de ruído cadeia-uniforme. Ao contrário do agendamento monotônico da D2F, este método amostra um piso de nível de grupo e então amostra a razão de ruído de cada bloco subsequente condicionada à razão do bloco anterior. Isso cria lacunas de ruído slot-wise heterogêneas que melhor correspondem aos padrões de ruído empíricos observados durante a inferência MultiBD.
Máscara de Fluxo Duplo Consciente de Grupo: Uma máscara de atenção especializada permite que blocos ruidosos dentro de um grupo atentem uns aos outros, mantendo a visibilidade bloco-causal ao prefixo limpo, evitando o vazamento de informação de tokens ruidosos futuros para o prefixo limpo.

2.3 Mecanismo de Inferência Otimizado: Buffer de Bloco

Para permitir a inferência MultiBD prática e de alta vazão, os autores projetam um pipeline otimizado baseado no mecanismo de Buffer de Bloco:

Execução de Forma Estática: Em vez de anexar dinamicamente blocos à entrada (o que quebra a compatibilidade com CUDA Graph), o motor mantém um buffer físico de tamanho fixo ( $N_{buf}$ ).
Transições de Estado: Os blocos dentro do buffer transitam por quatro estados: dummy (inativo), active (sendo decodificado), to-cache (concluído, mas ainda não em cache) e in-cache (comprometido ao cache KV).
Mecanismo: Futuros blocos entram no buffer ativando slots dummy existentes em vez de estender a sequência de entrada. Blocos concluídos são comprometidos ao cache KV e substituídos por novos slots dummy na extremidade final. Isso preserva a forma de entrada estática necessária para a execução eficiente em GPU, mantendo o conjunto de execução lógico para o paralelismo inter-bloco.
Preservação do Cache de Prefixo: Este design separa estritamente o prefixo em cache imutável do buffer ativo, garantindo a compatibilidade com a semântica de cache de prefixo padrão dos BD-LMs, o que a D2F nativa frequentemente viola.

3. Principais Contribuições

Formulação Unificada MBD-LM: O artigo formula os MBD-LMs como um framework unificado parametrizado por um conjunto de execução limitado, identificando a MultiBD prática como um regime intermediário entre o SingleBD e a D2F de sequência completa.
Pós-Treinamento MultiTF: Uma nova estratégia de treinamento que alinha os BD-LMs com a inferência MultiBD ao treinar em grupos de ruído limitados com padrões de ruído heterogêneos, reduzindo significativamente o descompasso entre treinamento e inferência.
Motor de Inferência Otimizado: Um pipeline baseado em Buffer de Bloco que permite a execução de forma estática para CUDA Graphs, preserva o cache KV de prefixo e sobrepõe a decodificação com o armazenamento de cache para alcançar ganhos de tempo real (wall-clock speedups).

4. Resultados Experimentais

Os autores avaliaram os MBD-LMs em benchmarks de raciocínio matemático (GSM8K, MATH500) e geração de código (MBPP+, HumanEval+) utilizando as famílias de modelos LLaDA2 e SDAR.

Paralelismo e Precisão: O MBD-LLaDA2-Mini aumentou a média de Tokens Por passagem Forward (TPF) de 3.47 (SingleBD) para 6.19 (+78.4%) enquanto melhorou a precisão média de 79.95% para 81.03%.
Combinação com DMax: Quando combinado com a estratégia de decodificação DMax, o MBD-LLaDA2-Mini-DMax alcançou um TPF médio de 9.34 (um aumento de +47.1% sobre o SingleBD DMax) com apenas uma queda de 1.02% na precisão.
Vazão (TPS): O motor de inferência otimizado traduziu os ganhos de TPF em vazão de tempo real. O MBD-LLaDA2-Mini-DMax alcançou 926.67 TPS em média, comparado aos 779.49 TPS do baseline SingleBD DMax.
Estudos de Ablação:
- Alinhamento Treinamento-Inferência: A MultiBD sem treinamento (aplicando inferência MultiBD a modelos não modificados) melhorou o TPF, mas degradou a precisão. O pós-treinamento MultiTF recuperou e melhorou a precisão, confirmando a necessidade de alinhamento de estado.
- Design do Agendador: O agendador cadeia-uniforme proposto superou os agendadores monotônicos do estilo D2F e outras variantes uniformes, destacando a importância das lacunas de ruído heterogêneas.
- Diversidade de Layout: A combinação de layouts de grupo sistemáticos e aleatórios rendeu o melhor equilíbrio entre TPF e precisão.

5. Significância

O artigo argumenta que uma Difusão Multi-Bloco confiável e eficiente requer uma abordagem holística combinando alinhamento de estado em tempo de treinamento e suporte de sistema em tempo de inferência.

Ele demonstra que simplesmente aplicar a inferência MultiBD a modelos existentes é insuficiente devido a descompassos distributivos nos padrões de ruído e tamanhos de conjunto de execução.
Prova que os MBD-LMs podem alcançar paralelismo inter-bloco sem sacrificar os benefícios de cache KV e reuso de prefixo que tornam os BD-LMs eficientes.
O trabalho estabelece que o "conjunto de execução limitado" é o ponto ideal prático para a geração baseada em difusão, oferecendo um caminho viável para acelerar os DLMs além dos gargalos sequenciais do SingleBD, evitando a complexidade e a incompatibilidade de cache da difusão de sequência completa.