💬 NLP

VoidPadding: Let [VOID] Handle Padding in Masked Diffusion Language Models so that [EOS] Can Focus on Semantic Termination

O artigo propõe o VoidPadding, um método que desacopla os papéis de preenchimento (padding) e terminação em Modelos de Linguagem de Difusão com Máscara ao introduzir um token [VOID] dedicado para preenchimento, o que resolve problemas de transbordamento de [EOS] e melhora significativamente o desempenho e a eficiência de decodificação em modelos ajustados por instrução.

Autores originais: Chunyu Liu, Zhengyang Fan, Kaisen Yang, Alex Lamb

Publicado 2026-06-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Chunyu Liu, Zhengyang Fan, Kaisen Yang, Alex Lamb

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a escrever histórias. No método antigo (modelos autorregressivos), o robô escreve uma palavra de cada vez, da esquerda para a direita, como um humano digitando. Mas neste novo método chamado Difusão Mascarada (Masked Diffusion), o robô começa com uma página em branco cheia de pontos de interrogação e tenta adivinhar todas as palavras de uma só vez, refinando seus palpites repetidamente até que a história faça sentido.

O problema que o artigo identifica é que, ao ensinar este robô, temos que fornecer exemplos de prática. Para tornar a prática eficiente, pegamos histórias curtas e as preenchemos com "palavras fictícias" para que todas caibam no mesmo tamanho de página.

O Problema: A Placa de "Pare" Confusa

No passado, os pesquisadores usavam um token especial chamado [EOS] (Fim de Sentença) como essa "palavra fictícia".

O Trabalho 1: Dizer ao robô: "Pare de escrever aqui, a história acabou."
O Trabalho 2: Preencher o espaço vazio na página para que o robô possa praticar.

O artigo argumenta que dar ao token [EOS] esses dois trabalhos é como pedir a um semáforo para ser tanto uma placa de Pare quanto uma barreira de construção.

Quando o robô está praticando, ele aprende que o [EOS] significa "preencha este espaço". Mas quando ele está realmente escrevendo uma história real, ele vê o [EOS] e fica confuso. Ele pensa: "Oh, eu preciso preencher este espaço com mais [EOS]s!" Isso causa uma falha chamada transbordamento de [EOS] (EOS overflow). O robô escreve um pouco de texto e então apenas preenche o resto da página repetidamente com marcadores de "Fim de Sentença", interrompendo a história precocemente.

Isso piora quando o robô tenta escrever histórias longas em grandes blocos. A placa de "Pare" fica tão congestionada com sinais "fictícios" que o robô não consegue distinguir onde a história real termina.

A Solução: VoidPadding

Os autores propõem uma correção simples chamada VoidPadding. Eles introduzem um novo token invisível chamado [VOID].

Pense nisso desta forma:

[VOID] é a nova "palavra fictícia". Ela preenche o espaço vazio na página de prática, mas não tem significado. É como um fantasma que ocupa espaço, mas não fala.
[EOS] agora é apenas a placa de "Pare". Ele é reservado estritamente para dizer ao robô quando a história está realmente terminada.

Ao separar esses papéis, o robô aprende claramente:

[VOID] = "Isso é apenas espaço vazio, ignore."
[EOS] = "A história acabou, pare agora."

Como Funciona na Prática

O artigo descreve dois truques inteligentes que acontecem durante a "inferência" (quando o robô está realmente fazendo o trabalho):

A Proibição do "Fantasma": Quando o robô está gerando uma história, é estritamente proibido escrever [VOID]. Se ele tentar adivinhar [VOID], o sistema diz: "Não, isso é apenas um fantasma". Isso evita que o robô acabe preenchendo sua história com fantasmas invisíveis.
A Parada Antecipada: Como o [EOS] agora é um sinal de "Pare" puro, o robô pode ouvi-lo. Assim que ele vê um sinal claro de [EOS], ele para de escrever imediatamente. Ele não perde tempo preenchendo o resto da página com lixo. Isso torna o robô muito mais rápido.
O Expansor de Tela: Às vezes, o robô começa com uma página que é pequena demais para a história que deseja contar. O artigo introduz um truque chamado VoidExpansion. O robô observa os sinais "fantasmagóricos" ([VOID]) que aprendeu durante o treinamento. Se a página for curta demais, os sinais de [VOID] parecerão "desconfortáveis" (como um fantasma tentando se espremer em uma caixa minúscula). O robô percebe isso, expande o tamanho da página e, então, finaliza a história.

Os Resultados

Os autores testaram isso em dois modelos de robôs diferentes (LLaDA e Dream) usando enigmas matemáticos e de programação.

Melhor Qualidade: Quando os robôs tentavam escrever respostas longas, o método antigo frequentemente falhava e apenas cuspia "Fim de Sentença" repetidamente. O novo método (VoidPadding) resolveu isso, mantendo as respostas longas e corretas.
Mais Rápido: Como os robôs paravam exatamente quando terminavam (em vez de preencher toda a página), eles completaram as tarefas 55% mais rápido em média.
Robusto: O novo método funcionou bem independentemente de o robô estar escrevendo respostas curtas ou muito longas, e se estava trabalhando em pequenos ou grandes blocos.

Resumo

O artigo mostra que, ao dar nomes diferentes para a placa de "Pare" e para o preenchimento de "Espaço Vazio", podemos impedir que o robô fique confuso. Isso faz com que o robô escreva melhor, pare no momento certo e trabalhe muito mais rápido. É uma pequena mudança na forma como ensinamos o robô que leva a uma grande melhoria em seu desempenho.

Resumo Técnico: VoidPadding

Problema: Transbordamento de [EOS] em Modelos de Linguagem de Difusão Mascarada

Modelos de Linguagem de Difusão Mascarada (MDLMs) geram texto ao realizar o denoising de uma tela (canvas) pré-alocada e totalmente mascarada de forma paralela, utilizando atenção bidirecional. Esta arquitetura contrasta com os modelos autorregressivos (ARLMs), que geram tokens sequencialmente. Um desafio crítico surge durante o ajuste de instrução (IT) para MDLMs: para facilitar o batching eficiente, pares de prompt-resposta são preenchidos (padded) até um comprimento de sequência uniforme. Seguindo convenções herdadas do treinamento de ARLMs, os MDLMs existentes tipicamente utilizam tokens [EOS] (End-of-Sequence) repetidos como padding.

Esta prática cria um descompasso de função entre treinamento e inferência que leva ao transbordamento de [EOS] (EOS overflow), particularmente sob decodificação de blocos grandes:

Papel Duplo do [EOS]: No treinamento, o [EOS] serve a uma função dupla: atua como um terminador semântico para a resposta real e como um token de padding para o restante da sequência. Consequentemente, o modelo aprende a associar altas probabilidades de [EOS] à cauda da sequência, tratando efetivamente o [EOS] como um "sinal de comprimento" que indica onde a resposta deveria terminar.
Falha na Inferência: Durante a inferência, os MDLMs operam em uma tela fixa. Se o modelo se comprometer com tokens [EOS] de alta confiança na cauda da tela (com base no sinal de comprimento aprendido), esses tokens comprometidos tornam-se parte do contexto bidirecional para etapas subsequentes de denoising. Isso faz com que o modelo propague as probabilidades de [EOS] para a esquerda, levando à terminação prematura e à repetição de tokens [EOS], mesmo quando o conteúdo semântico está incompleto. Este fenômeno, denominado transbordamento de [EOS], degrada a qualidade da geração e limita a eficácia das estratégias de decodificação de blocos grandes.

Metodologia: VoidPadding

Os autores propõem o VoidPadding, um co-design de treinamento-inferência que desacopla o papel de terminação semântica do papel de padding.

1. Design de Treinamento: Introduzindo o `[VOID]`

Em vez de fazer o padding com [EOS], os dados de treinamento são formatados como [prompt] [resposta] [EOS] [VOID]*.

[EOS]: Reservado exclusivamente como o terminador semântico. Ele aparece exatamente uma vez por exemplo, imediatamente após a resposta.
[VOID]: Introduzido como um novo tipo de token usado apenas para preencher o restante da sequência (padding).
Objetivo de Treinamento: O modelo é treinado para prever o token original nas posições mascaradas. Crucialmente, o único token [EOS] é sempre mascarado durante o treinamento, forçando o modelo a aprender o [EOS] estritamente como um terminador semântico estável, em vez de um artefato de padding. Os tokens [VOID] também são mascarados, ensinando o modelo a associar o [VOID] com a parte "não utilizada" da tela.

2. Design de Inferência: Terminação e Expansão Desacopladas

O VoidPadding introduz dois mecanismos complementares para a inferência:

Terminação por [EOS] ([EOS]Termination):
- As regras padrão de parada de MDLM (VanillaStopping) exigem a decodificação de toda a tela ou até que todas as máscaras sejam preenchidas, o que frequentemente leva a uma geração redundante após o ponto final semântico.
- O VoidPadding implementa a [EOS]Termination: a decodificação para assim que todas as posições à esquerda do [EOS] visível mais à esquerda estiverem desmascaradas. O modelo descarta o restante da tela (incluindo qualquer padding [VOID]).
- Para evitar que o [VOID] apareça na saída, seus logits são definidos como $-\infty$ durante a seleção de tokens, garantindo que ele permaneça um sinal oculto.
Expansão de Vazio (VoidExpansion - Alocação Adaptativa de Tela):
- MDLMs requerem uma tela pré-alocada. Se a tela inicial for muito curta, a qualidade da geração cai.
- O VoidExpansion aproveita o sinal de comprimento [VOID] aprendido. Antes da decodificação, o modelo avalia a cauda da tela atual. Se as posições da cauda mostrarem uma forte preferência por tokens não-[VOID] (indicando que a tela é insuficiente), a tela é expandida por um tamanho de bloco ( $B$ ).
- Este processo se repete até que a preferência da cauda mude para [VOID] (indicando comprimento suficiente) ou um comprimento máximo seja atingido. Isso permite que o modelo aloque espaço de tela de forma adaptativa sem depender de sinais [EOS] frágeis.

Principais Contribuições

Análise de Mecanismo: O artigo identifica sistematicamente a causa raiz do transbordamento de [EOS] como o uso duplo do [EOS] tanto para padding quanto para terminação durante o ajuste de instrução, o que cria um sinal de comprimento aprendido que conflita com o contexto bidirecional da inferência.
Framework VoidPadding: A proposta de um co-design de treinamento-inferência leve que introduz o [VOID] para padding e reserva o [EOS] para terminação. Isso permite uma interrupção precoce confiável ([EOS]Termination) e expansão adaptativa de tela (VoidExpansion).
Validação Empírica: Experimentos extensos demonstram que o VoidPadding evita o transbordamento de [EOS], melhora significativamente a qualidade da geração em benchmarks de raciocínio matemático e geração de código, e reduz o custo computacional de decodificação (NFE) ao permitir a terminação antecipada.

Resultados

Experimentos foram conduzidos no LLaDA-8B-Instruct e Dream-7B-Instruct através de quatro benchmarks: GSM8K, MATH500, HumanEval e MBPP.

Robustez ao Tamanho de Bloco:
- No Dream-7B-Instruct, o VoidPadding melhorou a pontuação média das quatro tarefas baseada no tamanho do bloco em +17,84 pontos sobre o modelo original e +6,95 pontos sobre o método anterior de estado da arte, RainbowPadding.
- No LLaDA-8B-Instruct, a melhoria foi de +7,06 pontos sobre o modelo original e +3,59 pontos sobre o RainbowPadding.
- Crucialmente, enquanto os modelos originais sofreram uma degradação severa de desempenho conforme o tamanho do bloco aumentava (ex: caindo de ~~76% para ~28% no GSM8K para o LLaDA com bloco de 512), o VoidPadding manteve um desempenho estável (~~78%).
Eficiência de Decodificação:
- Ao utilizar a [EOS]Termination, o VoidPadding reduziu significativamente o Número de Avaliações de Forward (NFE). No Dream-7B-Instruct, o NFE foi reduzido em uma média de 55,7%, com reduções específicas de 69,3% no GSM8K e 84,6% no MBPP em comparação com o requisito padrão de 512 passos.
Geração de Comprimento Variável:
- A estratégia VoidExpansion permitiu que o modelo lidasse efetivamente com telas iniciais curtas (ex: $L_0=64$ ). No LLaDA, o método completo VoidPadding + VoidExpansion alcançou uma pontuação média de 51,34, superando baselines de apenas inferência como DAEDAL (50,77) e $\rho$ -[EOS] (45,50), enquanto também rodou 2,12 $\times$ mais rápido em tempo de relógio (wall-clock time).
- Sob testes de estresse de blocos grandes ( $L_0=256, B=256$ ), métodos de apenas inferência que dependem do sinal [EOS] original colapsaram (DAEDAL caiu para 23,46 de média), enquanto o VoidExpansion manteve uma média robusta de 50,04.

Significância e Alegações

O artigo afirma que o transbordamento de [EOS] não é uma falha de capacidade do modelo, mas uma falha estrutural decorrente da interação entre priors de comprimento aprendidos, contexto bidirecional e regras de amostragem padrão. Ao desacoplar o padding da terminação, o VoidPadding resolve esse descompasso.

Os autores posicionam o VoidPadding como uma adaptação necessária para MDLMs, argumentando que as convenções herdadas de ARLMs (como usar [EOS] para padding) são "largamente benignas" sob máscara causal, mas tornam-se "frágeis" sob denoising bidirecional. O método oferece um caminho prático para desbloquear todo o potencial da decodificação de blocos grandes em modelos de difusão, melhorando tanto a qualidade dos outputs de raciocínio complexo quanto a eficiência do processo de geração. O artigo conclui que futuros designs de MDLM devem considerar explicitamente o tempo de compromisso de tokens, alocação de tela e decisões de parada sob condições bidirecionais, em vez de depender de suposições autorregressivas.