💬 NLP

DreamOn: Diffusion Language Models For Code Infilling Beyond Fixed-size Canvas

O DreamOn é um novo framework de difusão que supera a limitação de geração de comprimento fixo dos modelos de linguagem de difusão existentes ao introduzir estados de controle de comprimento dinâmico, permitindo o preenchimento de código (infilling) de comprimento variável e flexível que alcança desempenho comparável aos modelos autorregressivos de estado da arte sem exigir mudanças arquiteturais.

Autores originais: Zirui Wu, Lin Zheng, Zhihui Xie, Jiacheng Ye, Jiahui Gao, Shansan Gong, Yansong Feng, Zhenguo Li, Wei Bi, Guorui Zhou, Lingpeng Kong

Publicado 2026-02-03

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Zirui Wu, Lin Zheng, Zhihui Xie, Jiacheng Ye, Jiahui Gao, Shansan Gong, Yansong Feng, Zhenguo Li, Wei Bi, Guorui Zhou, Lingpeng Kong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando preencher um espaço em branco em uma história ou em um pedaço de código. Você tem o início (o prefixo) e o fim (o sufixo), e precisa escrever o que vai no meio.

Por muito tempo, os programas de computador mais inteligentes (chamados Modelos Autorregressivos) fizeram isso escrevendo uma palavra de cada vez, da esquerda para a direita, como uma pessoa digitando uma frase. Eles são muito bons nisso.

Então, surgiu um novo tipo de programa chamado Modelo de Linguagem de Difusão (DLM). Pense nestes como escultores. Em vez de escrever palavra por palavra, eles começam com um bloco de argila onde a parte central está completamente escondida (mascarada). Eles vão esculpindo as partes escondidas, refinando a forma até que as palavras perfeitas apareçam. Isso é ótimo porque eles podem corrigir erros em qualquer ordem, não apenas da esquerda para a direita.

O Problema: A Armadilha da "Tela de Tamanho Fixo"
No entanto, esses escultores tinham uma falha grave. Eles só conseguiam trabalhar em um bloco de argila que tivesse exatamente o tamanho que você lhes dissesse para usar.

Se você desse a eles um bloco pequeno (digamos, 4 palavras escondidas), mas a resposta precisasse de 20 palavras, eles ficariam sem espaço e entregariam uma resposta quebrada e incompleta.
Se você desse a eles um bloco enorme (digamos, 64 palavras escondidas), mas a resposta precisasse de apenas 4 palavras, eles ficariam confusos e preencheriam o espaço extra com bobagens ou lixo repetitivo.

O artigo chama isso de problema da "Tela de Tamanho Fixo". O modelo fica preso esperando que você adivinhe o tamanho exato do buraco antes de começar a trabalhar. Se você errar, o resultado é ruim.

A Solução: DREAMON
Os autores apresentam o DREAMON, uma nova maneira de ensinar esses escultores a mudar o tamanho do seu bloco de argila enquanto trabalham.

Eles adicionaram dois "comandos mágicos" especiais ao vocabulário do modelo:

[expand]: "Preciso de mais espaço! Transforme este ponto escondido em dois pontos escondidos."
[delete]: "Tenho espaço demais! Remova este ponto escondido inteiramente."

Como Funciona (A Analogia)
Imagine que o modelo está desenhando uma imagem dentro de uma moldura.

Jeito Antigo: Você diz ao modelo: "Desenhe dentro de um quadrado de 10x10". Se a imagem precisar de 20x20, o modelo fica esmagado. Se a imagem for de 2x2, o espaço é desperdiçado.
Jeito DREAMON: Você dá uma moldura ao modelo, mas permite que ele segure um controle remoto. Conforme ele desenha, se perceber que a imagem está ficando grande demais para a moldura, ele aperta [expand] e a moldura cresce magicamente. Se perceber que a imagem é minúscula e a moldura é enorme, ele aperta [delete] e a moldura encolhe.

O modelo faz isso inteiramente por conta própria, baseado no que ele acha que a resposta deve parecer. Ele não precisa que você diga o comprimento de antemão.

Os Resultados
Os pesquisadores testaram isso em tarefas de codificação (preencher partes ausentes de programas de computador).

Antes do DREAMON: Os modelos de difusão eram terríveis nisso se o tamanho do "buraco" não correspondesse perfeitamente à resposta. O desempenho deles caía cerca de 38% apenas porque o tamanho estava ligeiramente errado.
Depois do DREAMON: Os modelos tornaram-se tão bons quanto os melhores escritores "palavra por palavra" (os modelos autorregressivos). Eles conseguiram lidar com buracos de qualquer tamanho, crescendo ou encolhendo a resposta até que ficasse perfeita.
Eficiência: Eles também adicionaram um truque chamado "Transmissão de Deleção" (Deletion Broadcasting). Se o modelo decide deletar um grande pedaço da moldura, ele não o faz um pequeno pedaço de cada vez; ele deleta o bloco inteiro instantaneamente, tornando o processo muito mais rápido.

Em Resumo
O DREAMON pega uma ferramenta poderosa, mas rígida (Modelos de Difusão), e dá a ela a flexibilidade de esticar e encolher sua saída. Ele remove a necessidade de humanos adivinharem o comprimento perfeito da resposta, permitindo que esses modelos finalmente compitam com os melhores IAs de escrita de código que temos hoje, mas com o benefício adicional de poderem corrigir as coisas em qualquer ordem.

Resumo Técnico: DREAMON – Modelos de Linguagem de Difusão para Infilling de Código Além da Tela de Tamanho Fixo

1. Declaração do Problema

Modelos de Linguagem de Difusão (DLMs) oferecem uma alternativa promissora aos modelos autorregressivos ao permitir a geração flexível em qualquer ordem, o que é teoricamente ideal para tarefas de code infilling (geração de conteúdo entre um prefixo e um sufixo). No entanto, os DLMs atuais sofrem de uma limitação crítica: eles exigem uma sequência mascarada de comprimento fixo pré-especificado para a geração.

Essa restrição cria um gargalo de "tela de tamanho fixo" (fixed-size canvas). No code infilling, o comprimento ideal de conclusão varia significamente entre os exemplos. Quando o comprimento da máscara predefinida não coincide com o comprimento da solução real, o desempenho degrada drasticamente. O artigo relata que o Dream-Coder-7B sofre uma queda média de desempenho de 38% no benchmark HumanEval-Infilling quando o comprimento da máscara diverge do alvo. Especificamente:

Máscaras insuficientes: O modelo carece de espaço suficiente para gerar código significativo, levando a soluções incompletas.
Máscaras excessivas: O modelo tende a gerar excessivamente trechos de código desnecessários ou incorretos para preencher o espaço excedente.

Soluções existentes geralmente dependem de prompting especializado ou contornos que interrompem estruturas contextuais naturais, mas os DLMs careciam de um mecanismo nativo para ajustar dinamicamente o comprimento da saída.

2. Metodologia: DREAMON

Os autores propõem o DREAMON, um framework que permite a geração de comprimento variável e dinâmico em modelos de difusão discretos sem modificações arquiteturais. A inovação central é a introdução de dois estados de controle de comprimento integrados ao processo de difusão.

2.1 Mecanismo Central: Estados Especiais

O DREAMON aumenta o vocabulário com dois tokens sentinelas especiais:

[expand]: Quando previsto, este token é deterministicamente expandido em dois tokens [mask], aumentando efetivamente o comprimento da sequência e fornecendo mais espaço para a geração.
[delete]: Quando previsto, este token remove a posição correspondente da sequência, contraindo efetivamente o comprimento.

2.2 Procedimento de Treinamento

O processo de treinamento envolve aumento de dados (data augmentation) e reponderação de perda (loss re-weighting):

Construção de Sequência Aumentada ( $z_0$ ): A partir da sequência de entrada original ( $x_0$ ), os autores constroem uma sequência aumentada $z_0$ . Intervalos de tokens aleatórios são fundidos em tokens [expand], e tokens [delete] são inseridos. Isso simula a necessidade de ajuste de comprimento durante o processo de difusão direta (forward diffusion process).
Processo Direto (Forward Process): A difusão mascarada padrão é aplicada a $z_0$ . Crucialmente, tanto os estados [expand] quanto [delete] são mapeados para [mask] durante o processo de ruído direto, garantindo que contribuam para o sinal de aprendizado.
Ponderação de Perda: Existe um desequilíbrio significativo onde os alvos de [delete] são mais frequentes que os alvos de [expand] (já que um [delete] substitui um token, enquanto um [expand] representa a fusão de múltiplos tokens). Para evitar que o modelo sofra overfitting para sinais de deleção, uma estratégia de ponderação de perda é introduzida. A contribuição de perda das previsões de [delete] é reduzida de modo que o peso total de todas as previsões de [delete] em uma sequência seja igual ao peso de uma única previsão de [mask] padrão.

2.3 Procedimento de Inferência

Durante a inferência, o modelo realiza a denoização padrão, mas com controle de comprimento dinâmico:

Trajetória Adaptativa: O modelo prevê todas as posições mascaradas. Se um [expand] for previsto, a posição é substituída por dois tokens [mask]. Se um [delete] for previsto, o token é removido.
Transmissão de Deleção (Deletion Broadcasting): Para melhorar a eficiência quando a máscara inicial é muito maior que o alvo, os autores introduzem um heurístico: se o modelo prevê um [delete], todos os tokens subsequentes à direita (se forem todos [mask]) são imediatamente eliminados. Isso transforma um processo de deleção token por token em uma ação de previsão de comprimento, reduzindo significamente os passos de inferência.
Restrições: Um comprimento máximo de saída ( $L_{max}$ ) é imposto para evitar crescimento ilimitado.

3. Principais Contribuições

Controle de Comprimento Dinâmico: O DREAMON é o primeiro framework que permite a geração de comprimento variável nativa em modelos de linguagem de difusão usando apenas dois tokens especiais ([expand] e [delete]) sem alterar a arquitetura do modelo.
Sobrecarga de Treinamento Mínima: O método requer apenas modificações mínimas ao objetivo de treinamento (estados auxiliares e ponderação de perda) e pode ser aplicado a DLMs pré-treinados existentes (ex: Dream-Coder-7B, DiffuCoder-7B) com custo computacional adicional desprezível (0,15% do custo de pré-treinamento).
Recuperação de Desempenho: A abordagem permite que modelos de difusão alcancem desempenho comparável aos modelos autorregressivos de última geração, removendo efetivamente o gargalo de comprimento fixo.

4. Resultados Experimentais

Os autores avaliaram o DREAMON no HumanEval-Infilling (linha única e múltiplas linhas) e no SantaCoder-FIM (subconjunto Python).

Comparação com Baselines: Os modelos de difusão padrão (Dream-7B, DiffuCoder-7B, DreamCoder-7B) ficaram significativamente atrás dos baselines autorregressivos (ex: Qwen2.5-Coder-7B, Deepseek-Coder-6.7B) devido às restrições de comprimento fixo.
Desempenho do DREAMON:
- O DREAMON alcançou um aumento absoluto médio de desempenho de 26,4% sobre os baselines de difusão.
- No HumanEval-Infilling, os modelos aprimorados pelo DREAMON (ex: DiffuCoder-7B + DREAMON) atingiram 92,2 Pass@1 (linha única) e 63,1 Pass@1 (múltiplas linhas), superando ou igualando modelos autorregressivos de topo como o Qwen2.5-Coder-7B.
- As variantes do DREAMON alcançaram níveis próximos ao oracle (desempenho quando o comprimento da máscara inicial coincide com o real), demonstrando que o modelo consegue se adaptar com sucesso ao comprimento correto, independentemente do tamanho da máscara inicial.
Estudos de Ablação:
- Remover o [expand] ou o [delete] causou quedas significativas de desempenho, confirmando que ambos os mecanismos são necessários.
- O equilíbrio de perda foi crítico; sem ele, o desempenho caiu cerca de 7% em média devido ao overfitting para deleção.
- A transmissão de deleção reduziu o total de passos de inferência em aproximadamente 50% (ex: de 122,8 para 52,4 passos em um comprimento de máscara de 64) sem sacrificar a qualidade.

5. Significância e Alegações

O artigo afirma que o DREAMON remove uma barreira fundamental para a implementação prática de Modelos de Linguagem de Difusão. Ao permitir o ajuste dinâmico de comprimento, o DREAMON avança significativamente a flexibilidade e aplicabilidade dos DLMs para tarefas de geração de comprimento variável, particularmente o code infilling.

Os autores posicionam seu trabalho como um passo para tornar os DLMs competitivos com modelos autorregressivos em cenários do mundo real onde o comprimento da saída é desconhecido. Eles observam que, embora seu design atual utilize um fator de expansão único (um-para-dois), trabalhos futuros poderiam explorar vocabulários de expansão mais ricos ou cabeças de previsão de comprimento explícitas para otimizar ainda mais a eficiência. O trabalho enfatiza que esses ganhos são alcançados sem mudanças arquiteturais no Transformer subjacente, preservando a simplicidade do framework de difusão original.