💬 NLP

Unlocking Prompt Infilling Capability for Diffusion Language Models

O artigo demonstra que a capacidade de preenchimento de prompts em modelos de linguagem de difusão mascarada, anteriormente bloqueada por convenções de ajuste fino, pode ser desbloqueada e otimizada simplesmente estendendo o mascaramento para incluir tanto o prompt quanto a resposta durante o treinamento supervisionado.

Autores originais: Yoshinari Fujinuma, Keisuke Sakaguchi

Publicado 2026-04-07

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yoshinari Fujinuma, Keisuke Sakaguchi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um chef de cozinha muito talentoso (o modelo de linguagem) que sabe cozinhar pratos incríveis. Mas, até agora, ele só foi treinado de uma maneira muito específica: você sempre lhe dava a receita completa (o "prompt") e ele tinha que inventar apenas o prato final (a "resposta").

O problema é que esse chef tinha uma superpotência escondida: ele conseguia cozinhar de qualquer direção, preenchendo buracos no meio da receita se você pedisse. Mas, como ele nunca foi treinado a fazer isso, ele achava que não podia. Se você tentasse pedir para ele completar uma parte da receita, ele ficava confuso e, em vez de inventar algo bom, colocava apenas "vazio" ou "fim da receita".

Aqui está o que os autores deste artigo descobriram e como eles consertaram isso, explicado de forma simples:

1. O Problema: O Treino Errado

Os modelos de linguagem atuais (chamados de "Modelos de Difusão") são como artistas que podem pintar qualquer parte de um quadro, não apenas da esquerda para a direita. Eles podem preencher buracos no meio da imagem.

No entanto, quando esses modelos foram ensinados (o que chamamos de Fine-tuning ou ajuste fino), os professores (os pesquisadores) disseram:

"Olhe para a pergunta (o prompt) e escreva a resposta. Nunca tente mudar a pergunta."

Isso criou um "vazio de aprendizado". O modelo sabia que podia preencher buracos, mas nunca praticou preencher buracos na pergunta. Quando eles tentaram usar essa habilidade na vida real, o modelo falhava miseravelmente.

2. A Solução: "Mascarar Tudo"

Os autores decidiram mudar a forma como treinavam o chef. Em vez de deixar a receita inteira visível e pedir apenas o prato, eles começaram a esconder partes da receita inteira (tanto a pergunta quanto a resposta) e pediam ao modelo para adivinhar o que estava faltando.

Antes: "Veja a pergunta: 'Quantos ovos?' -> Responda: '10'." (O modelo só aprende a responder).
Agora: "Veja: 'Quantos [MASCARA]?' -> Responda: '10'." (O modelo aprende a completar a pergunta também).

Essa técnica simples de "mascarar a sequência inteira" desbloqueou a capacidade do modelo de preencher prompts.

3. A Mágica: O Prompt que se Escreve Sozinho

Agora, com esse novo treino, o modelo pode fazer algo incrível:
Imagine que você tem um modelo de IA e quer que ele avalie resumos de textos. Em vez de você, humano, gastar horas escrevendo um prompt perfeito (uma instrução detalhada), você dá ao modelo 3 ou 4 exemplos de como você quer que a avaliação seja feita.

O modelo, usando sua nova habilidade de "preenchimento", olha para esses exemplos e escreve o próprio prompt para você! Ele preenche os espaços vazios na instrução para criar a regra perfeita baseada nos exemplos que você deu.

4. Por que isso é legal? (As Analogias)

O Detetive vs. O Copista:
- Modelo Antigo: Era como um copista que só sabia escrever a resposta final. Se a pergunta estivesse incompleta, ele travava.
- Modelo Novo: É como um detetive que consegue reconstruir a cena do crime (o prompt) olhando apenas para as pistas (os exemplos). Ele entende o contexto de trás para frente e de frente para trás.
O Tradutor que Aprende a Gramática:
- Imagine que você quer que um tradutor fale um novo dialeto. Antes, você só mostrava frases prontas. Agora, você dá frases com palavras faltando e ele aprende a adivinhar a palavra certa baseada no contexto. O resultado é que ele cria o próprio "dicionário" (o prompt) perfeito para a tarefa.

5. Os Resultados na Prática

Os autores testaram isso e descobriram três coisas principais:

Funciona Melhor que Humanos: Os prompts que o modelo criou sozinho (preenchendo os buracos) foram tão bons ou até melhores do que os criados manualmente por especialistas humanos.
É Universal: Um prompt criado por um modelo pode ser usado em outro modelo diferente e ainda funcionar muito bem. É como se você criasse uma "chave mestra" que abre várias portas.
É um Parceiro, não um Substituto: Isso não substitui as ferramentas de otimização de prompts que já existem; na verdade, eles funcionam juntos. Você pode usar uma ferramenta para criar um rascunho e depois usar esse modelo para "refinar" e preencher as partes que faltam, tornando tudo ainda melhor.

Resumo Final

A grande descoberta não foi criar um novo modelo de arquitetura complexa, mas sim mudar a forma de ensinar.

O artigo diz: "Não culpe a arquitetura do modelo (o cérebro), culpe o método de treino (a escola). Se você ensinar o modelo a preencher tudo, ele se torna um mestre em criar suas próprias instruções."

Isso significa que, no futuro, poderemos pedir para a IA: "Aqui estão alguns exemplos do que eu quero. Agora, escreva a instrução perfeita para que eu possa fazer isso sozinho." E ela fará isso com maestria.

Título: Desbloqueando a Capacidade de Preenchimento de Prompts para Modelos de Linguagem de Difusão

1. O Problema

Os Modelos de Linguagem de Difusão (dLMs) são arquiteturas que geram texto através de um processo de "denoising" (remoção de ruído) bidirecional e iterativo. Diferentemente dos modelos autoregressivos (que geram da esquerda para a direita), os dLMs têm a capacidade teórica de preencher qualquer token mascarado em uma sequência, condicionando-se ao contexto anterior e posterior.

No entanto, o artigo identifica uma lacuna crítica entre treinamento e inferência:

Prática Atual: Durante o Supervised Fine-Tuning (SFT), os modelos dLMs (como LLaDA e Dream) são treinados exclusivamente com mascaramento apenas nas respostas (response-only masking). Os prompts permanecem totalmente visíveis e limpos.
A Consequência: Embora a arquitetura seja bidirecional e capaz de denoising no prompt, o modelo nunca aprende a realizar essa tarefa porque nunca foi exposto a prompts mascarados durante o treinamento.
Resultado: Ao tentar usar esses modelos para "preenchimento de prompts" (prompt infilling) em inferência (onde se deseja gerar partes de um prompt baseadas em exemplos), o desempenho cai drasticamente. O modelo tende a preencher as partes mascaradas do prompt com tokens de fim de texto (EOS) ou conteúdo sem sentido, em vez de gerar instruções úteis.

2. Metodologia

Os autores propõem uma mudança simples, porém fundamental, no processo de treinamento para desbloquear essa capacidade latente.

A. Mascaramento de Sequência Completa (Full-Sequence Masking)

Em vez de mascarar apenas a resposta durante o SFT, os autores introduzem o mascaramento da sequência completa ( $X = (P, R)$ ).

Mecanismo: Para cada exemplo de treinamento, uma taxa de mascaramento $t$ é amostrada e tokens são selecionados aleatoriamente para serem mascarados em ambos o prompt ( $P$ ) e a resposta ( $R$ ).
Objetivo: Isso força o modelo a aprender a reconstruir tokens do prompt condicionados à resposta e ao restante do contexto, alinhando o sinal de treinamento com a tarefa de inferência desejada.
Refinamento Opcional: Após o treinamento com mascaramento completo, os autores aplicam uma etapa opcional de fine-tuning com mascaramento apenas na resposta (Response-Only Masking). Isso especializa o modelo para geração padrão sem perder a capacidade de preenchimento adquirida.

B. Protocolo de Inferência com Preenchimento de Prompt

Durante a inferência, o processo funciona da seguinte maneira:

Entrada: Um template de prompt com regiões mascaradas e alguns exemplos few-shot (com respostas de referência).
Processo: O dLM utiliza seu processo iterativo de denoising para preencher os tokens mascarados no template, condicionando-se aos exemplos fornecidos.
Validação: Vários prompts candidatos são gerados e validados gerando respostas para todos os exemplos few-shot. O prompt que produz as melhores respostas é selecionado.
Uso Final: O prompt otimizado é fixado e utilizado para todos os dados de teste.

3. Contribuições Principais

Identificação da Lacuna de Treinamento: O trabalho demonstra que a incapacidade de preencher prompts não é uma limitação arquitetural, mas sim uma limitação de treinamento causada pela prática de response-only masking.
Método de Desbloqueio: A introdução do Full-Sequence Masking durante o SFT como o ingrediente chave para habilitar o preenchimento de prompts.
Protocolo de Inferência: Uma metodologia prática onde prompts são gerados automaticamente a partir de exemplos few-shot, superando ou igualando templates desenhados manualmente.
Complementaridade: A demonstração de que o preenchimento de prompts por dLMs é complementar a métodos existentes de otimização de prompts (como busca evolutiva ou hill-climbing em modelos autoregressivos), podendo melhorar ainda mais prompts já otimizados.

4. Resultados Experimentais

Os autores avaliaram os modelos LLaDA-8B e Dream-v0-7B em diversas tarefas, incluindo raciocínio matemático (GSM8K), avaliação de resumos (SummEval) e benchmarks de avaliação de LLMs (BigGen-Bench).

GSM8K (Raciocínio Matemático):
- Modelos públicos (sem fine-tuning com mascaramento completo) sofreram uma queda drástica de desempenho ao tentar preencher prompts (ex: LLaDA caiu de 73,1% para 64,8% de Exact Match).
- Com o treinamento de sequência completa, o modelo alcançou 76,4% de precisão usando prompts preenchidos, superando o In-Context Learning (ICL) padrão de 16 exemplos (73,1%) e utilizando menos tokens (315 vs 3333).
SummEval e BigGen-Bench (Avaliação de LLMs - LLM-as-a-Judge):
- O modelo treinado com mascaramento completo (FS) alcançou correlações significativamente maiores com julgamentos humanos (Spearman ~0,535) em comparação com checkpoints públicos (correlação próxima de zero).
- O preenchimento de prompts permitiu que o modelo inferisse rubricas de pontuação não uniformes (ex: notas 1.2, 1.8, 4.8) baseadas nos exemplos, melhorando a correlação com humanos.
- Em BigGen-Bench, o mascaramento completo (FS) superou até mesmo a combinação FS+RO, indicando que a capacidade de denoising de prompts é crucial para generalização em dados diversos.
Transferência de Prompt:
- Prompts gerados por um modelo treinado com mascaramento completo (FS+RO) transferiram-se eficazmente para outros modelos (incluindo versões mais fracas ou com diferentes configurações de treinamento), melhorando o desempenho desses modelos receptores.
Combinação com Otimização de Prompt:
- Ao combinar o preenchimento de dLMs com métodos de otimização de prompts autoregressivos (como COPRO e GEPA), houve ganhos adicionais, especialmente na redução da variância dos resultados.

5. Significado e Implicações

Revisão de Paradigmas de Treinamento: O artigo prova que muitas capacidades que assumimos exigiriam inovações arquitetônicas complexas podem, na verdade, ser desbloqueadas apenas alterando o sinal de treinamento (exposição a padrões de mascaramento variados).
Eficiência e Adaptação: A capacidade de inferir prompts otimizados a partir de poucos exemplos permite uma adaptação rápida a novas tarefas sem engenharia manual de prompts, reduzindo custos e tempo de desenvolvimento.
Segurança e Riscos: Os autores reconhecem o risco de "vazamento de prompts" (prompt leakage), onde agentes maliciosos poderiam usar essa capacidade para reverter engenharia de prompts proprietários a partir das saídas do modelo, sugerindo a necessidade de futuras pesquisas em mecanismos de defesa (ofuscação, marcação d'água).

Em resumo, o trabalho estabelece que a prática de treinamento é o gargalo principal para o potencial dos modelos de difusão, e que o mascaramento de sequência completa é a chave para liberar sua capacidade bidirecional de gerar e refinar prompts de forma eficaz.