Autoregressive vs. Masked Diffusion Language Models: A Controlled Comparison

Título: Comparação Controlada entre Modelos de Linguagem Autoregressivos e de Difusão Mascaramento

1. Problema e Motivação

Os Modelos de Linguagem (LLMs) dominantes atualmente são autoregressivos (AR), que geram texto token a token da esquerda para a direita. Embora eficientes, eles sofrem de limitações intrínsecas:

• Viés Left-to-Right: A geração sequencial impede a revisão de tokens anteriores.
• Colapso de Modo (Mode Collapse): Tendência a produzir saídas repetitivas quando o prefixo mais provável domina a distribuição condicional (ex: começar quase todas as histórias com "Era uma vez...").

Recentemente, surgiram Modelos de Linguagem de Difusão Mascaramento (MDLM), adaptados da geração de imagens. Eles geram texto começando de uma sequência totalmente corrompida (mascarada) e iterativamente "desembarulham" (denoising) o texto. No entanto, comparações diretas e controladas entre AR e MDLM são escassas, pois estudos anteriores variam em escala, dados ou orçamento computacional, dificultando a atribuição de diferenças ao paradigma de geração em si.

2. Metodologia: Configuração Experimental Controlada

O autor realizou uma comparação empírica rigorosa, treinando um Transformer Autoregressivo e um Transformer de Difusão Mascaramento (MDLM) sob condições idênticas, isolando o paradigma de geração como a única variável.

• Dados: Ambos treinados no mesmo conjunto de dados (TinyStories), com 50 milhões de tokens.
• Orçamento Computacional: 20.000 passos de treinamento, batch size de 32, comprimento de sequência de 512.
• Hardware: NVIDIA H100 80GB.
• Hiperparâmetros Compartilhados: Dimensões do modelo, número de camadas, cabeças, dimensão FFN, otimizador (AdamW) e taxas de aprendizado.
• Diferenças Inerentes aos Paradigmas:
  • AR: Atenção causal (unidirecional), objetivo de previsão do próximo token.
  • MDLM: Atenção bidirecional, objetivo de previsão de tokens mascarados, condicionamento por timestep (escalonamento de ruído coseno).
• Nota sobre Parâmetros: O MDLM possui naturalmente mais parâmetros (162,7M vs. 123,6M do AR) devido ao módulo de condicionamento de timestep e à estrutura de saída, o que é considerado uma vantagem de capacidade para o MDLM, não um viés de desvantagem.

3. Principais Contribuições

1. Configuração Experimental Rigorosa: A comparação mais controlada até a data em pequena escala, eliminando variáveis de confusão.
2. Análise de Dinâmica de Treinamento: Curvas de convergência passo a passo revelando comportamentos distintos de overfitting.
3. Paridade de Vazão (Throughput): Demonstração de que o treinamento de difusão não é substancialmente mais caro computacionalmente.
4. Trade-off Quantitativo Diversidade-Fluência: Evidência empírica de que MDLMs superam ARs em diversidade estrutural, mas com custos em fluência gramatical.
5. Reprodutibilidade Total: Código, checkpoints treinados e pipelines de dados liberados publicamente.

4. Resultados Chave

A. Eficiência de Treinamento e Vazão

• Vazão: Ambos os modelos atingiram vazões comparáveis. O AR processou 50.620 tokens/seg, enquanto o MDLM processou 48.343 tokens/seg (apenas 4,5% mais lento).
• Tempo Total: A diferença no tempo de parede (wall-clock time) foi mínima (107,9 min para AR vs. 113,0 min para MDLM).
• Conclusão: O custo computacional adicional do treinamento de difusão (amostragem de timesteps, máscaras) é negligenciável em comparação ao custo dominante do forward/backward pass do Transformer.

B. Dinâmica de Convergência

• AR: Convergência rápida, atingindo o melhor loss de validação no passo 14.000 (1,589). Após isso, o loss aumentou, indicando overfitting claro nos 50M de tokens.
• MDLM: Convergência lenta e estável. O loss diminuiu monotonicamente até o passo 20.000 (3,412) sem sinais de platô ou overfitting.
• Implicação: Sugere regimes de treinamento ótimos diferentes; o AR precisa de early stopping precoce, enquanto o MDLM se beneficia de treinamento mais longo.

C. Diversidade vs. Fluência (Análise Quantitativa)
A análise de 1.000 amostras geradas revelou um trade-off estrutural claro:

• Colapso de Prefixo no AR:
  • 99,8% das amostras AR começaram com a mesma palavra ("Once").
  • Apenas 3,3% tiveram aberturas de 5 palavras únicas.
  • Texto fluente, coerente, mas estruturalmente repetitivo.
• Diversidade no MDLM:
  • 36,1% das amostras MDLM começaram com palavras únicas.
  • 93,4% tiveram aberturas de 5 palavras únicas.
  • Métricas de diversidade (Distinct-n) mais altas e Self-BLEU mais baixo.
  • Custo: O texto MDLM apresentou inconsistências gramaticais ocasionais e menos fluência imediata.

5. Significado e Conclusão

O estudo conclui que os paradigmas AR e MDLM são complementares, não concorrentes diretos:

1. Custo Computacional: A percepção de que a difusão é muito mais cara para treinar é refutada; a diferença de tempo é marginal.
2. Regimes de Treinamento: Os modelos exigem estratégias de treinamento distintas. O AR é propenso a overfitting rápido em dados limitados, enquanto o MDLM parece ter uma capacidade de generalização mais robusta devido à sua natureza de data augmentation implícita (contextos mascarados variados).
3. Aplicações Práticas:
   • AR é superior para tarefas onde a fluência e coerência são críticas (tradução, sumarização, geração de código).
   • MDLM é preferível quando a diversidade e criatividade são prioritárias (escrita criativa, aumento de dados, brainstorming), evitando o colapso de modo típico dos modelos autoregressivos.

Limitações Notadas: O estudo foi realizado em pequena escala (123-163M parâmetros) e em um domínio específico (histórias infantis). A generalização para escalas maiores (1B+ parâmetros) e domínios complexos (código, científico) permanece uma questão para trabalhos futuros. Além disso, o MDLM ainda não havia estabilizado no momento do corte do experimento, sugerindo que seu desempenho final poderia ser ainda melhor com mais treinamento.