Resumo Técnico: Modelos de Linguagem de Difusão Bifocais

1. Definição do Problema

Modelos de Linguagem de Difusão Discreta (dLLMs) oferecem uma alternativa promissora à geração autorregressiva (AR) ao recuperar múltiplos tokens mascarados em paralelo, potencialmente entregando ganhos de velocidade de tempo real de 3 a 8 vezes. No entanto, os dLLMs enfrentam um dilema arquitetural fundamental em relação ao acesso ao contexto e à eficiência de inferência:

• Atenção Bidirecional: dLLMs de alta qualidade (ex: LLaDA, Dream) utilizam atenção bidirecional total, permitindo que cada token acesse o contexto completo. Embora isso maximize a qualidade da geração, torna o cache de Chave-Valor (KV) de prefixo padrão impossível. Cada etapa de denoising deve recomputar a atenção sobre toda a sequência, levando a um baixo rendimento (throughput) de inferência em cenários de atendimento em lote (batch-serving).
• Atenção Causal: dLLMs causais (ex: WeDLM) preservam a estrutura de dependência da esquerda para a direita, permitindo cache de KV eficiente e alto rendimento. Contudo, isso limita estritamente o contexto à esquerda, descartando toda a informação do lado direito e degradando substancialmente a qualidade da geração em comparação com modelos bidirecionais.

Compromissos existentes, como a difusão por blocos (restringindo a atenção bidirecional a blocos fixos) ou variantes híbridas AR-difusão, falham em resolver a tensão central: eles ou limitam o contexto à direita a uma pequena janela ou introduzem complexidade arquitetural sem recuperar totalmente a informação faltante do lado direito.

2. Metodologia: dLLMs Bifocais e R2LM

O artigo introduz os dLLMs Bifocais, um paradigma baseado em contexto bidirecional assimétrico. Em vez de tratar o contexto esquerdo e direito simetricamente via atenção total, o modelo utiliza mecanismos distintos para cada direção:

1. Contexto à Esquerda: Manipulado por um backbone Transformer causal padrão, garantindo total compatibilidade com o cache de KV de prefixo.
2. Contexto à Direita: Fornecido via um caminho leve de não-atenção que roda em paralelo.

Os autores instanciam este paradigma como R2LM (Right-to-Left Mamba):

• Arquitetura: O R2LM anexa um Modelo de Espaço de Estados (SSM) Mamba de direção reversa como um "sidecar" a um backbone autorregressivo pré-treinado.
• Mecanismo:
  • O backbone causal processa os tokens da esquerda para a direita, fornecendo contexto preciso à esquerda e mantendo o cache de KV.
  • O fluxo R2LM processa a sequência de trás para frente (da direita para a esquerda). Ele recebe os estados ocultos do backbone, inverte a sequência, aplica um escaneamento seletivo (Mamba) e inverte o resultado de volta.
  • Este fluxo reverso gera um sinal de correção residual ($\Delta^{R2L}_i$) que aproxima o ganho de informação do contexto do lado direito.
• Integração: O fluxo R2LM é anexado via hooks de forward em cada $k$-ésima camada do decoder. A contribuição é controlada por um escalar $s$ aprendível (inicializado em zero), garantindo que o modelo aumentado seja bit-idêntico ao baseline causal na inicialização.
• Inferência: Durante a decodificação paralela, o prompt é preenchido (pre-filled) uma única vez para cachear chaves, valores e estados ocultos de post-hook. As etapas subsequentes de denoising processam apenas o bloco de geração, lendo do cache de KV e executando o scan R2L apenas nos tokens de geração. Isso preserva o perfil de throughput do atendimento causal enquanto injeta o contexto do lado direito.

3. Principais Contribuições

1. Novo Paradigma: Introdução dos dLLMs Bifocais, o primeiro design que entrega contexto do lado direito contínuo e consciente da posição, preservando o cache de KV de prefixo causal padrão.
2. Instanciação R2LM: Uma arquitetura específica que combina um Transformer causal com um sidecar SSM Mamba de direção reversa. Ela suporta tanto o pré-treinamento contínuo conjunto quanto um modo "plug-in", onde o backbone é congelado, permitindo a integração em checkpoints AR existentes sem perturbar os pesos pré-treinados.
3. Base Teórica: A abordagem fundamenta-se em uma decomposição de log-posterior aditiva, tratando a informação do contexto à direita como uma correção residual ao termo de contexto causal à esquerda.

4. Resultados Experimentais

Os autores avaliaram o R2LM através de uma comparação controlada de três vias (Bidirecional, Causal e R2LM) no Qwen3-1.7B com 60B de tokens de pré-treinamento contínuo.

• Qualidade de Geração:

  • Tarefas de Alvo Longo (Long-Target): O R2LM alcançou uma precisão média de 47,44% em tarefas de múltiplos tokens, superando o baseline Causal (43,90%) em 3,54 pontos percentuais e o baseline Bidirecional (44,78%) em 2,66 pontos.
  • Tarefas de Alvo Curto (Short-Target): O R2LM melhorou em relação ao baseline causal em tarefas de token único (ex: MMLU, BoolQ) e reduziu significativamente a lacuna em relação ao modelo bidirecional.
  • Geral: O R2LM superou o dLLM bidirecional no média ALL (47,71% vs 46,74%) e excedeu o baseline causal na maioria dos benchmarks.
  • Eficiência do Plug-in: A variante R2LM-PI (backbone congelado, treinado apenas no fluxo R2L com 5B de tokens) alcançou a maior média geral (47,76%), recuperando 59% do ganho de alvo longo do modelo conjunto com apenas 1/12 dos dados de treinamento e 1/10 dos parâmetros treináveis.

• Eficiência de Inferência:

  • Throughput: No atendimento em lote ($B=8$) com comprimento de prompt de 4096, o R2LM alcançou um throughput 12,9× maior que o dLLM bidirecional e um aceleramento de 1,9× a 2,9× sobre os baselines AR.
  • Escalabilidade: Enquanto o throughput bidirecional colapsou conforme o comprimento do prompt aumentava (devido à recomputação da atenção total), o caminho com cache de KV do R2LM permaneceu quase constante.
  • Memória: O R2LM preservou o perfil de memória dos modelos causais, economizando ~32% de memória em comparação com os modelos bidirecionais em comprimentos de sequência longos ($P=16384$).

• Estudos de Ablação:

  • Experimentos confirmaram que os ganhos não se devem meramente ao aumento da contagem de parâmetros. Um adaptador MLP (mesmos parâmetros, sem direção) falhou em melhorar a perplexidade, e um Mamba da Esquerda para a Direita (direção errada) teve desempenho pior que o baseline. Apenas o Mamba Reverso conseguiu fechar a lacuna para o desempenho bidirecional.

5. Significância e Alegações

O artigo alega que os dLLMs Bifocais resolvem o impasse de longa data entre qualidade de geração e eficiência de inferência em modelos de difusão discreta. Ao desacoplar o caminho do contexto à direita do mecanismo de atenção, o R2LM alcança:

• Alta Qualidade: Superando os dLLMs bidirecionais em benchmarks médios ao utilizar efetivamente o contexto do lado direito.
• Alta Eficiência: Mantendo as capacidades de cache de KV dos modelos causais, permitindo a decodificação paralela com ganhos significativos de throughput em cenários de atendimento em lote.
• Modularidade: A capacidade de plug-in permite que o mecanismo de contexto à direita seja adicionado a modelos causais pré-treinados existentes com mínimo de dados e atualizações de parâmetros.

Os autores observam limitações, incluindo o fato de que o tamanho do modelo (1.7B) e o orçamento de treinamento estão abaixo da escala onde os dLLMs tipicamente estabelecem seus números publicados mais fortes, e que o fluxo R2L adiciona um pequeno overhead (~10,8% de parâmetros) que reduz ligeiramente a velocidade da inferência de requisição única em comparação com os modelos puramente causais.