Neither Parallel Nor Sequential: How DiffusionGemma Actually Commits Tokens

Resumo Técnico: Nem Paralelo, Nem Sequencial

Definição do Problema
Modelos de linguagem de difusão (DLMs) abertos são teoricamente caracterizados como decodificadores paralelos, não-autoregressivos, que comprometem tokens iterativamente através da denoise de uma tela (canvas) mascarada. No entanto, a ordem real na qual um checkpoint implantado finaliza os tokens raramente é medida empiricamente. Permanece incerto se esses modelos exibem paralelismo estrito, autoregressão de bloco limpa ou um comportamento híbrido. Essa ambiguidade obscurece as reais vantagens de latência e a dinâmica de decodificação do paradigma.

Metodologia
Os autores conduziram um estudo de interpretabilidade focado apenas em inferência do checkpoint público google/diffusiongemma-26B-A4B-it, um modelo de mistura de especialistas (mixture-of-experts) de difusão discreta mascarada de 25,2 bilhões de parâmetros (3,8B ativos) construído sobre o Gemma 4.

• Instrumentação: O estudo conectou-se ao método EntropyBoundSampler.accept_canvas do modelo dentro da biblioteca transformers do Hugging Face. Isso permitiu que os autores registrassem, para cada geração, exatamente quais posições da tela foram comprometidas em cada chamada de aceitação (accept-call) e a entropia por posição dos logits comprometidos.
• Desenho Experimental: A avaliação utilizou uma suíte de sondagem de 686 prompts em seis regimes: Matemática (GSM8K), Completamento de Código (HumanEval), Síntese de Código (MBPP), Recall Factual, Instruções de Texto Aberto e JSON Restrito.
• Execução de Fortalecimento: Para garantir robustez, os autores realizaram uma "execução de fortalecimento" usando 5 sementes aleatórias e 20 prompts por regime (100 traços por regime, 600 gerações no total).
• Métricas:
  • Ordem: A métrica primária foi a correlação de classificação de Kendall ($\tau_b$) sensível a empates entre o índice de chamada de compromisso de um token e sua posição esquerda-para-direita.
  • Granularidade: Uma varredura de bloco-$\tau_b$ foi realizada sobre tamanhos de bin $B \in \{4, 8, 16, 32, 64\}$ para testar a existência de blocos arquitetônicos privilegiados.
  • Confiança-Correção: O poder preditivo da confiança de compromisso (entropia negativa) sobre a correção foi medido via AUROC e curvas de confiabilidade, estritamente dentro de cada regime para evitar o paradoxo de Simpson.
  • Controles: Um controle sequencial de bloco sintético (tempo de compromisso = posição // 16) foi utilizado para delimitar o $\tau_b$ esperado de um processo de bloco-autoregressivo limpo.

Principais Descobertas

1. Viés Esquerda-Direita Parcial e Dependente de Granularidade:
   O DiffusionGemma não exibe uma autoregressão de bloco limpa. Em vez disso, mostra um viés parcial da esquerda para a direita que é moderado ao nível do token e aumenta suavemente em direção ao comportamento sequencial conforme o tamanho do bin de análise aumenta.

   • $\tau_b$ ao nível do Token: Varia de 0,43 (Código) a 0,60 (Síntese de Código), significativamente abaixo do +1 da autoregressão estrita e bem abaixo do 0,94–0,96 do controle bloco-sequencial.
   • Sensibilidade ao Tamanho do Bin: O bloco-$\tau_b$ aumenta monotonicamente com o tamanho do bin (ex: para Matemática: 0,59 em $B=4$ para 0,91 em $B=64$). Crucialmente, não há um salto em $B=16$, indicando que 16 é um bin escolhido pelo analista, não um tamanho de bloco arquitetônico privilegiado.
   • Desordem Sub-Bloco: A lacuna entre a ordem real dos tokens e o controle bloco-sequencial confirma uma desordem genuína dentro dos blocos.

2. Lotes de Compromisso Grandes e Ordem Não Resolvida:
   O compromisso ocorre em grandes lotes. Em média, 13–26 tokens de conteúdo são comprometidos por cada chamada de aceitação. Uma fração significativa de pares de tokens (até 0,72 em JSON) é comprometida na mesma chamada, o que significa que sua ordem relativa não está resolvida. O $\tau_b$ medido reflete uma tendência ao nível da chamada de aceitação, em vez de uma ordenação estrita dentro do passo.

3. Dependência de Regime:

   • JSON Estruturado: O regime de JSON restrito é aproximadamente independente de ordem ($\tau_b \approx -0,044$), distinto do viés positivo moderado dos regimes de prosa, código e matemática.
   • Discriminação Confiança-Correção: A confiança de compromisso prevê a correção em Matemática (GSM8K AUROC 0,749, IC excluindo o acaso), mas é nula em Recall Factual (AUROC 0,471, IC inclui 0,5). Agrupar esses regimes cria um artefato de paradoxo de Simpson, revertendo a tendência.

4. Parada Precoce Agressiva:
   Apesar de um orçamento de denoising de 48 passos, as gerações terminam em um pequeno surto de chamadas de aceitação (3,3–17,1 chamadas). A entropia no compromisso está muito abaixo do limite de 0,1 (0,002–0,012 nats), indicando que o modelo compromete o conteúdo muito antes de esgotar seu orçamento de passos.

5. Precisão:
   Nos regimes pontuáveis (Matemática, Factual, JSON), a precisão do DiffusionGemma é comparável à de seu irmão autoregressivo correspondente, Gemma-4 26B-A4B, embora o estudo não tenha sido dimensionado para um teste de equivalência.

Significância e Contribuições
O artigo afirma revisar a compreensão da decodificação por difusão de "secretamente esquerda-para-direita" ou "fora de ordem estruturada" para uma realidade mais matizada: um viés de esquerda-para-direita parcial e dependente de granularidade que é específico de cada regime e caracterizado por grandes lotes de compromisso não resolvidos.

Metodologicamente, o artigo contribui com um framework para medir a ordem de decodificação que aborda falhas específicas:

• Artefatos de Preenchimento (Padding) de EOS: Métricas ingênuas são dominadas pelo compromisso precoce de tokens de preenchimento; restringir a análise às posições de conteúdo é essencial.
• Paradoxo de Simpson: Agrupar dados de confiança-correção entre regimes com diferentes precisões base e escalas de entropia produz conclusões inválidas.
• Não-Monotonicidade de Compromisso: O estudo leva em conta eventos de "des-aceitação" (re-mascaramento) ao definir a ordem como a ordem de primeira aceitação, verificando a robustez no subconjunto estritamente monótono.
• Sensibilidade ao Tamanho do Bloco: Demonstra que tamanhos de bloco percebidos são frequentemente artefatos da escolha de agrupamento (binning) do analista, e não da arquitetura do modelo.

Os autores concluem que a lente da instrumentação — observar os compromissos por passo de um amostrador (sampler) entregue, em vez de propor uma nova estratégia — fornece uma ferramenta necessária para auditar o comportamento real dos modelos de linguagem de difusão.