Seeing the End at Step Zero: Accelerating Diffusion MLLMs via MLP Sparsity-Aware Truncation

Resumo Técnico: Vendo o Fim no Passo Zero: Acelerando DMLLMs de Difusão via Truncamento Consciente da Esparsidade de MLP

Definição do Problema
Os Modelos de Linguagem Grandes Multimodais (DMLLMs) de Difusão oferecem uma alternativa atraente aos modelos autorregressivos ao permitir a interação bidirecional entre tokens visuais e textuais por meio de um processo de denoising global iterativo. No entanto, esse paradigma introduz um gargalo severo de inferência conhecido como a "Maldição do Padding". Como os DMLLMs geram sobre uma janela de sequência de comprimento fixo, o comprimento real da saída é desconhecido no momento da inferência. Consequentemente, as sequências são preenchidas (padded) até um comprimento máximo predefinido com tokens [EOS] redundantes. Em configurações multimodais, essa redundância é particularmente custosa: o modelo deve processar repetidamente esses tokens de sufixo semanticamente vazios juntamente com contextos visuais de alta dimensão (por exemplo, imagens de alta resolução ou vídeos de múltiplos quadros) por meio de atenção cross-modal densa. Isso resulta em um desperdício computacional substancial. Além disso, o artigo argumenta que esses tokens de sufixo redundantes podem degradar a qualidade da previsão ao atuarem como nós de retransmissão fracos que vazam ruído de fundo visual irrelevante para a tarefa de volta para o prefixo de texto válido através da atenção bidirecional.

Metodologia: O Framework Seer
Os autores propõem o Seer (Step-zero End Estimation and Reduction), um framework de co-design algoritmo-sistema, livre de treinamento, que acelera DMLLMs detectando e truncando sufixos redundantes antes que o processo principal de denoising comece.

1. Detecção de Fronteira Semântica no Passo-0:
   A intuição algorítmica central é que os DMLLMs revelam implicitamente o limite do conteúdo semântico válido logo no primeiro passo de denoising (Passo-0). Por meio de perfilamento empírico, os autores observam uma mudança distinta na esparsidade de ativação de MLP em camadas iniciais (especificamente nas Camadas 3–6).

   • Salto Semântico: Tokens de prefixo válidos exibem ativações densas (baixa esparsidade).
   • Platô de Padding: Imediatamente após o fim válido, a esparsidade aumenta bruscamente e entra em um platô estável e prolongado para o sufixo [EOS] redundante.
   • Detecção Baseada em SNR: Para identificar essa fronteira de forma robusta sem limiares absolutos frágeis, o Seer utiliza um critério de Razão Sinal-Ruído (SNR). Ele analisa a estrutura de "salto-para-platô" no array de esparsidade, calculando a magnitude do salto (sinal) contra as flutuações intra-janela (ruído) para localizar a fronteira semântica $L^*$.

2. Macro-Truncamento de Passo Único (One-Shot):
   Uma vez detectada a fronteira no Passo-0, o Seer realiza um truncamento de passo único, removendo permanentemente o sufixo redundante de todas as camadas e passos de denoising subsequentes. Isso elimina o overhead computacional de processar tokens vazios ao longo do processo de difusão.

3. Roteamento de Execução Híbrida:
   Para traduzir reduções teóricas de FLOPs em aceleração real de tempo de execução durante o atendimento em lote (batched serving) de alta concorrência, o Seer aborda o "efeito straggler", onde comprimentos de sequência dinâmicos interrompem grafos de execução estáticos (ex: CUDA Graphs). Ele introduz uma métrica de Razão de Desperdício de Padding (PWR) para rotear dinamicamente os lotes em três caminhos especializados:

   • Caminho de Grafo Estático (Static-Graph Path): Para grupos uniformes com desperdício de padding negligenciável, utilizando CUDA Graphs pré-capturados.
   • Caminho de Grafo Bucket-Varlen (Bucket-Varlen-Graph Path): Para grupos com dispersão moderada, reempacotando sequências em formatos de comprimento variável (varlen) para eliminar o padding enquanto mantém a compatibilidade do grafo.
   • Caminho Eager (Eager Path): Para outliers altamente enviesados ou prefixos ultra-curtos, utilizando um modo de execução eager leve.
   • Sombreamento de Latência Residente no Dispositivo (Device-Resident Latency Shadowing): Um kernel Triton fundido opera inteiramente dentro da VRAM para realizar fatiamento, reempacotamento e reescrita de máscara de forma assíncrona, evitando gargalos de sincronização CPU-GPU.

Principais Contribuições

• Identificação de um Novo Gargalo: O artigo destaca que a redundância de texto no lado da saída em difusão de janela fixa é um problema de eficiência crítico e subexplorado que amplifica interações desnecessárias com contextos visuais e introduz vazamento de ruído.
• Descoberta do Sinal de Esparsidade no Passo-0: Os autores são os primeiros a identificar que a esparsidade de MLP do lado do texto em camadas iniciais no Passo-0 serve como um oráculo confiável e livre de treinamento para a fronteira semântica do texto válido.
• Framework Seer: Um novo framework de macro-truncamento de passo único, livre de treinamento, que combina detecção de fronteira consciente de SNR com uma estratégia de roteamento de execução híbrida.
• Purificação de Representação: Análise teórica e empírica sugere que truncar o sufixo não apenas acelera a inferência, mas também melhora a precisão do raciocínio em tarefas visuais complexas ao cortar o caminho para o vazamento de ruído mediado pelo sufixo.

Resultados Experimentais
Avaliado em três arquiteturas de DMLLM (LaViDa-LLaDA, LaViDa-Dream e MMaDA) em nove benchmarks (incluindo MME, MMMU, MMBench, DocVQA e MathVista), o Seer demonstra ganhos significativos:

• Throughput: O Seer acelera o throughput em até ~31× comparado aos baselines (por exemplo, aumentando de 0.13 para 4.02 tokens/s na MMaDA para InfoVQA).
• Latência: A latência de ponta a ponta é significativamente reduzida, com o framework mantendo a eficiência mesmo em grandes tamanhos de lote (ex: 256), onde o truncamento ingênuo falha devido ao desperdício de padding.
• Precisão: O Seer mantém um desempenho competitivo em todos os benchmarks. Notavelmente, ele melhora a precisão em certas tarefas visuais complexas (ex: a pontuação DocVQA aumentou de 63.52 para 63.66), validando a hipótesia de que a remoção de sufixos mitiga o vazamento de ruído.
• Compatibilidade: O framework é ortogonal a otimizações existentes como KV caching, proporcionando acelerações cumulativas quando combinadas.

Significância e Alegações
O artigo afirma que o Seer oferece uma solução plug-and-play altamente eficiente para a aceleração de DMLLMs que não requer retreinamento ou ajuste fino (fine-tuning). Ao deslocar o foco da compressão de tokens visuais do lado da entrada (que corre o risco de perder detalhes finos) para a redundância de texto do lado da saída, o Seer aborda as ineficiências computacionais específicas inerentes ao paradigma de decodificação de difusão. Os autores afirmam que seu trabalho demonstra que "ver o fim no Passo Zero" não é apenas possível, mas essencial para desbloquear todo o potencial da geração multimodal baseada em difusão, fornecendo um método principiado para equilibrar eficiência e qualidade de geração.