Seeing the End at Step Zero: Accelerating Diffusion MLLMs via MLP Sparsity-Aware Truncation

Resumen Técnico: Ver el final en el Paso Cero: Aceleración de los MLLM de Difusión mediante la Truncación Consciente de la Esparcidad de MLP

Planteamiento del Problema
Los Modelos de Lenguaje Multimodales de Difusión (DMLLM) ofrecen una alternativa convincente a los modelos autorregresivos al permitir la interacción bidireccional entre los tokens visuales y textuales a través de un proceso de eliminación de ruido iterativo global. Sin embargo, este paradigma introduce un cuello de botella severo en la inferencia conocido como la "Maldición del Relleno" (Curse of Padding). Debido a que los DMLLM generan sobre una ventana de secuencia de longitud fija, la longitud real de la salida es desconocida en el momento de la inferencia. En consecuencia, las secuencias se rellenan hasta una longitud máxima predefinida con tokens [EOS] redundantes. En entornos multimodales, esta redundancia es particularmente costosa: el modelo debe procesar repetidamente estos tokens de sufijo semánticamente vacíos junto con contextos visuales de alta dimensión (por ejemplo, imágenes de alta resolución o videos de múltiples fotogramas) a través de la atención cruzada densa. Esto resulta en un desperdicio computacional sustancial. Además, el artículo argumenta que estos tokens de sufijo redundantes pueden degradar la calidad de la predicción al actuar como nodos de relevo débiles que filtran ruido de fondo visual irrelevante para la tarea hacia el prefijo de texto válido a través de la atención bidireccional.

Metodología: El Marco Seer
Los autores proponen Seer (Step-zero End Estimation and Reduction), un marco de co-diseño de algoritmo y sistema, libre de entrenamiento, que acelera los DMLLM detectando y truncando los sufijos redundantes antes de que comience el proceso principal de eliminación de ruido.

1. Detección de la Frontera Semántica en el Paso 0:
   La idea algorítmica central es que los DMLLM revelan implícitamente el límite del contenido semántico válido en el primer paso de eliminación de ruido (Paso-0). A través de un perfilado empírico, los autores observan un cambio distintivo en la esparcidad de la activación de MLP en las capas iniciales (específicamente en las Capas 3–6).

   • Salto Semántico: Los tokens del prefijo válidos exhiben activaciones densas (baja esparcidad).
   • Meseta de Relleno: Inmediatamente después del final válido, la esparcidad aumenta bruscamente y entra en una meseta estable y prolongada para el sufijo [EOS] redundante.
   • Detección Basada en SNR: Para identificar este límite de forma robusta sin umbrales absolutos frágiles, Seer emplea un criterio de Relación Señal-Ruido (SNR). Analiza la estructura de "salto-a-meseta" en el arreglo de esparcidad, calculando la magnitud del salto (señal) frente a las fluctuaciones intra-ventana (ruido) para localizar la frontera semántica $L^*$.

2. Macro-Truncación de Un Solo Paso (One-Shot):
   Una vez detectada la frontera en el Paso-0, Seer realiza una macro-truncación de un solo paso, eliminando permanentemente el sufijo redundante de todas las capas y pasos de eliminación de ruido subsiguientes. Esto elimina la sobrecarga computacional de procesar tokens vacíos durante todo el proceso de difusión.

3. Enrutamiento de Ejecución Híbrida:
   Para traducir las reducciones teóricas de FLOPs en una aceleración real del tiempo de ejecución durante el servicio por lotes (batch serving) de alta concurrencia, Seer aborda el "efecto rezagado" (straggler effect) donde las longitudes de secuencia dinámicas interrumpen los grafos de ejecución estáticos (por ejemplo, CUDA Graphs). Introduce una métrica de Ratio de Desperdicio de Relleno (PWR) para enrutar dinámicamente los lotes en tres rutas especializadas:

   • Ruta de Grafo Estático: Para grupos uniformes con un desperdicio de relleno insignificante, utilizando CUDA Graphs precapturados.
   • Ruta de Bucket-Varlen-Graph: Para grupos con dispersión moderada, reempaquetando secuencias en formatos de longitud variable (varlen) para eliminar el relleno manteniendo la compatibilidad con el grafo.
   • Ruta Eager: Para valores atípicos altamente sesgados o prefijos ultra-cortos, utilizando un modo de ejecución eager ligero.
   • Sombreado de Latencia Residente en el Dispositivo: Un kernel de Triton fusionado opera enteramente dentro de la VRAM para realizar el recorte, reempaquetado y reescritura de máscaras de forma asíncrona, evitando los cuellos de botella de sincronización CPU-GPU.

Contribuciones Clave

• Identificación de un Nuevo Cuello de Botella: El artículo destaca que la redundancia de texto en el lado de la salida en la difusión de ventana fija es un problema de eficiencia crítico y poco explorado, que amplifica las interacciones innecesarias con los contextos visuales e introduce la fuga de ruido.
• Descubrimiento de la Señal de Esparcidad del Paso-0: Los autores son los primeros en identificar que la esparcidad de MLP del lado del texto en las capas iniciales en el Paso-0 sirve como un oráculo fiable y libre de entrenamiento para la frontera semántica del texto válido.
• Marco Seer: Un novedoso marco de macro-truncación de un solo paso y libre de entrenamiento que combina la detección de fronteras consciente de SNR con una estrategia de enrutamiento de ejecución híbrida.
• Purificación de la Representación: El análisis teórico y empírico sugiere que truncar el sufijo no solo acelera la inferencia, sino que también mejora la precisión del razonamiento en tareas visuales complejas al cortar la vía para la fuga de ruido mediada por el sufijo.

Resultados Experimentales
Evaluado en tres arquitecturas de DMLLM (LaViDa-LLaDA, LaViDa-Dream y MMaDA) a través de nueve benchmarks (incluyendo MME, MMMU, MMBench, DocVQA y MathVista), Seer demuestra ganancias significativas:

• Throughput (Capacidad de Procesamiento): Seer acelera el throughput hasta un ~31× en comparación con las líneas base (por ejemplo, aumentando de 0.13 a 4.02 tokens/s en MMaDA para InfoVQA).
• Latencia: La latencia de extremo a extremo se reduce significamente; el marco mantiene la eficiencia incluso en tamaños de lote grandes (por ejemplo, 256) donde el truncamiento ingenuo falla debido al desperdicio de relleno.
• Precisión: Seer mantiene un rendimiento competitivo en todos los benchmarks. Notablemente, mejora la precisión en ciertas tareas visuales complejas (por ejemplo, la puntuación de DocVQA aumentó de 63.52 a 63.66), validando la hipótesis de que la eliminación de sufijos mitiga la fuga de ruido.
• Compatibilidad: El marco es ortogonal a las optimizaciones existentes como el KV caching, proporcionando aceleraciones acumulativas cuando se combina con ellas.

Significancia y Reivindicaciones
El artículo afirma que Seer ofrece una solución plug-and-play altamente eficiente para la aceleración de DMLLM que no requiere reentrenamiento ni ajuste fino (fine-tuning). Al desplazar el enfoque de la compresión de tokens visuales en el lado de la entrada (que conlleva el riesgo de perder detalles finos) hacia la redundancia de texto en el lado de la salida, Seer aborda las ineficiencias computacionales específicas inherentes al paradigma de decodificación por difusión. Los autores aseguran que su trabajo demuestra que "ver el final en el Paso Cero" no solo es posible, sino esencial para desbloquear todo el potencial de la generación multimodal basada en difusión, proporcionando un método con principios para equilibrar la eficiencia y la calidad de la generación.