💻 computer science

Sparse-LaViDa: Sparse Multimodal Discrete Diffusion Language Models

Sparse-LaViDa es un marco novedoso que acelera los Modelos de Difusión Discreta Enmascarada mediante la truncación dinámica de tokens enmascarados redundantes durante la inferencia mientras preserva la calidad de la generación a través de tokens de registro especializados y una máscara de atención de entrenamiento consistente, logrando hasta una aceleración de 2x en diversas tareas multimodales.

Autores originales: Shufan Li, Jiuxiang Gu, Kangning Liu, Zhe Lin, Zijun Wei, Aditya Grover, Jason Kuen

Publicado 2026-07-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Shufan Li, Jiuxiang Gu, Kangning Liu, Zhe Lin, Zijun Wei, Aditya Grover, Jason Kuen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un rompecabezas masivo, pero en lugar de ver la imagen de la caja, tienes que adivinar el color y la forma de cada pieza desde cero. En el mundo de la inteligencia artificial, esto es lo que sucede cuando las computadoras intentan crear imágenes o comprender escenas complejas. Durante mucho tiempo, los científicos han utilizado dos herramientas principales para esto: una que construye imágenes pieza por pieza como un escritor que escribe una oración (llamados modelos autorregresivos), y otra que comienza con un desenfoque estático y ruidoso y lo limpia gradualmente hasta que la imagen aparece (llamados modelos de difusión). Recientemente, un nuevo enfoque híbrido llamado "Masked Discrete Diffusion" se ha convertido en una superestrella. Trata tanto al texto como a las imágenes como una larga cadena de piezas de rompecabezas (tokens), donde la computadora aprende a predecir las piezas faltantes mirando las que ya conoce. Esto es increíblemente poderoso porque permite a la IA mirar toda la imagen a la vez, en lugar de solo la siguiente pieza, lo que la hace excelente para editar fotos o resolver problemas matemáticos. Sin embargo, hay un inconveniente: para limpiar la imagen, la computadora tiene que reexaminar cada una de las piezas del rompecabezas en cada paso, incluso aquellas que ya están resueltas o que aún están ocultas. Es como un chef que, mientras cocina un estofado, prueba cada uno de los ingredientes en la olla cada minuto, incluso aquellos que ya están perfectamente sazonados, solo para asegurarse de que el sabor sea el correcto. Esto hace que el proceso sea lento y hambriento de potencia de cómputo.

Entra Sparse-LaViDa, un nuevo método que actúa como un inteligente subchef para estos modelos de IA. Los investigadores detrás de este trabajo se dieron cuenta de que la computadora no necesita mirar todo el rompecabezas cada vez; solo necesita enfocarse en las piezas que se están resolviendo actualmente. Construyeron un sistema que "trunca" dinámicamente, o corta, los tokens enmascarados innecesarios (las piezas ocultas o ya resueltas) durante el proceso de cocción. Pero aquí está la parte ingeniosa: no puedes simplemente tirar esas piezas, o la IA podría olvidar el contexto de la imagen completa. Así que, Sparse-LaViDa introduce "tokens de registro" especiales. Piensa en ellos como pequeños marcadores mágicos que sirven de sustitutos para las piezas faltantes. Son resúmenes compactos que le dicen a la IA: "Oye, todavía hay 1,000 piezas aquí, pero no necesitas mirarlas individualmente ahora; solo confía en el marcador". Esto permite que la IA se salte el trabajo redundante mientras mantiene en mente la imagen completa.

El artículo demuestra que este enfoque funciona de maravilla. Al usar estos tokens de registro y una forma especial de organizar la memoria de la computadora (llamada caché KV), el nuevo modelo, Sparse-LaViDa, acelera el proceso significativamente sin perder nada de calidad. En las pruebas, hizo que la generación de texto a imagen fuera casi 2 veces más rápida (específicamente un aumento de velocidad de 1.96×), la edición de imágenes casi 3 veces más rápida (aumento de 2.84×) y el razonamiento matemático visual 2.80 veces más rápido. Crucialmente, los autores muestran que esto no es solo un truco que funciona para tareas simples; preserva la capacidad de realizar cosas complejas como el "inpainting" (rellenar partes faltantes de una imagen) y el "outpainting" (extender una imagen), que otros métodos rápidos suelen romper. Los investigadores sugieren que, si bien este es un gran aumento de eficiencia, requiere un proceso de entrenamiento específico para enseñar al modelo cómo usar estos marcadores correctamente. También señalan que, aunque lograron estos resultados mediante el ajuste fino de un modelo existente, el método es teóricamente capaz de entrenar modelos masivos desde cero en el futuro. En última instancia, Sparse-LaViDa sugiere que podemos tener nuestro pastel y comérnoslo también: una generación súper rápida que no sacrifica el pensamiento bidireccional y complejo que hace que estos modelos sean tan buenos para entender y crear el mundo visual.

Resumen Técnico: Sparse-LaViDa

Planteamiento del Problema

Los Modelos de Difusión Discreta con Máscara (MDMs, por sus siglas en inglés) han emergido como un marco unificado potente para tareas multimodales, incluyendo la comprensión, generación y edición de imágenes. A diferencia de los modelos autorregresivos (AR), los MDMs utilizan contexto bidireccional y decodificación paralela, ofreciendo ventajas en tareas como el inpainting de imágenes y el relleno de texto (text infilling). Sin embargo, los MDMs existentes sufren de ineficiencias significativas de inferencia:

Procesamiento Redundante: En cada paso de muestreo, los MDMs estándar deben procesar la secuencia completa de tokens, incluyendo un gran número de tokens enmascarados redundantes que no aportan información sustantiva.
Falta de Soporte para KV-Cache: Debido a su dependencia de mecanismos de atención completa en lugar de atención causal, los MDMs estándar no pueden utilizar la aceleración por KV-cache durante la inferencia.
Limitaciones de los Aceleradores Existentes: Los intentos previos para acelerar los MDMs, como Block Diffusion, imponen un orden causal de bloque de izquierda a derecha. Si bien esto permite el uso de KV-caching, sacrifica el contexto bidireccional esencial para la generación y edición de imágenes, haciendo que tareas como el inpainting sean difíciles o imposibles.

Metodología

Los autores proponen Sparse-LaViDa, un nuevo marco de modelado diseñado para acelerar el muestreo de MDM mediante la truncación dinámica de tokens enmascarados innecesarios, preservando al mismo tiempo la calidad de la generación y el contexto bidireccional. El método introduce tres innovaciones principales:

1. Parametrización Dispersa (Sparse Parameterization)

En lugar de materializar todos los tokens enmascarados en la secuencia de entrada, Sparse-LaViDa representa las secuencias parcialmente enmascaradas utilizando únicamente:

Tokens de prompt y tokens previamente decodificados (almacenados en el KV cache).
Un subconjunto de tokens enmascarados seleccionados para la decodificación en el paso actual.
Tokens de Registro (Register Tokens): Tokens especiales introducidos para servir como representaciones compactas de los tokens enmascarados truncados (eliminados). Estos registros ayudan a recuperar la capacidad de modelado perdida debido a la truncación. En el diseño final, se utilizan 64 tokens de registro, posicionados al final de la secuencia.

2. Máscara de Atención Causal por Paso (Step-Causal Attention Mask)

Para garantizar la consistencia entre el entrenamiento y la inferencia, los autores diseñan una máscara de atención especializada que simula el comportamiento de caché de tokens incremental observado durante la inferencia:

Entrenamiento: La secuencia se particiona en bloques. Los tokens de prompt se asignan al bloque 0. Los tokens limpios se asignan a los bloques $1 \dots M$ , y los tokens enmascarados a los bloques $M+1 \dots M+N$ .
Reglas de Atención: Los tokens en un bloque específico pueden atender a los tokens en su propio bloque o en bloques anteriores. Crucialmente, los tokens enmascarados en un bloque específico no pueden atender a los tokens enmascarados en otros bloques enmascarados, pero sí pueden atender a todos los tokens de prompt y limpios.
Integración de Registros: Los tokens de registro se anexan a cada bloque enmascarado y siguen las mismas reglas de atención.
Este diseño permite un entrenamiento paralelo eficiente mientras coincide fielmente con el procedimiento de inferencia donde el modelo solo observa un subconjunto de tokens.

3. Estrategia de Muestreo

El marco soporta diferentes estrategias de desmascarado dependiendo de la tarea:

Generación Visual (Texto a Imagen, Edición): Utiliza un orden de desmascarado 2D pregenerado (por ejemplo, muestreo aleatorio estratificado) para mantener una alta calidad de generación sin depender de puntuaciones de confianza.
Generación/Comprensión de Texto: Emplea una estrategia semi-autorregresiva donde los bloques de tokens se muestrean de izquierda a derecha, pero dentro de los bloques, el desmascarado es dinámico. A diferencia de Block Diffusion, este enfoque mantiene el contexto bidireccional a través de los bloques.

Contribuciones Clave

Parametrización Eficiente: Sparse-LaViDa es el primer método que soporta tanto el KV-caching como la truncación arbitraria de tokens sin asumir un orden de decodificación de izquierda a derecha ni sacrificar el contexto bidireccional.
Tokens de Registro: La introducción de tokens de registro como representaciones comprimidas de los tokens truncados mitiga eficazmente la degradación del rendimiento causada por la eliminación agresiva de tokens.
Consistencia Entrenamiento-Inferencia: La máscara de atención causal por paso cierra la brecha entre el entrenamiento y la inferencia, permitiendo que el modelo aprenda la parametrización dispersa directamente sin necesidad de destilación o modificaciones heurísticas.
Marco Unificado: El enfoque está construido sobre LaViDa-O, un MDM unificado de vanguardia, lo que le permite manejar diversas tareas (generación, edición, razonamiento) dentro de un único marco acelerado.

Resultados Experimentales

Los autores evaluaron Sparse-LaViDa en una amplia gama de benchmarks multimodales, comparándolo con la línea base LaViDa-O y otros modelos de vanguardia.

Generación de Texto a Imagen: En el benchmark GenEval, Sparse-LaViDa logró un rendimiento comparable al de LaViDa-O (0.78 frente a 0.77 de puntuación general) mientras reducía la latencia de inferencia de 21.27s a 10.86s, obteniendo una aceleración de 1.96×. En DPG-bench y MJHQ-30k, mantuvo o mejoró ligeramente las métricas perceptuales (por ejemplo, el FID mejoró de 8.11 a 7.63 cuando se entrenó con el mismo subconjunto de datos).
Edición de Imágenes: En el benchmark ImgEdit, Sparse-LaViDa mejoró la puntuación general de 3.71 a 3.79 mientras reducía la latencia de 63.98s a 22.55s, logrando una aceleración de 2.83×.
Razonamiento Matemático Visual: En el benchmark MathVista, el modelo logró una aceleración de 2.80× (3.72s frente a 10.41s) manteniendo una precisión comparable a la de la línea base (56.7 frente a 56.9).
Estudios de Ablación:
- La eliminación de los tokens de registro provocó caídas en el rendimiento en la alineación fina (DPG) y en las métricas de calidad de imagen (FID, HPS v3), confirmando su función en la preservación de detalles visuales de bajo nivel.
- La eliminación de la máscara de atención causal por paso o saltarse el ajuste fino resultó en una degradación significativa del rendimiento, resaltando la necesidad del pipeline de entrenamiento propuesto.

Significado y Reivindicaciones

El artículo afirma que Sparse-LaViDa ofrece una parametrización fundamentalmente eficiente para los MDM estándar que permite un entrenamiento e inferencia escalables sin necesidad de etapas de destilación post-hoc o modificaciones heurísticas sin entrenamiento.

Los autores enfatizan que:

Sparse-LaViDa logra aceleraciones sustanciales (hasta 2.84×) en diversas tareas mientras mantiene la calidad de generación comparable a la de la línea base densa.
A diferencia de los métodos de aceleración previos (por ejemplo, Block Diffusion), preserva el contexto bidireccional, permitiendo tareas complejas como inpainting de imágenes, outpainting y captioning restringido que dependen de dependencias no causales.
El método proporciona un enfoque de consistencia entrenamiento-inferencia, evitando la degradación de rendimiento impredecible que se observa a menudo en las técnicas de aceleración basadas en heurísticas.

El trabajo posiciona a Sparse-LaViDa como un camino viable para hacer que los modelos de difusión multimodales unificados sean prácticos para aplicaciones en tiempo real, equilibrando la ventaja teórica de los MDM con la eficiencia computacional requerida para el despliegue.