💻 computer science

LaViDa: A Large Diffusion Language Model for Multimodal Understanding

LaViDa introduce una nueva familia de modelos de visión y lenguaje construidos sobre mecanismos de difusión discreta que aprovechan la decodificación paralela y el contexto bidireccional para lograr un rendimiento competitivo, una inferencia más rápida y una mayor capacidad de control en comparación con los modelos autorregresivos tradicionales.

Autores originales: Shufan Li, Konstantinos Kallidromitis, Hritik Bansal, Akash Gokul, Yusuke Kato, Kazuki Kozuka, Jason Kuen, Zhe Lin, Kai-Wei Chang, Aditya Grover

Publicado 2026-07-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Shufan Li, Konstantinos Kallidromitis, Hritik Bansal, Akash Gokul, Yusuke Kato, Kazuki Kozuka, Jason Kuen, Zhe Lin, Kai-Wei Chang, Aditya Grover

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras pueden "ver" y "hablar" al mismo tiempo. Este es el reino de los Modelos de Visión y Lenguaje (VLM, por sus siglas en inglés), los asistentes de IA superinteligentes que pueden mirar una foto de un atardecer y escribir un poema sobre él, o examinar un gráfico complejo y explicar las tendencias. Durante años, la forma estándar en que estos modelos piensan es como un estudiante tomando un examen: responden palabra por palabra, estrictamente de izquierda a derecha. Escriben "El", luego "cielo", luego "es", sin volver atrás para cambiar una palabra previa. Aunque esto funciona bien, es lento porque no pueden escribir en paralelo, y es rígido; si cometen un error en la primera palabra de una oración, no pueden volver fácilmente para corregirla sin empezar de cero.

Pero, ¿y si hubiera una forma diferente? Imagina que, en lugar de escribir una oración palabra por palabra, comenzaras con una página en blanco llena de signos de interrogación y fueras llenando los espacios poco a poco, decidiendo qué palabras van en qué lugar, todo a la vez, refinando constantemente tus elecciones hasta que la imagen sea clara. Esta es la idea detrás de los "modelos de difusión". Originalmente famosos por crear imágenes impresionantes a partir del ruido, investigadores han intentado recientemente usar este enfoque de "completar los espacios en blanco" para el texto. La gran pregunta es: ¿Podemos combinar esta forma de pensar flexible y paralela con la capacidad de ver imágenes? Si pudiéramos, podríamos obtener una IA que no solo sea más inteligente al seguir reglas estrictas (como escribir un poema donde cada línea comience con una letra específica), sino también mucho más rápida porque no tiene que esperar a que termine una palabra antes de comenzar la siguiente.

Presentamos a LaViDa (Large Vision-Language Diffusion Model), una nueva familia de modelos de IA introducida por investigadores de UCLA, Panasonic, Adobe y Salesforce. Piensa en LaViDa como el primer "artista multitarea" que utiliza el método de difusión para entender imágenes y escribir sobre ellas. En lugar de escribir una historia palabra por palabra como un robot tradicional, LaViDa comienza con un lienzo en blanco de "máscaras" (marcadores de posición) y revela gradualmente la respuesta, llenando los espacios de una manera que le permite observar la estructura completa de la oración a la vez.

Los investigadores descubrieron que este enfoque tiene algunos superpoderes. Debido a que LaViDa puede observar la estructura completa de la oración antes de finalizarla, es increíblemente bueno en tareas que requieren reglas estrictas, como completar un poema donde cada línea debe comenzar con una letra específica. En las pruebas, superó por completo a la competencia en estas tareas "con restricciones", mejorando el rendimiento en un 59% en comparación con los mejores modelos estándar. También ofrece un "dial de velocidad" único para los usuarios: puedes decirle que sea súper rápido llenando menos espacios en blanco a la vez, o súper alta calidad tomando más pasos para refinar la respuesta. En la descripción de imágenes (image captioning), logró ser casi 2 veces más rápido que sus rivales mientras escribía descripciones mejores (obteniendo +4.1 puntos en una métrica de calidad llamada CIDEr).

Sin embargo, el artículo también señala que este nuevo método no es una varita mágica que lo resuelve todo instantáneamente. Los investigadores tuvieron que inventar algunos trucos ingeniosos para que funcionara bien. Por un lado, crearon una técnica de "enmascaramiento complementario", que es como darle al modelo dos versiones diferentes de un rompecabezas para resolver al mismo tiempo para que no se pierda ninguna pista importante. También construyeron un sistema "Prefix-DLM", que actúa como un atajo inteligente, permitiendo que el modelo recuerde la imagen y la pregunta sin tener que leerlas de nuevo cada vez que adivina una nueva palabra.

A pesar de estos éxitos, el artículo es cuidadoso al señalar dónde LaViDa aún tiene margen de crecimiento. Aunque supera a otros modelos en muchas pruebas de razonamiento y conocimiento general, a veces tiene dificultades para leer texto diminuto dentro de las imágenes (OCR) porque tuvo que comprimir los detalles de la imagen para que cupieran en su memoria. Los autores sugieren que, si bien los modelos de difusión son una alternativa poderosa y prometedora al enfoque estándar de "una palabra a la vez", todavía están aprendiendo cómo escalar para igualar a los modelos de IA más grandes y voraces de datos que existen. En última instancia, LaViDa demuestra que el método de "completar los espacios en blanco" no es solo para crear imágenes; puede ser una forma fuerte, flexible y rápida para que las computadoras entiendan nuestro mundo visual.

Resumen Técnico: LaViDa - Un Gran Modelo de Lenguaje de Difusión para la Comprensión Multimodal

Planteamiento del Problema

Los modelos de visión-lenguaje (VLM) modernos dependen predominantemente de arquitecturas autorregresivas (AR) (por ejemplo, LLaVA, Qwen-VL), que generan texto token por token en una secuencia de izquierda a derecha. Aunque son efectivos, este enfoque sufre de limitaciones inherentes:

Velocidad de Inferencia: La generación secuencial es difícil de paralelizar, lo que conduce a una inferencia lenta.
Controlabilidad: Los modelos AR tienen dificultades con tareas que requieren contexto bidireccional o restricciones estructurales estrictas, como el relleno de texto (infilling) (por ejemplo, completar un poema con inicios de sílabas específicos) o la generación de salidas estructuradas (por ejemplo, JSON) donde el contenido debe coordinarse a través de la secuencia.

Los Modelos de Difusión Discreta (DM) ofrecen una alternativa teórica al tratar la generación como un proceso de desenmascaramiento gradual de tokens. Permiten la decodificación paralela y el modelado de contexto bidireccional. Sin embargo, su aplicación a tareas multimodales sigue siendo poco explorada, y las adaptaciones ingenuas enfrentan desafíos significativos en eficiencia de entrenamiento y velocidad de inferencia.

Metodología

Los autores presentan LaViDa (Large Vision-Language Diffusion Model with Masking), la primera familia de VLMs construida sobre modelos de difusión discreta. La arquitectura integra un codificador de visión con un modelo de lenguaje de difusión (DLM) mediante un proyector MLP, de forma análoga a los VLMs basados en AR como LLaVA.

Arquitectura Central

Codificador de Visión: Utiliza SigLIP-400M para procesar imágenes de entrada. Para equilibrar la resolución y la longitud de la secuencia, las imágenes se redimensionan y dividen en múltiples vistas (cuatro vistas de $384^2$ y una de $768^2$ redimensionada a $384^2$ ). Estas se codifican y agrupan (pooling promedio de $2\times2$ ) para reducir el recuento de tokens a 980 por imagen antes de la proyección.
Modelo de Lenguaje de Difusión: Un DLM basado en Transformer (usando los backbones LLaDA-8B o Dream-7B) que reemplaza la máscara de atención causal de los modelos AR con una máscara no causal (bidireccional). Está entrenado para predecir tokens limpios $X_0$ dado una secuencia parcialmente enmascarada $X_t$ y el contexto visual/de prompt.

Innovaciones Técnicas Clave

Para abordar los desafíos específicos de aplicar DMs a tareas de visión-lenguaje, LaViDa incorpora tres técnicas novedosas:

Enmascaramiento Complementario (Eficiencia de Entrenamiento):
- Problema: El entrenamiento estándar de DM enmascara tokens estocásticamente. En tareas multimodales, los tokens críticos de la respuesta (a menudo cortos y dispersos) pueden permanecer sin enmascarar en una sola muestra, excluyéndolos del cálculo de la pérdida y causando gradientes desalineados para el codificador de visión.
- Solución: Para cada muestra de entrenamiento, el modelo genera dos versiones enmascaradas ( $X_t$ y $X^C_t$ ) con tramos corruptos disjuntos. Esto asegura que cada token en la secuencia de salida contribuya a la pérdida. Los embeddings de visión se copian para ambas versiones para maximizar la eficiencia.
Prefix-DLM (Velocidad de Inferencia):
- Problema: Los DMs típicamente no pueden utilizar el caché KV porque requieren atención bidireccional completa, lo que lleva a la recomputación repetida de llaves (keys) y valores (values) para todo el prompt (incluyendo cientos de tokens visuales) en cada paso de decodificación.
- Solución: Se introduce una máscara de atención especializada donde los tokens visuales y del prompt (el "prefix") solo pueden atender a otros tokens del prefix, mientras que los tokens de la respuesta pueden atender a todos los tokens. Esto permite que las llaves y valores de los embeddings visuales y del prompt se almacenen en caché, reduciendo significamente la latencia.
Desplazamiento de Pasos de Tiempo (Compromiso Velocidad-Calidad):
- Problema: Los esquemas de enmascaramiento lineales (desenmascarar un número fijo de tokens por paso) funcionan mal con un bajo número de pasos, degradando la calidad de la muestra.
- Solución: Inspirados en los modelos de difusión de imágenes (SD3), los autores adoptan un esquema de desplazamiento de tiempo convexo ( $\alpha = 1/3$ ). Esto desenmascara de forma adaptativa más tokens en las etapas tempranas del proceso inverso, permitiendo una reducción agresiva de pasos (inferencia más rápida) sin una pérdida significativa de calidad.

Resultados Experimentales

LaViDa fue evaluado en una amplia gama de benchmarks, incluyendo comprensión general (MMMU, MME), razonamiento (MathVista, ScienceQA), OCR (ChartQA, TextVQA) y tareas de generación con restricciones.

Rendimiento Competitivo: LaViDa logra un rendimiento comparable o superior a los baselines AR (LLaVA-1.6-7B, Open-LLaVA-Next-Llama3-8B) en la mayoría de los benchmarks. Notablemente, LaViDa-8B alcanza la puntuación más alta en MMMU (43.3) entre modelos comparables.
Generación con Restricciones: En tareas bidireccionales como "Constrained Poem Completion", LaViDa supera significativamente a los baselines AR, logrando una mejora del 59% en la satisfacción de restricciones.
Compromiso Velocidad y Calidad:
- En el subtitulado de COCO, LaViDa supera a Open-LLaVA-Next-Llama3-8B por +4.1 CIDEr ofreciendo al mismo tiempo una aceleración de 1.92×.
- Al ajustar el número de pasos de difusión (NFE), LaViDa ofrece un compromiso flexible: al 50% de NFE, es más rápido que los baselines AR manteniendo mejor calidad; al 25% de NFE, es significativamente más rápido con una caída en el rendimiento.
Estudios de Ablación: Se demostró que el enmascaramiento complementario mejora el rendimiento de ScienceQA en un 67% en relación con el enmascaramiento estándar. El caché de Prefix-DLM proporcionó hasta una aceleración de 3.9× en la latencia de inferencia con un costo de rendimiento marginal.

Significado y Reivindicaciones

El artículo afirma que LaViDa demuestra que los enfoques basados en difusión pueden escalar competitivamente con los modelos autorregresivos para tareas de visión-lenguaje, ofreciendo ventajas únicas que los modelos AR no pueden replicar fácilmente.

Primero en su Clase: LaViDa se presenta como la primera familia de VLMs basada en modelos de difusión discreta.
Cambio de Paradigma: Prueba que los DM no son solo alternativas teóricas, sino soluciones prácticas que ofrecen un compromiso flexible entre velocidad y calidad y una controlabilidad superior para la generación estructurada y el relleno de texto.
Escalabilidad: El trabajo extiende el éxito de los modelos de difusión desde el dominio del lenguaje (por ejemplo, LLaDA, Dream) al espacio de la visión, validando que con las técnicas de entrenamiento e inferencia adecuadas (enmascaramiento complementario, caché de prefijo, desplazamiento de tiempo), los DM pueden manejar el seguimiento de instrucciones multimodales complejas.

Los autores señalan limitaciones, particularmente en el rendimiento de OCR (atribuido a la compresión necesaria de tokens mediante pooling promedio) y la brecha actual entre LaViDa y los modelos AR de vanguardia entrenados con conjuntos de datos significativamente más grandes. Sugieren que el trabajo futuro debería explorar el escalado de los DM con modelos y datos más grandes.