Resumen Técnico: Análisis de los Modelos de Lenguaje Visual de Difusión y Autorregresivos en el Espacio de Incrustación Multimodal

Declaración del Problema

Los modelos de incrustación (embeddings) son fundamentales para los sistemas de IA modernos, permitiendo la búsqueda semántica y la generación aumentada por recuperación (RAG). Si bien los avances recientes en los Modelos de Lenguaje de Gran Escala (LLM) y los Modelos de Lenguaje Visual (VLM) han acelerado el desarrollo de los modelos de incrustación, persiste una brecha crítica con respecto a los Modelos de Lenguaje de Difusión Multimodales (dLLM).

Aunque los dLLM (por ejemplo, LLaDA, Dream) han surgido como alternativas competitivas a los modelos autorregresivos —ofreciendo ventajas como la atención bidireccional y la generación paralela para el modelado de contexto global—, actualmente se desconoce si los VLM de Difusión Multimodal pueden servir como modelos de incræstación multimodal efectivos. Específicamente, no está claro cómo sus incrustaciones se comparan con las de los VLM autorregresivos de vanguardia en diversas tareas como la clasificación, la respuesta a preguntas visuales (VQA) y la recuperación de información.

Metodología

Los autores presentan el primer estudio sistemático que convierte los dLLM Multimodales en modelos de incrustación y los compara con sus contrapartes autorregresivas.

Modelos Evaluados

El estudio selecciona cuatro modelos de vanguardia que representan dos paradigmas:

• VLM Autorregresivos: LLaVA-1.6 y Qwen2.5-VL. Estos utilizan atención causal y objetivos de predicción del siguiente token.
• VLM de Difusión: LaViDa y MMaDA. Estos utilizan atención bidireccional y objetivos de desmascarado de tokens (denoising).
  • LaViDa: Se centra en la comprensión multimodal utilizando un núcleo de lenguaje de difusión (Dream-7B) y un codificador de visión (SigLIP).
  • MMaDA: Unifica la comprensión multimodal y la generación de texto a imagen mediante una arquitectura de difusión unificada (LLaDA-8B + tokenizador MAGVIT-v2).

Configuración Experimental

Siguiendo el marco de trabajo VLM2Vec, los autores aplican ajuste fino contrastivo a estos modelos preentrenados.

• Tareas: La evaluación abarca tres meta-tareas:
  1. Clasificación: Mapeo de entradas de imagen/instrucción a etiquetas de clase (p. ej., ImageNet-1K, N24News).
  2. Respuesta a Preguntas Visuales (VQA): Mapeo de entradas de imagen/instrucción/pregunta a respuestas (p. ej., DocVQA, ScienceQA).
  3. Recuperación de Información: Clasificación de candidatos basada en la relevancia cross-modal (p. ej., MSCOCO, VisualNews, CIRR).
• Estrategia de Entrenamiento: Los modelos se ajustan finamente utilizando una pérdida InfoNCE con negativos dentro del lote (in-batch) y negativos difíciles (hard negatives).
  • Incrustaciones Autorregresivas: Derivadas de la representación del último token.
  • Incrustaciones de Difusión: Derivadas mediante el pooling de la media de las representaciones de los tokens contextualizados para aprovechar el contexto bidireccional.
• Escala de Datos: El ajuste fino se realiza en subconjuntos de conjuntos de datos (limitados a 20k muestras por tarea) para evaluar la eficiencia de los datos, cubriendo un total de 32 conjuntos de datos (19 in-domain y 13 out-of-domain).

Resultados Clave

1. Brecha de Rendimiento General

Contrario a la hipótesis de que la atención bidireccional produciría incrustaciones superiores, los VLM de Difusión generalmente rinden por debajo de los VLM Autorregresivos en las tres meta-tareas.

• LaViDa: Muestra una brecha de rendimiento modesta en comparación con los baselines autorregresivos, con caídas promedio de 3.5 puntos en clasificación, 2.5 puntos en VQA y 4.4 puntos en recuperación.
• MMaDA: Exhibe una degradación de rendimiento sustancial, quedando por detrás por más de 20 puntos en todas las tareas en comparación con los modelos autorregresivos.

2. Generalización de Dominio

Aunque los VLM de Difusión generalmente rinden menos en el dominio original (in-domain), LaViDa demuestra una mayor generalización fuera del dominio (OOD).

• En tareas de clasificación, LaViDa rinde 9.0 puntos por debajo de LLaVA-1.6 in-domain, pero lo supera por 2.0 puntos en tareas OOD.
• Se observan tendencias similares en VQA y recuperación, lo que sugiere que LaViDa puede ser más resiliente a los cambios de dominio a pesar de tener un rendimiento absoluto menor.

3. Fortalezas Específicas de la Tarea

Diferentes modelos exhiben distintos sesgos inductivos:

• LLaVA-1.6: Sobresale en tareas que requieren conocimiento del mundo y razonamiento de sentido común (p. ej., OK-VQA).
• Qwen2.5-VL: Realiza su mejor desempeño en la comprensión de documentos estructurados y gráficos (p. ej., DocVQA, ChartQA).
• LaViDa: Alcanza el máximo rendimiento en tareas de razonamiento compositivo que involucran objetos y relaciones (p. ej., GQA).

4. Análisis de Alineación Cross-Modal

La causa principal de la brecha de rendimiento se identifica como una alineación insuficiente entre imagen y texto en los modelos basados en difusión.

• Visualización t-SNE: En la tarea de recuperación de imagen a texto de MSCOCO, LaViDa muestra una separación significativa entre las incrustaciones de imagen y texto emparejadas incluso después de un ajuste fino extensivo (166k muestras). En contraste, LLaVA-1.6 logra una alineación estrecha tempranamente en el entrenamiento.
• Disparidad de Recuperación: LaViDa funciona relativamente bien en la recuperación de imagen a imagen (p. ej., CIRR), pero tiene dificultades significativas en la recuperación cross-modal (p. ej., MSCOCO-i2t), confirmando una alineación cross-modal más débil.

5. Eficiencia de Datos y Arquitectura

• Eficiencia de Datos: Los modelos autorregresivos (específicamente LLaVA-1.6) demuestran una mayor eficiencia de datos, recuperando la mayor parte de su rendimiento con conjuntos de datos más pequeños en comparación con los modelos de difusión.
• Impacto del Codificador de Visión: Un estudio de ablación sobre MMaDA revela que descongelar el codificador de visión durante el ajuste fino produce ganancias de rendimiento insignificantes. Esto sugiere que el cuello de botella reside en las capacidades de alineación del núcleo de lenguaje más que en los parámetros del codificador visual.

Significado y Contribuciones

El artículo realiza tres contribuciones primarias a la comunidad de incrustaciones multimodales:

1. Introducción de una Nueva Clase: Define y evalúa los modelos de incrustación de VLM de Difusión, una nueva categoría derivada de los Modelos de Lenguaje de Difusión Multimodales de Gran Escala.
2. Análisis Comparativo Sistemático: Proporciona el primer benchmark exhaustivo que compara las incrustaciones de VLM de Difusión y Autorregresivas a través de 32 conjuntos de datos y tres meta-tareas.
3. Perspectivas Empíricas: Revela que, a pesar de las ventajas teóricas de la atención bidireccional, las incrustaciones de los VLM de Difusión actualmente rinden por debajo de sus contrapartes autorregresivas. El estudio atribuye esto a una comprensión multimodal más débil y una alineación cross-modal menos efectiva, particularmente en modelos optimizados para tareas generativas (como MMaDA).

Los autores concluyen que, si bien los VLM de Difusión muestran promesa en áreas específicas como la generalización OOD y el razonamiento compositivo, sus limitaciones actuales de alineación dificultan su efectividad como modelos de incrustación multimodal de propósito general. Los hallazgos sugieren que la investigación futura debería centrarse en mejorar la alineación cross-modal dentro de las arquitecturas de difusión en lugar de depender únicamente de cambios arquitectónicos.