Resumo Técnico: Analisando Modelos de Linguagem Visuais de Difusão e Autorregressivos no Espaço de Embedding Multimodal

Declaração do Problema

Modelos de embedding são fundamentais para os sistemas modernos de IA, permitindo busca semântica e geração aumentada por recuperação (RAG). Embora avanços recentes em Grandes Modelos de Linguagem (LLMs) e Modelos de Linguagem Visuais (VLMs) tenham acelerado o desenvolvimento de modelos de embedding, uma lacuna crítica permanece em relação aos Modelos de Linguagem de Difusão Multimodais (dLLMs).

Embora os dLLMs (ex: LLaDA, Dream) tenham emergido como alternativas competitivas aos modelos autorregressivos — oferecendo vantagens como atenção bidirecional e geração paralela para modelagem de contexto global — ainda não se sabe se os VLMs de Difusão Multimodais podem servir como modelos de embedding multimodais eficazes. Especificamente, é incerto como seus embeddings se comparam aos dos VLMs autorregressivos de última geração em diversas tarefas, como classificação, visual question answering (VQA) e recuperação de informação.

Metodologia

Os autores apresentam o primeiro estudo sistemático convertendo dLLMs Multimodais em modelos de embedding e comparando-os com seus equivalentes autorregressivos.

Modelos Avaliados

O estudo seleciona quatro modelos de última geração representando dois paradigmas:

• VLMs Autorregressivos: LLaVA-1.6 e Qwen2.5-VL. Estes utilizam atenção causal e objetivos de predição do próximo token.
• VLMs de Difusão: LaViDa e MMaDA. Estes utilizam atenção bidirecional e objetivos de desmascaramento de tokens (denoising).
  • LaViDa: Foca na compreensão multimodal usando um backbone de linguagem de difusão (Dream-7B) e um codificador de visão (SigLIP).
  • MMaDA: Unifica a compreensão multimodal e a geração de texto para imagem usando uma arquitetura de difusão unificada (LLaDA-8B + tokenizador MAGVIT-v2).

Configuração Experimental

Seguindo o framework VIM2Vec, os autores aplicam ajuste fino contrastivo (contrastive fine-tuning) a esses modelos pré-treinados.

• Tarefas: A avaliação abrange três meta-tarefas:
  1. Classificação: Mapeamento de entradas de imagem/instrução para rótulos de classe (ex: ImageNet-1K, N24News).
  2. Visual Question Answering (VQA): Mapeamento de entradas de imagem/instrução/pergunta para respostas (ex: DocVQA, ScienceQA).
  3. Recuperação de Informação: Classificação de candidatos baseada na relevância cross-modal (ex: MSCOCO, VisualNews, CIRR).
• Estratégia de Treinamento: Os modelos são ajustados finamente usando uma perda InfoNCE com negativos dentro do lote (in-batch) e negativos difíceis (hard negatives).
  • Embeddings Autorregressivos: Derivados da representação do último token.
  • Embeddings de Difusão: Derivados via pooling médio das representações de tokens contextualizados para aproveitar o contexto bidirecional.
• Escala de Dados: O ajuste fino é realizado em subconjuntos de datasets (limitados a 20k amostras por tarefa) para avaliar a eficiência de dados, cobrindo um total de 32 datasets (19 in-domain, 13 out-of-domain).

Principais Resultados

1. Lacuna de Desempenho Geral

Contrariamente à hipótese de que a atenção bidirecional resultaria em embeddings superiores, os VLMs de Difusão geralmente apresentam desempenho inferior aos VLMs Autorregressivos em todas as três meta-tarefas.

• LaViDa: Mostra uma lacuna de desempenho modesta em comparação com os baselines autorregressivos, com quedas médias de 3,5 pontos em classificação, 2,5 pontos em VQA e 4,4 pontos em recuperação.
• MMaDA: Exibe uma degradação substancial de desempenho, ficando mais de 20 pontos atrás dos modelos autorregressivos em todas as tarefas.

2. Generalização de Domínio

Embora os VLMs de Difusão geralmente tenham desempenho inferior in-domain, o LaViDa demonstra uma generalização out-of-domain (OOD) mais forte.

• Em tarefas de classificação, o LaViDa tem um desempenho 9,0 pontos inferior ao LLaVA-1.6 in-domain, mas supera-o em 2,0 pontos em tarefas OOD.
• Tendências semelhantes são observadas em VQA e recuperação, sugerindo que o LaViDa pode ser mais resiliente a mudanças de domínio, apesar do menor desempenho absoluto.

3. Forças Específicas de Tarefa

Diferentes modelos exibem vieses indutivos distintos:

• LLaVA-1.6: Destaca-se em tarefas que exigem conhecimento de mundo e raciocínio de senso comum (ex: OK-VQA).
• Qwen2.5-VL: Tem o melhor desempenho em compreensão de documentos estruturados e gráficos (ex: DocVQA, ChartQA).
• LaViDa: Alcança o topo do desempenho em tarefas de raciocínio composicional envolvendo objetos e relações (ex: GQA).

4. Análise de Alinhamento Cross-Modal

A causa primária da lacuna de desempenho é identificada como alinhamento insuficiente entre imagem e texto nos modelos baseados em difusão.

• Visualização t-SNE: Na tarefa de recuperação de imagem-para-texto do MSCOCO, o LaViDa mostra uma separação significativa entre os embeddings de imagem e texto pareados, mesmo após ajuste fino extensivo (166k amostras). Em contraste, o LLaVA-1.6 alcança um alinhamento estreito precocemente no treinamento.
• Disparidade de Recuperação: O LaViDa apresenta um desempenho relativamente bom em recuperação de imagem-para-imagem (ex: CIRR), mas tem dificuldades significativas em recuperação cross-modal (ex: MSCOCO-i2t), confirmando um alinhamento cross-modal mais fraco.

5. Eficiência de Dados e Arquitetura

• Eficiência de Dados: Modelos autorregressivos (especificamente o LLaVA-1.6) demonstram maior eficiência de dados, recuperando a maior parte de seu desempenho com conjuntos de dados menores em comparação aos modelos de difusão.
• Impacto do Codificador de Visão: Um estudo de ablação no MMaDA revela que descongelar o codificador de visão durante o ajuste fino produz ganhos de desempenho negligenciáveis. Isso sugere que o gargalo reside nas capacidades de alinhamento do backbone de linguagem, e não nos parâmetros do codificador visual.

Significância e Contribuições

O artigo traz três contribuições principais para a comunidade de embedding multimodal:

1. Introdução de uma Nova Classe: Define e avalia modelos de embedding de VLM de Difusão, uma nova categoria derivada de Grandes Modelos de Linguagem de Difusão Multimodais.
2. Análise Comparativa Sistemática: Fornece o primeiro benchmark abrangente comparando embeddings de VLM de Difusão e Autorregressivos através de 32 datasets e três meta-tarefas.
3. Insights Empíricos: Revela que, apesar das vantagens teóricas da atenção bidirecional, os embeddings de VLM de Difusão atualmente performam abaixo dos equivalentes autorregressivos. O estudo atribui isso a uma compreensão multimodal mais fraca e um alinhamento cross-modal menos eficaz, particularmente em modelos otimizados para tarefas generativas (como o MMaDA).

Os autores concluem que, embora os VLMs de Difusão mostrem promessa em áreas específicas como generalização OOD e raciocínio composicional, suas limitações atuais de alinhamento dificultam sua eficácia como modelos de embedding multimodais de uso geral. Os achados sugerem que pesquisas futuras devem focar em melhorar o alinhamento cross-modal dentro de arquiteturas de difusão, em vez de apenas depender de mudanças arquiteturais.