Technische Samenvatting: Analyse van Diffusie- en Autoregressieve Visuele Taalmodellen in de Multimodale Embedding-ruimte

Probleemstelling

Embedding-modellen zijn fundamenteel voor moderne AI-systemen en maken semantische zoekopdrachten en retrieval-augmented generatie (RAG) mogelijk. Hoewel recente vooruitgang in Large Language Models (LLM's) en Vision Language Models (VLM's) de ontwikkeling van embedding-modellen heeft versneld, blijft er een kritische kloof bestaan met betrekking tot Multimodale Diffusie Taalmodellen (dLLM's).

Hoewel dLLM's (bijv. LLaDA, Dream) zijn opgekomen als competitieve alternatieven voor autoregressieve modellen — waarbij ze voordelen bieden zoals bidirectionele aandacht en parallelle generatie voor globale contextmodellering — is het momenteel onbekend of Multimodale Diffusie VLM's effectieve multimodale embedding-modellen kunnen dienen. Specifiek is het onduidelijk hoe hun embeddings zich verhouden tot die van state-of-the-art autoregressieve VLM's over diverse taken zoals classificatie, visual question answering (VQA) en informatie-retrieval.

Methodologie

De auteurs presenteren de eerste systematische studie waarbij Multimodale dLLM's worden omgezet in embedding-modellen en worden vergeleken met autoregressieve tegenhangers.

Geëvalueerde Modellen

De studie selecteert vier state-of-the-art modellen die twee paradigma's vertegenwoordigen:

• Autoregressieve VLM's: LLaVA-1.6 en Qwen2.5-VL. Deze maken gebruik van causale aandacht en next-token prediction-doelstellingen.
• Diffusie VLM's: LaViDa en MMaDA. Deze maken gebruik van bidirectionele aandacht en token unmasking (denoising) doelstellingen.
  • LaViDa: Richt zich op multimodale begrip met een diffusie taal-backbone (Dream-7B) en een visuele encoder (SigLIP).
  • MMaDA: Verbindt multimodale begrip en tekst-naar-afbeelding generatie via een uniforme diffusie-architectuur (LLaDA-8B + MAGVIT-v2 tokenizer).

Experimentele Opstelling

Volgens het VLM2Vec-framework passen de auteurs contrastieve fine-tuning toe op deze vooraf getrainde modellen.

• Taken: De evaluatie omvat drie meta-taken:
  1. Classificatie: Het mappen van beeld/instructie-inputs naar klasse-labels (bijv. ImageNet-1K, N24News).
  2. Visual Question Answering (VQA): Het mappen van beeld/instructie/vraag-inputs naar antwoorden (bijv. DocVQA, ScienceQA).
  3. Informatie-retrieval: Het rangschikken van kandidaten op basis van cross-modale relevantie (bijv. MSCOCO, VisualNews, CIRR).
• Trainingsstrategie: De modellen worden gefine-tuned met een InfoNCE loss met in-batch en hard negatives.
  • Autoregressieve Embeddings: Afgeleid van de last-token representatie.
  • Diffusie Embeddings: Afgeleid via mean pooling van gecontextualiseerde token-representaties om gebruik te maken van bidirectionele context.
• Datagrootte: Fine-tuning wordt uitgevoerd op subsets van datasets (beperkt tot 20k samples per taak) om de data-efficiëntie te beoordelen, waarbij in totaal 32 datasets worden behandeld (19 in-domain, 13 out-of-domain).

Belangrijkste Resultaten

1. Algemeen Prestatieverschil

In tegenstelling tot de hypothese dat bidirectionele aandacht superieure embeddings zou opleveren, presteren Diffusie VLM's over het algemeen slechter dan Autoregressieve VLM's over alle drie de meta-taken.

• LaViDa: Toont een bescheiden prestatiekloof vergeleken met autoregressieve baselines, met gemiddelde dalingen van 3,5 punten op classificatie, 2,5 punten op VQA en 4,4 punten op retrieval.
• MMaDA: Vertoont een substantiële prestatiedegradatie, met een achterstand van meer dan 20 punten over alle taken vergeleken met autoregressieve modellen.

2. Domein-generalisatie

Hoewel Diffusie VLM's over het algemeen minder goed presteren in-domain, vertoont LaViDa een sterkere out-of-domain (OOD) generalisatie.

• Bij classificatietaken presteert LaViDa 9,0 punten lager in-domain dan LLaVA-1.6, maar overtreft het LLaVA-1.6 met 2,0 punten op OOD-taken.
• Vergelijkbare trends worden waargenomen in VQA en retrieval, wat suggereert dat LaViDa mogelijk veerkrachtiger is tegen domeinverschuivingen ondanks een lagere absolute prestatie.

3. Taakspecifieke Sterktes

Verschillende modellen vertonen verschillende inductieve biases:

• LLaVA-1.6: Blinkt uit in taken die wereldkennis en common sense redeneren vereisen (bijv. OK-VQA).
• Qwen2.5-VL: Presteert het best bij het begrijpen van gestructureerde documenten en grafieken (bijv. DocVQA, ChartQA).
• LaViDa: Behaalt topresultaten op compositionele redeneertaken met betrekking tot objecten en relaties (bijv. GQA).

4. Cross-Modale Alignement Analyse

De primaire oorzaak van het prestatieverschil wordt geïdentificeerd als onvoldoende beeld-tekst alignement in diffusie-gebaseerde modellen.

• t-SNE Visualisatie: Bij de MSCOCO image-to-text retrieval taak vertoont LaViDa een significante scheiding tussen gekoppelde beeld- en tekstembeddings, zelfs na uitgebreide fine-tuning (166k samples). In contrast hiermee bereikt LLaVA-1.6 een nauwe alignement vroeg in de training.
• Retrieval Dispariteit: LaViDa presteert relatief goed op image-to-image retrieval (bijv. CIRR) maar worstelt aanzienlijk met cross-modale retrieval (bijv. MSCOCO-i2t), wat de zwakkere cross-modale alignement bevestigt.

5. Data-efficiëntie en Architectuur

• Data-efficiëntie: Autoregressieve modellen (met name LLaVA-1.6) vertonen een hogere data-efficiëntie en herstellen het grootste deel van hun prestaties met kleinere datasets vergeleken met diffusiemodellen.
• Impact van de Vision Encoder: Een ablatie-studie op MMaDA laat zien dat het unfreezen van de vision encoder tijdens fine-tuning slechts verwaarloosbare prestatiewinst oplevert. Dit suggereert dat de bottleneck ligt in de alignement-capaciteiten van de taal-backbone in plaats van de parameters van de visuele encoder.

Betekenis en Bijdragen

Het papier levert drie primaire bijdragen aan de multimodale embedding-gemeenschap:

1. Introductie van een Nieuwe Klasse: Het definieert en evalueert Diffusion VLM embedding modellen, een nieuwe categorie afgeleid van Multimodale Large Diffusion Language Models.
2. Systematische Vergelijkende Analyse: Het biedt de eerste uitgebreide benchmark die Diffusion en Autoregressieve VLM embeddings vergelijkt over 32 datasets en drie meta-taken.
3. Empirische Inzichten: Het onthult dat, ondanks de theoretische voordelen van bidirectionele aandacht, Diffusion VLM embeddings momenteel achterblijven bij autoregressieve tegenhangers. De studie schrijft dit toe aan zwakker multimodaal begrip en minder effectieve cross-modale alignement, vooral in modellen die geoptimaliseerd zijn voor generatieve taken (zoals MMaDA).

De auteurs concluderen dat hoewel Diffusion VLM's veelbelovend zijn in specifieke gebieden zoals OOD-generalisatie en compositioneel redeneren, hun huidige alignement-beperkingen hun effectiviteit als algemene multimodale embedding-modellen belemmeren. De bevindingen suggereren dat toekomstig onderzoek zich moet richten op het verbeteren van de cross-modale alignement binnen diffusie-architecturen in plaats van enkel te vertrouwen op architecturale verschuivingen.