Technische Samenvatting: UniMoCo

Probleemdefinitie

Huidige vision-language modellen (VLM's) en multi-modale embedding-methoden staan voor aanzienlijke uitdagingen in real-world scenario's waar queries en targets diverse en vaak onvolledige modale combinaties omvatten. Hoewel bestaande benaderingen zoals CLIP, BLIP en recente op LVLM gebaseerde embeddings (bijv. VLM2VEC) gericht zijn op het leren van geünificeerde representaties, vertrouwen ze doorgaans op dual-encoder-architecturen of ondiepe fusie die er niet in slagen alle mogelijke modale combinaties tijdens het trainen uit te lijnen binnen één coherent embedding-ruimte.

Deze beperking vloeit grotendeels voort uit ongebalanceerde modale combinaties in trainingsdata. Trainingsdatasets geven bijvoorbeeld vaak zwaar de voorkeur aan tekst-beeldparen waarbij beide modaliteiten aanwezig zijn, of specifieke query-target-configuraties (bijv. tekst-beeld query naar tekst target). Bijgevolg vertonen modellen bias in modale combinaties: ze presteren goed op frequente patronen, maar lijden onder verminderde robuustheid wanneer ze zeldzame of ontbrekende modaliteiten tegenkomen (bijv. tekst-only queries of targets) tijdens inferentie. Traditionele methoden hebben moeite om consistente embeddings te genereren wanneer een visuele modale ontbreekt, wat leidt tot misalignering in de latente ruimte.

Methodologie

Om deze fundamentele beperkingen aan te pakken, stellen de auteurs UniMoCo (Unified Modality Completion) voor, een nieuw raamwerk dat is ontworpen om modale volledigheid te garanderen voor zowel queries als targets, ongeacht de beschikbaarheid van input.

Architectuur

UniMoCo is gebaseerd op een Large Vision-Language Model (LVLM) backbone (bijv. Phi-3.5V of Qwen2-VL-7B) en integreert drie kerncomponenten:

1. Modality-Completion Module: Wanneer de visuele modale ontbreekt (bijv. tekst-only input), synthetiseert deze module visuele embeddings direct vanuit de tekst. Het maakt gebruik van een compact Text-to-Image (T2I) taalmodel om "pseudo visuele tokens" te genereren.
2. Supplementary Vision Encoder: Om de distributie-kloof tussen pseudo visuele embeddings (gegenereerd vanuit tekst) en echte visuele embeddings (vanaf afbeeldingen) aan te pakken, wordt een dedicated vision encoder toegevoegd. Dit zorgt ervoor dat de pseudo embeddings worden gemapt naar dezelfde feature space als echte beeldtokens.
3. Padding Strategy: Om structurele consistentie te behouden, concateneert de module teksttokens met padding tokens. Dit zorgt ervoor dat de invoerlengte voor de completion module overeenkomt met het vaste aantal visuele tokens (bijv. 576 tokens) dat door de primaire vision encoder voor echte afbeeldingen wordt geproduceerd, waardoor lengteverschillen die gelijkmaking van similariteit belemmeren, worden voorkomen.

Trainingsstrategie

UniMoCo hanteert een gespecialiseerde trainingsstrategie die twee complementaire verliesfuncties combineert om de embedding-ruimte te unificeren:

1. Contrastive Loss ($L_1$): Standaard InfoNCE-verlies dat matching query-targetparen dichter naar elkaar trekt en niet-matching paren uit elkaar duwt in de embedding-ruimte.
2. Auxiliary Loss ($L_2$): Een cross-entropy verlies dat is ontworpen om de kloof te overbruggen tussen modale-volle en modale-ontbrekende inputs. Voor een input die zowel afbeelding als tekst bevat, construeert het model een "pseudo" versie door de afbeelding te verwijderen en pseudo visuele tokens te genereren. $L_2$ minimaliseert de cross-entropy tussen de embedding van de originele input en zijn modale-volledige tegenhanger. Dit dwingt het model om modale-invariante representaties te leren, zodat een input met een echte afbeelding en dezelfde input met een gesynthetiseerde pseudo-afbeelding consistente embeddings produceren.

Het totale doel is $L = L_1 + \alpha L_2$, waarbij $\alpha$ de discriminatieve kracht van contrastief leren afweegt tegen de consistentie die wordt afgedwongen door de auxiliary loss.

Belangrijkste Bijdragen

1. Unified Modality Completion: De auteurs introduceren een lichtgewicht architectuur die ontbrekende visuele kenmerken vanuit tekst synthetiseert, zodat multi-modale representaties compleet blijven, zelfs wanneer visuele inputs ontbreken.
2. Robuuste Trainingsstrategie: Ze ontwikkelen een trainingsraamwerk dat contrastief leren combineert met auxiliary losses om het potentieel van de modale-completion module te maximaliseren, zodat consistente uitlijning over diverse modale combinaties wordt gewaarborgd.
3. Bias Mitigatie: Het artikel identificeert en kwantificeert de inherente bias in conventionele benaderingen veroorzaakt door ongebalanceerde trainingsdata. UniMoCo blijkt deze bias effectief te mitigeren en levert robuuste prestaties over alle modale combinaties, niet alleen over de dominante.

Experimentele Resultaten

De auteurs evalueren UniMoCo op de MMEB (Massive Multimodal Embedding Benchmark), die classificatie, retrieval, visual question answering (VQA) en visual grounding bestrijkt over in-distribution (IND) en out-of-distribution (OOD) datasets.

• Prestaties: UniMoCo presteert beter dan bestaande baselines, waaronder fine-tuned CLIP, OpenCLIP, BLIP2, SigLIP en de sterke op LVLM gebaseerde VLM2VEC. De Qwen2-VL-7B-variant van UniMoCo behaalt de beste totaalscore van 63,2, met aanzienlijke verbeteringen in OOD-instellingen (58,4) vergeleken met VLM2VEC (52,0).
• Modale Robuustheid: In taken waarbij modaliteiten ontbreken (bijv. $(T, T+I)$ of $(T+I, T)$), toont UniMoCo superieure consistentie. Waar VLM2VEC goed presteert op dominante trainingscombinaties, daalt de prestatie aanzienlijk bij zeldzame combinaties. UniMoCo behoudt hoge prestaties over alle combinaties, waardoor de modale bias effectief wordt geneutraliseerd.
• Ablatie Studies:
  • Het verwijderen van het padding-mechanisme of de supplementary vision encoder leidt tot prestatiedaling, wat hun noodzaak bevestigt voor structurele en distributie-uitlijning.
  • Grotere T2I-modelschalen (bijv. 7B versus 0,5B) verbeteren consistent de embedding-kwaliteit, in lijn met scaling laws.
  • Een auxiliary loss-gewicht ($\alpha$) van 0,2 wordt geïdentificeerd als de optimale balans, wat de prestaties verbetert zonder het primaire trainingsdoel af te wijken van discriminatief embedding-leren.
• Efficiëntie: Hoewel training een toename van ~35% in latentie en 20% hogere piekgeheugengebruik met zich meebrengt door de auxiliary loss, is de overhead bij inferentie minimaal (8% latentie, 10% geheugen), waardoor de trade-off acceptabel is voor de prestatiewinst.

Betekenis en Claims

Het artikel beweert dat UniMoCo een belangrijke stap voorwaarts is in het robuust maken van multi-modale embeddings voor real-world data-ongewenstigheden. Door systematisch de bias in modale combinaties aan te pakken die inherent is aan distributies van trainingsdata, zorgt UniMoCo ervoor dat modellen niet degraderen wanneer ze ondervertegenwoordigde of ontbrekende modaliteiten tegenkomen.

De auteurs benadrukken dat hun benadering niet afhankelijk is van complexe generatieve diffusion-modellen voor afbeeldingssynthese, wat rekenkundig duur kan zijn en niet goed aansluit bij embedding-taken. In plaats daarvan stellen ze een structurele innovatie binnen het LVLM-raamwerk voor die embeddings direct synthetiseert, waardoor functionele coherentie en uitlijning worden gewaarborgd. Het werk suggereert dat toekomstige multi-modale systemen rekening moeten houden met modale volledigheid, niet alleen als een data-augmentatietechniek, maar als een fundamentele architecturale vereiste voor robuustheid.

Het artikel concludeert dat, hoewel UniMoCo modale bias effectief aanpakt, toekomstig werk deze structurele innovaties zou kunnen combineren met andere benaderingen zoals training data enhancement of optimalisatie van contrastief leren om multi-modale representatieleren verder te ontwikkelen.