Reevaluating the Intra-Modal Misalignment Hypothesis in CLIP

Titel: Herwaardering van de Intra-Modale Misalignement Hypothese in CLIP

Auteurs: Jonas Herzog en Yue Wang (Zhejiang University)

---

1. Het Probleem: De Intra-Modale Misalignement Hypothese

Recent onderzoek suggereerde dat de embeddings gegenereerd door CLIP-achtige contrastieve taal-beeldmodellen suboptimaal zijn voor taken die uitsluitend met beelden werken (zoals beeld-naar-beeld retrieval of few-shot classificatie).

De dominante theorie hiervoor is de intra-modale misalignement hypothese. Deze stelt dat:

• Contrastieve taal-beeld training zich uitsluitend richt op inter-modale alignement (beeld-tekst) en de intra-modale alignement (beeld-beeld) negeert.
• Hierdoor zijn de afstanden tussen beeldembeddings slecht gekalibreerd.
• Dit leidt ertoe dat beelden van dezelfde klasse soms verder uit elkaar liggen dan beelden van verschillende klassen (bijv. een kat die dichter bij een hond staat dan bij een andere kat).
• De oplossing die eerder werd voorgesteld, was het vermijden van directe beeld-beeld vergelijkingen en in plaats daarvan beeld-tekst vergelijkingen te gebruiken (bijv. via "Optimization-based Textual Inversion" of OTI).

De auteurs van dit artikel betwisten deze hypothese en stellen dat de waargenomen fenomenen niet het gevolg zijn van een fundamentele misalignement, maar van andere factoren zoals taak-ambiguïteit.

---

2. Methodologie

De auteurs heronderzoeken de hypothese via drie pijlers: theoretische analyse, empirische vergelijking met niet-CLIP-modellen, en een alternatieve methode voor similariteitsmeting.

A. Theoretische Analyse: Vrijheidsgraden

De bestaande theorie (o.a. [40]) stelt dat er "vrijheidsgraden" bestaan in de embeddingruimte: gegeven een vaste afstand tussen beeld en tekst, zou de afstand tussen twee beelden willekeurig kunnen zijn.

• De weerlegging: De auteurs tonen wiskundig aan dat deze redenering faalt wanneer men uitgaat van een voldoende groot aantal embeddings. Als er genoeg tekst-anchors (tekstembeddings) zijn, kunnen de beeldembeddings uniek worden afgeleid uit de beeld-tekst similariteiten.
• Conclusie: De intra-modale structuur (beeld-beeld) is niet willekeurig, maar een directe consequentie van de geleerde inter-modale structuur (beeld-tekst). Er is geen ruimte voor arbitraire misalignement.

B. Empirische Vergelijking: CLIP vs. Niet-CLIP

Om te testen of de waargenomen indicatoren specifiek zijn voor modellen zonder intra-modale training, vergelijken de auteurs:

• Inter-modale modellen: CLIP, SigLIP (alleen beeld-tekst training).
• Intra-modale modellen: DINO, SigLIP2 (bevatten extra beeld-beeld self-supervised loss).
• Indicatoren: Zij meten cosine similariteit histogrammen (zelfde vs. verschillende klasse) en de "modality gap" (afstand tussen beeld- en tekstclusters).
• Vindst: De indicatoren tonen bijna identieke patronen voor zowel CLIP/SigLIP als DINO/SigLIP2. Als de misalignement veroorzaakt zou worden door het ontbreken van intra-modale training, zouden DINO en SigLIP2 deze problemen niet moeten vertonen. Het feit dat ze dat wel doen, bewijst dat de indicatoren geen betrouwbare diagnose zijn voor misalignement.

C. Alternatieve Methode: PCA-projectie

De auteurs stellen dat eerdere successen van methoden zoals OTI (die beelden omzetten naar teksten) niet komen door het oplossen van misalignement, maar door het focussen op het dominante concept van een afbeelding.

• Methode: In plaats van complexe tekst-inversie, projecteren ze beeldembeddings op een subruimte die wordt gedefinieerd door de belangrijkste variatiecomponenten (PCA) van teksten die lijken op "een foto van [klasse]".
• Doel: Dit filtert ruis en achtergrondinformatie weg en focust puur op de semantiek die relevant is voor de dataset-labels.

---

3. Belangrijkste Resultaten

Cosine Similariteit Distributies

• De histogrammen tonen dat er bij zowel SigLIP als SigLIP2 veel overlap is tussen similariteiten van dezelfde klasse en verschillende klassen.
• Dit wordt vaak gezien als bewijs van misalignement. De auteurs tonen echter aan dat dit normaal gedrag is voor open-vocabulary modellen die semantiek en stijl vangen die verder gaan dan de nauwe dataset-labels. Het is geen fout, maar een eigenschap van de representatie.
• De "modality gap" (verschil in similariteitsverdeling tussen beeld-tekst en beeld-beeld) is aanwezig in zowel CLIP als DINO, wat aantoont dat dit een artefact is van de meting en niet van de training.

Few-Shot Classificatie

• VLM Adaptatie: Methodes die proberen beeld-beeld similariteit te vermijden (zoals Tip-X en Coder) presteren niet beter dan simpele discriminatieve baselines (zoals LDA of APE feature selection) die direct op beeldembeddings werken.
• Beeld-alleen: In een setting zonder tekst-prompten presteert SigLIP (alleen beeld-tekst training) zelfs beter dan DINOv2 (alleen beeld training) op beeld-beeld similariteit. Dit weerlegt de idee dat beeld-embeddings van CLIP inherent slecht zijn voor intra-modale taken.

Image-to-Image Retrieval

• De voorgestelde PCA-methode presteert consistent beter dan de OTI-methode (die beeld naar tekst converteert) op alle geteste datasets.
• Er is geen significant verschil in prestaties tussen SigLIP (zonder intra-modale loss) en SigLIP2 (met intra-modale loss).
• De auteurs merken op dat de datasets die vaak worden gebruikt om misalignement te bewijzen (zoals in [26]) last hebben van taak-ambiguïteit (query-ambiguïteit). De prestatieverbetering komt door het verminderen van deze ambiguïteit via projectie, niet door het corrigeren van een misalignement.

---

4. Belangrijkste Bijdragen

1. Theoretische weerlegging: Aantonen dat intra-modale similariteiten volledig bepaald worden door inter-modale similariteiten, waardoor de "vrijheidsgraden" argumentatie voor misalignement onjuist is.
2. Empirische validatie: Bewijzen dat de voorgestelde indicatoren voor misalignement (zoals histogram-overlap en modality gap) ook voorkomen in modellen die wél intra-modale training hebben ondergaan (DINO, SigLIP2).
3. Alternatieve verklaring: Het identificeren van taak-ambiguïteit als de ware oorzaak van slechte prestaties, in plaats van misalignement.
4. Eenvoudige oplossing: Voorstellen van een PCA-gebaseerde projectiemethode die beter presteert dan complexe tekst-inversie methoden, zonder de noodzaak om de embeddingruimte te "fixen".

---

5. Significantie en Conclusie

Deze studie is van groot belang voor de gemeenschap van visuele taalmodellen (VLMs) omdat:

• Het de noodzaak wegneemt om complexe methoden te ontwikkelen om beeld-beeld vergelijkingen te vermijden.
• Het suggereert dat de bestaande geometrie van CLIP-embeddings voor intra-modale taken bruikbaar en goed gekalibreerd is, mits de juiste semantische assen worden gebruikt.
• Het waarschuwt voor het interpreteren van statistische artefacten (zoals de modality gap) als fundamentele tekortkomingen van het model.

De auteurs concluderen dat toekomstig werk zich moet richten op het benutten van de bestaande intra-modale geometrie en het oplossen van taak-ambiguïteit, in plaats van te proberen een niet-bestaande misalignement te corrigeren.