CLIP Behaves like a Bag-of-Words Model Cross-modally but not Uni-modally

Probleemstelling

Vision-Language Models (VLMs) zoals CLIP (Contrastive Language-Image Pretraining) hebben zich bewezen als krachtige modellen voor diverse downstream-taken. Een fundamentele beperking die echter naar voren is gekomen, is hun vermogen om compositionaliteit te hanteren, specifiek het binden van attributen aan de corresponderende objecten in complexe scènes.

Recente studies suggereren dat CLIP zich vaak gedraagt als een Bag-of-Words (BoW) model. Dit betekent dat het de input (afbeelding of tekst) behandelt als een ongeordende verzameling van concepten, zonder de structurele relaties tussen attributen en objecten te begrijpen. Bijvoorbeeld, bij een afbeelding van een "oranje vierkant en een blauwe driehoek" kan CLIP dit vaak matchen met de tekst "een blauwe vierkant en een oranje driehoek", waarbij de attributen verkeerd aan de objecten worden gekoppeld.

De centrale vraag die dit paper onderzoekt is: Waarom vertoont CLIP dit BoW-gedrag?
Er zijn twee mogelijke oorzaken:

1. De individuele embeddings (afbeelding of tekst) missen de benodigde informatie over attributen-object bindingen.
2. De informatie is wel aanwezig, maar er is een gebrek aan cross-modale uitlijning (alignment) tussen de twee modaliteiten.

Het onderscheiden van deze twee oorzaken is cruciaal, omdat de oplossing fundamenteel verschilt: retraining van de encoders (als de informatie ontbreekt) versus een lichte aanpassing van de uitlijning (als de informatie er wel is).

Methodologie

De auteurs hanteren een drie-staps aanpak om de oorsprong van het probleem te diagnosticeren en een oplossing te bieden:

1. Unimodale Analyse (Linear Probing & Conjunctive Search)
Om te bepalen of de binding-informatie aanwezig is in de individuele modaliteiten, voeren de auteurs experimenten uit waarbij ze de cross-modale matching uitsluiten:

• Linear Probing: Ze trainen lineaire klassificatoren (probes) op de bevroren embeddings van CLIP om attributen (zoals kleur) te voorspellen voor specifieke objecten (bijv. "wat is de kleur van de kubus?"). Dit gebeurt apart voor tekst- en afbeeldingsembeddings.
• Robuustheidstests: Ze testen of deze bindingen behouden blijven naarmate het aantal objecten in een scène toeneemt.
• Conjunctive Search: Ze gebruiken een visuele zoekopdracht waarbij een doelobject moet worden geïdentificeerd dat deelt in attributen met andere objecten (bijv. een "rode bol" in een scène met "groene bollen" en "rode kubussen"). Als CLIP een BoW-model zou zijn in de visuele modality, zou het niet kunnen onderscheiden tussen deze objecten.

2. Hypothese: Cross-Modale Misalignering
Op basis van de unimodale resultaten formuleren de auteurs de hypothese dat CLIP's encoders de binding-informatie wel bevatten, maar dat de contrastieve trainingsdoelstelling niet voldoende prikkelt om deze informatie correct over de modaliteiten uit te lijnen.

3. Oplossing: LABCLIP (Linear Attribute Binding CLIP)
Om de hypothese te valideren en het probleem op te lossen, introduceren ze LABCLIP.

• Methode: In plaats van de zware encoders opnieuw te trainen, wordt een eenvoudige lineaire transformatiematrix $A$ geleerd op de tekst-embeddings (of afbeeldingsembeddings, wiskundig equivalent).
• Training: De matrix $A$ wordt getraind met contrastief verlies, waarbij negatieve voorbeelden worden gegenereerd door attributen en objecten in de teksten te permuteren (bijv. "rode kubus en blauwe bol" wordt "blauwe kubus en rode bol").
• Doel: De transformatie zorgt ervoor dat de cosine-相似iteit (cosine similarity) tussen een afbeelding en de correcte tekst hoger is dan met een tekst waarbij de bindingen verkeerd zijn.

Belangrijkste Bijdragen

1. Diagnose van BoW-gedrag: Het paper bewijst dat CLIP niet BoW is binnen de individuele modaliteiten (unimodaal). De embeddings bevatten al de nodige informatie voor attributen-object binding, wat lineair scheidbaar is. Het probleem ligt uitsluitend in de cross-modale uitlijning.
2. Robuustheid van Binding: De binding-informatie in tekst-embeddings blijft zeer robuust zelfs bij een groot aantal objecten. Visuele embeddings tonen een lichte daling bij complexiteit, maar behouden nog steeds een significant signaal boven het toevalsniveau.
3. Efficiënte Oplossing (LABCLIP): De auteurs tonen aan dat een simpele lineaire laag (enkele honderdduizenden parameters) voldoende is om de cross-modale binding te herstellen, zonder de dure encoders opnieuw te hoeven trainen.
4. Praktische Toepasbaarheid: De methode is "backward compatible". Bestaande CLIP-vector databases kunnen worden verbeterd zonder dat de originele features opnieuw hoeven te worden geëxtraheerd of de encoders opnieuw getraind.

Resultaten

• Unimodale Tests: Lineaire probes op de originele CLIP-embeddings behalen hoge nauwkeurigheid (bijv. ~96% op CLEVR voor afbeeldingen en ~100% voor tekst) in het voorspellen van attributen voor specifieke objecten. Dit is aanzienlijk beter dan een BoW-model (dat ~66% haalt) en bevestigt dat de binding-informatie aanwezig is.
• Cross-Modale Prestaties (Synthetische Data):
  • Originele CLIP presteert op het niveau van raden (ca. 50% nauwkeurigheid) bij het onderscheiden van correcte versus permutatie-captions.
  • LABCLIP haalt bijna perfecte scores (bijv. 95% op CLEVR, 97% op PUG:SPAR), wat vergelijkbaar is met een volledig gefinetuned CLIP-model (CLIP-FT), maar met een fractie van de rekentijd en parameters.
• Real-World Benchmarks: Op datasets zoals ARO, SugarCrepe en COCO toont LABCLIP significante verbeteringen ten opzichte van de basis-CLIP, wat aantoont dat de methode ook werkt op natuurlijke, complexe data.
• Analyse van de Modality Gap: Na toepassing van de lineaire transformatie neemt de Euclidische afstand tussen de gemiddelde tekst- en afbeeldingsembeddings af (de modality gap verkleint), wat bevestigt dat de uitlijning effectief is verbeterd.

Significantie

Dit paper heeft een belangrijke implicatie voor de toekomst van Vision-Language Models:

• Verandering van Paradigma: Het weerlegt de aanname dat CLIP fundamenteel tekortschiet in compositionaliteit door een gebrek aan kennis. In plaats daarvan is het een probleem van uitlijning.
• Efficiëntie: Het biedt een kosteneffectieve route om bestaande VLM-systemen te verbeteren. In plaats van dure retraining van miljarden parameters, volstaat het trainen van een kleine lineaire laag op bestaande embeddings.
• Toekomstig Onderzoek: Het resultaat motiveert verder onderzoek naar unimodale eigenschappen van embeddings en strategieën voor uitlijning die specifiek gericht zijn op compositionaliteit, zonder de oorspronkelijke prestaties op andere taken (zoals objectherkenning) te verstoren.

Kortom, CLIP "weet" welke attributen bij welke objecten horen, maar "weet" niet hoe het die kennis moet koppelen tussen tekst en beeld. Met een simpele lineaire correctie kan deze koppeling worden hersteld.