$β$-CLIP: Text-Conditioned Contrastive Learning for Multi-Granular Vision-Language Alignment

Probleemstelling

Hoewel CLIP (Contrastive Language-Image Pre-training) uitstekende prestaties levert bij zero-shot beeld-tekst retrieval door globale visuele en tekstuele representaties af te stemmen, kampt het met twee belangrijke beperkingen in de context van lange teksten en fijnmazige taken:

1. Beperkte contextlengte: De standaard CLIP-tekstencoder is beperkt tot 77 tokens, wat onvoldoende is voor gedetailleerde, lange beschrijvingen.
2. Gebrek aan fijnmazige uitlijning: CLIP leert voornamelijk globale, coarse-grained uitlijningen tussen een heel beeld en een hele caption. Het mist een mechanisme om specifieke visuele regio's te koppelen aan fijne, granulaire tekstdetails (zoals zinnen of woordgroepen), zelfs wanneer het model wordt gefinetuned op lange captions. Bestaande methoden die proberen dit op te lossen, vereisen vaak expliciete regio-supervisie (zoals bounding boxes) of leiden tot overfitting op lange teksten ten koste van de korte tekst-retrieval.

Methodologie: β-CLIP

Het paper introduceert β-CLIP, een raamwerk voor multi-granulaire, tekst-geconditioneerde contrastieve leer. De kern van de methode bestaat uit drie componenten:

1. Hiërarchische Tekst Decompositie

In plaats van te werken met één lange caption, wordt elke tekst ontbonden in drie semantische schalen:

• Caption-niveau: De volledige tekst voor globale context.
• Zin-niveau: De tekst opgesplitst in individuele zinnen ($K_{sent}$).
• Frase-niveau: Sleutelconcepten (zelfstandige naamwoorden en werkwoorden) geëxtraheerd via dependency parsing ($K_{phrase}$).
  Dit resulteert in een set van $K$ tekst-embeddings per afbeelding, variërend van globaal tot zeer lokaal.

2. Multi-Granulaire Visuele Feature Selectie

Voor elke tekst-query ($t_k$) worden visuele features dynamisch geselecteerd uit de beeldpatches.

• Er wordt een Cross-Attention Pooling blok gebruikt (een aangepaste, ondiepe Transformer).
• De tekst-query fungeert als query, terwijl de patch-tokens van het beeld fungeren als keys en values.
• Dit produceert contextuele visuele embeddings ($v_k$) die specifiek zijn voor die tekst-query, zonder de globale context volledig te verliezen.

3. De $\beta$-Contextualized Contrastive Alignment Loss ($\beta$-CAL)

Dit is de kerninnovatie om de semantische overlap tussen de hiërarchische niveaus aan te pakken. Omdat een frase een deel van een zin kan zijn, zijn features binnen hetzelfde beeld niet strikt negatief voor elkaar, maar "positief met overlap".
De loss functie introduceert een parameter $\beta \in [0, 1]$ die de balans regelt tussen strikte zelf-matching en contextuele integratie:

• Soft Cross-Entropy (CE): Gebruikt zachte targets. Bij $\beta=0$ wordt alleen de exacte match (diagonaal) als positief gezien. Bij hogere $\beta$-waarden worden intra-beeld paren (bijv. zin en frase van hetzelfde beeld) als "zachte" positieven behandeld, wat de model helpt context te integreren zonder de specificiteit te verliezen.
• Hard Binary Cross-Entropy (BCE): Treats alle intra-beeld paren als binaire positieven, maar modereert de gradient-gewichten via $\beta$. Dit helpt bij het behouden van lange tekst-retrieval prestaties.

Belangrijkste Bijdragen

1. $\beta$-CLIP Framework: Een nieuw raamwerk dat beeldrepresentaties dicht uitlijnt met hiërarchische tekstbeschrijvingen zonder expliciete regio-supervisie (zoals bounding boxes).
2. $\beta$-CAL Loss: Een geparametriseerde contrastieve loss die de trade-off tussen specificiteit (strikt matchen) en contextualisatie (integreren van gerelateerde intra-beeld features) regelt. Dit lost het probleem van semantische overlap op in multi-granulaire training.
3. Analyse van Loss-types: Het paper identificeert een fundamenteel verschil in gedrag tussen CE en BCE bij hiërarchische supervisie:
   • CE (met softmax) scherpt de fijnmazige discriminatie aan.
   • BCE (met sigmoid) bevordert langere tekst-retrieval en behoudt beter de globale samenhang.
4. State-of-the-Art Zonder Hard Negatives: Het model bereikt SOTA-resultaten op uitdagende benchmarks zonder gebruik te maken van "hard negatives" (moeilijke negatieve voorbeelden), wat training efficiënter maakt.

Resultaten

Het model is gefinetuned op een subset van ShareGPT4V (ShareGPT4V-1.24M) en getest op diverse benchmarks:

• Fijnmazige Retrieval (FG-OVD):

  • Op de "Hard" split van FG-OVD bereikt $\beta$-CLIP (CE variant) 30.9% (R@1), een aanzienlijke verbetering ten opzichte van de CLIP-baseline (12.0%) en zelfs beter dan methoden die op veel grotere datasets met hard negatives zijn getraind (zoals FG-CLIP zonder hard negatives).
  • De CE-variant presteert hier het beste door de scherpe lokalisatie.

• Lange Tekst Retrieval (Urban1K, DCI):

  • Op Urban1K bereikt de BCE-variant 91.8% (T2I) en 92.3% (I2T), wat een nieuwe state-of-the-art is.
  • Het overtreft gespecialiseerde lange-tekst modellen zoals Smart-CLIP en Long-CLIP aanzienlijk.
  • De BCE-variant is hier superieur omdat het beter omgaat met de complexe, lange beschrijvingen zonder de specifieke details te verliezen.

• Coarse-Grained Retrieval (MSCOCO, Flickr30k):

  • In tegenstelling tot eerdere studies die aantoonden dat finetunen op lange teksten de prestaties op korte teksten verslechtert, behoudt $\beta$-CLIP (vooral de BCE-variant) de prestaties op standaard datasets en verbetert deze zelfs licht.

Betekenis en Conclusie

$\beta$-CLIP demonstreert dat het expliciet modelleren van intra-beeld granulariteit een krachtig alternatief is voor methoden die afhankelijk zijn van dure regio-annotaties of hard negatives. De belangrijkste inzichten zijn:

• Trade-off beheer: De parameter $\beta$ stelt onderzoekers in staat om de balans te vinden tussen het leren van zeer specifieke features (goed voor objectdetectie) en het behouden van contextuele samenhang (goed voor complexe beschrijvingen).
• Loss-afhankelijkheid: Er is geen "one-size-fits-all" loss functie; CE is superieur voor fijnmazige discriminatie, terwijl BCE beter is voor lange tekst-retrieval en het behoud van globale eigenschappen.
• Efficiëntie: Het model behoudt de caching-efficiëntie van CLIP tijdens inferentie (het gebruikt standaard CLS-tokens), terwijl het tijdens training gebruikmaakt van de krachtige tekst-geconditioneerde pooling.

Samenvattend biedt $\beta$-CLIP een robuust en adaptief baseline voor dichte visueel-taalcorrespondentie, waardoor modellen beter kunnen omgaan met de complexiteit van lange, gedetailleerde beschrijvingen in het moderne tijdperk van multimodale AI.