SeMoBridge: Semantic Modality Bridge for Efficient Few-Shot Adaptation of CLIP

1. Il Problema: Il "Modality Gap" e la Disallineamento Intra-Modale

Il modello CLIP (Contrastive Language-Image Pretraining) eccelle nelle attività zero-shot grazie al suo allineamento inter-modale (tra immagini e testo). Tuttavia, le sue prestazioni nel few-shot classification (classificazione con pochi esempi) sono limitate da un problema critico: il disallineamento intra-modale.

• Il Fenomeno: CLIP è addestrato per avvicinare coppie immagine-testo, ma non per calibrare lo spazio interno di ciascuna modalità. Di conseguenza, esiste un "gap" persistente tra le rappresentazioni delle immagini e quelle del testo.
• La Conseguenza: Quando si tenta di confrontare direttamente un'immagine query con un set di supporto di immagini (confronto intra-modale immagine-immagine), le distanze semantiche diventano inaffidabili. Un'immagine di un cane potrebbe essere mappata più vicino al centroide di un gatto rispetto al suo vero centroide, portando a errori di classificazione.
• Limiti delle Soluzioni Esistenti:
  • Metodi come Tip-Adapter o APE evitano il confronto diretto immagine-immagine, ma perdono dettagli visivi fini.
  • Metodi basati sull'inversione modale (es. Cross the Gap) risolvono il problema ma richiedono un'ottimizzazione computazionalmente costosa per ogni singolo campione (per-sample optimization), rendendoli lenti e poco scalabili.

2. Metodologia: SeMoBridge

Gli autori propongono SeMoBridge, un approccio leggero che risolve il disallineamento mappando direttamente le embedding delle immagini nello spazio modale del testo, preservandone il contenuto semantico.

A. Il Ponte Semantico (Semantic Modality Bridge)

L'idea centrale è trasformare il confronto intra-modale (immagine vs immagine) in un confronto inter-modale (immagine "ponte" vs immagine), sfruttando la forte allineamento che CLIP ha appreso durante il pre-training.

• Meccanismo: Il metodo utilizza una proiezione a forma chiusa (closed-form) basata sulla pseudo-inversa della matrice di proiezione del testo di CLIP ($W_{txt}^+$).
• Processo:
  1. Si parte dall'embedding dell'immagine $f_{img}$.
  2. Si stima un token "pseudo-EOS" (End-of-Sequence) $\hat{f}_{eos}$ proiettando all'indietro $f_{img}$ attraverso $W_{txt}^+$.
  3. Si riscalala il vettore per corrispondere alla norma media dei token EOS reali.
  4. Si proietta nuovamente nello spazio condiviso tramite $W_{txt}$ per ottenere l'embedding "ponte" $\hat{f}_{txt}$.
• Risultato: L'immagine query viene ora rappresentata come un embedding simile a quello del testo, permettendo un confronto più affidabile con gli embedding delle immagini di supporto (o viceversa).

B. Inferenza senza Addestramento (Training-Free)

La versione base, SeMoBridge, non richiede addestramento. Combina tre segnali di logit per la previsione:

1. Prior Zero-Shot: Similarità classica CLIP (Immagine Query vs Prompt di Testo).
2. Query Ponte vs Supporto Originale: Confronto tra l'immagine query trasformata in testo e le immagini di supporto originali.
3. Query Originale vs Supporto Ponte: Confronto tra l'immagine query originale e le immagini di supporto trasformate in testo.
   I pesi di questi logit vengono ottimati su un set di validazione.

C. Adattamento Supervisionato (SeMoBridge-T)

Per migliorare ulteriormente le prestazioni, gli autori introducono SeMoBridge-T, una variante addestrata che utilizza una supervisione multi-modale:

• Obiettivo: Allineare gli embedding ponte sia con le immagini originali che con le descrizioni testuali della classe.
• Componenti del Loss:
  • Image Alignment Loss: Mantiene l'informazione visiva.
  • Text Alignment Loss: Allinea con i prompt testuali (inclusi prompt generati da LLM come CuPL).
  • Consistency Loss: Assicura che gli embedding ponte della stessa classe siano coerenti tra loro.
  • Bias Regularization: Introduce un termine di bias specifico per classe (CSB) per gestire le sfumature semantiche, regolarizzato per evitare instabilità.
• Efficienza: Solo i parametri del ponte (e il bias) vengono aggiornati; gli encoder di CLIP rimangono congelati.

3. Contributi Chiave

1. SeMoBridge: Un ponte modale semantico leggero e senza addestramento che risolve il disallineamento intra-modale mappando le immagini nello spazio del testo, eliminando la necessità di ottimizzazione per campione.
2. Strategia di Supervisione Multi-Modale: Un metodo di addestramento efficiente che combina perdite di allineamento immagine e testo, migliorando la robustezza semantica senza retro-propagare attraverso gli encoder CLIP.
3. Prestazioni Superiori: Dimostrazione sperimentale che il metodo supera lo stato dell'arte (SOTA) nel few-shot learning, specialmente in scenari a dati molto scarsi (1, 2 e 4 shot), con un tempo di addestramento drasticamente ridotto.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 11 dataset (inclusi ImageNet, OxfordPets, Flowers102, ecc.) utilizzando l'encoder ViT-B/16 di CLIP.

• Accuratezza:
  • SeMoBridge (Training-Free): Supera APE su 7/11 dataset, con miglioramenti significativi a 1, 2 e 4 shot.
  • SeMoBridge-T: Supera tutti i metodi precedenti (inclusi LDC, CLIP-LoRA, Tip-Adapter-F) nella maggior parte degli scenari a basso numero di shot.
• Efficienza Computazionale:
  • Tempo: SeMoBridge-T richiede solo 27 secondi di addestramento su ImageNet (16 shot), contro i 10 ore di CoOp o i 32 minuti di CLIP-Adapter.
  • Parametri: Aggiunge solo 0.77M di parametri (molto meno di Tip-Adapter-F che ne ha 16.3M).
• Robustezza:
  • Il metodo mostra una maggiore robustezza agli spostamenti di distribuzione (OOD), superando i metodi esistenti su varianti di ImageNet come ImageNet-V2 e ImageNet-Sketch.
  • L'analisi delle distribuzioni di similarità coseno conferma che SeMoBridge riduce drasticamente la sovrapposizione tra campioni della stessa classe e classi diverse, correggendo il disallineamento.
• Generalizzazione: Il modello addestrato su ImageNet trasferisce efficacemente le proprie capacità ad altri dataset senza ulteriore addestramento, dimostrando di aver appreso una proiezione geometrica generale e non solo statistiche specifiche del dataset.

5. Significato e Impatto

SeMoBridge rappresenta un avanzamento significativo nell'adattamento efficiente di CLIP per compiti few-shot.

• Paradigma Shift: Sposta l'attenzione dal raffinamento dei logit o dall'ottimizzazione costosa per campione alla correzione strutturale dello spazio di embedding tramite un ponte modale.
• Praticità: La combinazione di alta accuratezza e bassissimo costo computazionale (sia in tempo che in memoria) lo rende ideale per applicazioni reali dove i dati etichettati sono scarsi e le risorse di calcolo sono limitate.
• Versatilità: Il metodo è stato validato anche su framework alternativi come SLIP e in compiti di retrieval (immagine-immagine e testo-testo), dimostrando che la risoluzione del gap modale è un beneficio trasversale.

In sintesi, SeMoBridge offre una soluzione elegante ed efficiente al problema fondamentale del disallineamento intra-modale in CLIP, rendendo il few-shot learning più accessibile e performante.