SeMoBridge: Semantic Modality Bridge for Efficient Few-Shot Adaptation of CLIP

1. Problématique : Le Décalage Intra-Modal dans CLIP

Bien que CLIP (Contrastive Language-Image Pretraining) excelle dans les tâches zero-shot grâce à son alignement inter-modal (image-texte), ses performances en classification few-shot (avec peu d'exemples) sont limitées par un problème fondamental : le décalage intra-modal (intra-modal misalignment).

• Le Décalage de Modalité (Modality Gap) : CLIP entraîne les espaces d'images et de textes de manière à ce que les paires correspondantes soient proches, mais cela ne garantit pas que la structure sémantique interne à chaque modalité soit bien calibrée.
• Conséquence : Les comparaisons directes d'image à image (intra-modales) sont peu fiables. Une image requête peut être projetée plus près du centroïde d'une classe incorrecte que de sa classe réelle, simplement parce que l'espace d'embedding image n'est pas parfaitement aligné avec lui-même.
• Limites des méthodes existantes :
  • Les approches basées sur les logits (ex: Tip-Adapter, APE) évitent la comparaison image-image mais perdent en détails visuels fins.
  • Les méthodes d'inversion de modalité par optimisation (ex: Cross the Gap) corrigent le problème mais nécessitent une optimisation coûteuse par échantillon, ce qui les rend lentes et peu pratiques.

Question centrale : Peut-on concevoir une méthode qui résout ce décalage intra-modal sans le coût computationnel élevé de l'optimisation par échantillon ?

---

2. Méthodologie : SeMoBridge

Les auteurs proposent SeMoBridge, un pont sémantique léger qui mappe les embeddings d'images vers l'espace de la modalité texte, permettant ainsi des comparaisons inter-modales fiables (Image $\to$ Texte) plutôt qu'intra-modales (Image $\to$ Image).

A. Le Pont Sémantique (SeMoBridge - Training-free)

L'idée repose sur l'hypothèse que, dans l'espace partagé de CLIP, la direction d'un embedding d'image $f_{img}$ est approximativement alignée avec celle de son embedding texte correspondant $\hat{f}_{txt}$.

1. Transformation en forme fermée (Closed-form) :
   Au lieu d'optimiser un token texte pour chaque image, SeMoBridge utilise la pseudo-inverse de la matrice de projection texte de CLIP ($W_{txt}^+$) pour projeter directement l'embedding d'image vers l'espace des tokens de fin de séquence (EOS) du texte.
   $$\hat{f}_{eos} \approx \frac{\|T_{eos}\|}{\|W_{txt}^+ f_{img}\|} W_{txt}^+ f_{img}$$
   où $\|T_{eos}\|$ est une norme moyenne estimée des tokens EOS des descriptions de classes.
2. Projection finale : Le token pseudo-EOS est ensuite projeté via $W_{txt}$ pour obtenir l'embedding bridgé $\hat{f}_{txt}$.
3. Inférence : La prédiction finale combine trois signaux de logits :
   • $z_1$ : Priorité Zero-Shot classique (Image vs Texte).
   • $z_2$ : Image bridée (requête) vs Images few-shot originales.
   • $z_3$ : Image requête originale vs Images few-shot bridées.
     Cette combinaison permet de bénéficier à la fois des priors sémantiques du texte et des détails visuels des images.

B. SeMoBridge-T (Version Entraînée)

Pour améliorer encore les performances, une version entraînée (SeMoBridge-T) est proposée.

• Apprentissage Supervisé Multi-Modal : Seule la couche de pont (la projection inversée et un biais spécifique à la classe) est entraînée, tandis que les encodeurs CLIP restent figés.
• Fonction de Perte ($L$) : Elle combine :
  • $L_{img}$ : Alignement avec les embeddings d'images originaux.
  • $L_{txte}$ et $L_{txtp}$ : Alignement avec les tokens texte (EOS) et leurs projections.
  • $L_{cons}$ : Perte de cohérence intra-classe (pour regrouper les échantillons d'une même classe).
  • $L_{bias}$ : Régularisation des normes des biais spécifiques aux classes pour éviter qu'une classe ne domine l'espace bridé.
• Avantage : Cette approche permet d'apprendre des nuances sémantiques fines sans rétropropagation coûteuse à travers tout le modèle CLIP.

---

3. Contributions Clés

1. SeMoBridge : Une méthode légère et training-free qui résout le décalage intra-modal en transformant les comparaisons image-image en comparaisons image-texte via une projection en forme fermée.
2. Stratégie de Supervision Multi-Modal : Une nouvelle approche d'entraînement (SeMoBridge-T) qui aligne les embeddings bridés à la fois sur les images et les textes, sans toucher aux encodeurs CLIP, garantissant une faible empreinte mémoire et computationnelle.
3. Performance et Efficacité : Démonstration que cette méthode surpasse l'état de l'art (SOTA) en classification few-shot, en particulier dans les scénarios à très peu de données (1, 2, 4 shots), avec un temps d'entraînement négligeable (quelques secondes contre plusieurs heures pour d'autres méthodes).

---

4. Résultats Expérimentaux

Les expériences ont été menées sur 11 datasets (ImageNet, OxfordPets, Flowers102, etc.) avec des architectures ViT-B/16 et RN-50.

• Précision :
  • SeMoBridge (sans entraînement) surpasse APE sur 7/11 datasets, avec des gains significatifs en low-shot (1 et 2 shots).
  • SeMoBridge-T atteint des performances SOTA, surpassant toutes les méthodes précédentes (CoOp, Tip-Adapter-F, LDC, APE-T) sur la plupart des datasets, particulièrement en 1-shot.
• Efficacité Computationnelle :
  • Comme illustré dans la Figure 1 du papier, SeMoBridge-T atteint une meilleure précision que ses concurrents tout en nécessitant une fraction du temps d'entraînement (ex: 27 secondes contre 3 minutes pour APE-T et 10 heures pour CoOp sur ImageNet 16-shots).
  • Le nombre de paramètres entraînés est très faible (0.77 M pour SeMoBridge-T).
• Robustesse :
  • La méthode montre une excellente robustesse aux changements de distribution (OOD) sur ImageNet-V2 et ImageNet-Sketch.
  • Des expériences de transfert cross-dataset montrent que le pont appris sur ImageNet généralise bien à d'autres domaines sans réentraînement.
• Analyse des Similarités :
  • Les histogrammes de similarité cosinus montrent que SeMoBridge réduit drastiquement le chevauchement entre les paires de classes différentes et les paires de même classe, corrigeant ainsi le problème de calibration.

---

5. Signification et Impact

Ce travail est significatif car il propose une solution élégante et efficace à un problème structurel fondamental des modèles vision-langage : l'incapacité à comparer directement des images de manière fiable dans l'espace de CLIP.

• Changement de paradigme : Au lieu de complexifier l'architecture ou d'optimiser chaque échantillon, SeMoBridge exploite la structure sémantique pré-entraînée de CLIP pour "traduire" les images en texte, rendant la comparaison naturelle et précise.
• Accessibilité : La nature closed-form et le faible coût d'entraînement rendent cette méthode hautement pratique pour des applications réelles où les ressources sont limitées ou où l'adaptation rapide à de nouvelles classes est nécessaire.
• Généralité : La méthode s'applique non seulement à la classification, mais aussi aux tâches de recherche (retrieval) et fonctionne sur d'autres modèles pré-entraînés comme SLIP, prouvant sa robustesse.

En résumé, SeMoBridge offre un moyen simple, rapide et puissant d'exploiter pleinement le potentiel de CLIP pour l'apprentissage avec peu d'exemples, en comblant le fossé sémantique entre les modalités.