ORION: ORthonormal Text Encoding for Universal VLM AdaptatION

1. Problématique

Les modèles vision-langage (VLM) comme CLIP, MetaCLIP et ALIGN ont révolutionné l'apprentissage multimodal grâce à leur capacité de transfert zéro-shot (zero-shot). Cependant, leur performance sur de nouvelles tâches est souvent limitée par la qualité et la géométrie des prototypes textuels utilisés pour représenter les classes.

• Limites actuelles : Les encodeurs textuels pré-entraînés, souvent figés, produisent des embeddings qui peuvent être fortement corrélés ou faiblement séparés, en particulier pour des classes sémantiquement proches (ex: "Terres agricoles" vs "Pâturages").
• Conséquence : Cette corrélation réduit la discriminabilité du classifieur, limitant la capacité du modèle à distinguer des catégories fines, que ce soit en mode zéro-shot, few-shot (quelques exemples) ou lors de l'adaptation au moment du test (Test-Time Adaptation - TTA).
• Question centrale : Peut-on améliorer la puissance discriminative de l'encodeur textuel d'un VLM en utilisant uniquement les noms des classes, sans accès aux images d'entraînement, pour corriger cette géométrie sous-optimale ?

2. Méthodologie : ORION

ORION est un cadre d'affinement (fine-tuning) de l'encodeur textuel conçu pour optimiser la géométrie de l'espace d'embedding textuel en imposant des contraintes d'orthogonalité.

A. Formulation de la perte (Loss Function)

L'objectif est d'optimiser les paramètres de l'encodeur textuel $\theta$ pour obtenir des représentations de classes $\{x_i\}$ qui sont à la fois proches des prototypes initiaux (moyenne des embeddings zéro-shot) et orthogonales entre elles. La fonction de perte $L(\theta)$ combine deux termes :

$$L(\theta) = \|X(\theta) - V\|_F^2 + \lambda \|X(\theta)X(\theta)^\top - I_K\|_F^2$$

1. Terme de régularisation de proximité ($\|X - V\|_F^2$) : Empêche les nouveaux prototypes de s'éloigner excessivement des prototypes initiaux $V$ (moyenne des embeddings zéro-shot), préservant ainsi le sens sémantique de base.
2. Terme de pénalité d'orthogonalité ($\|XX^\top - I\|_F^2$) : Promeut l'orthogonalité paire-à-paire entre les représentations textuelles des classes. Cela force les embeddings à se répartir uniformément sur l'hyper-sphère unitaire, réduisant la redondance et augmentant la séparation angulaire.

B. Adaptation Efficace des Paramètres (LoRA)

Pour éviter le surapprentissage et réduire le coût computationnel (surtout sans supervision visuelle), ORION n'effectue pas un fine-tuning complet. Il utilise Low-Rank Adaptation (LoRA) :

• Seules de petites matrices de rang faible ($A, B$) sont entraînées au sein des couches de l'encodeur textuel.
• Cela réduit le nombre de paramètres entraînables de plus de 95 % tout en maintenant la capacité expressive du modèle pré-entraîné.

C. Interprétation Probabiliste

Les auteurs fournissent une interprétation théorique reliant leur pénalité d'orthogonalité au principe de Maximum de Vraisemblance (MLE) via le théorème de Huygens :

• En maximisant l'orthogonalité, on maximise la distance entre les centres de clusters (les prototypes textuels) dans l'espace d'embedding.
• Cela équivaut à maximiser la vraisemblance des caractéristiques d'images sous un modèle de mélange gaussien, réduisant implicitement le chevauchement des probabilités entre classes concurrentes sans avoir besoin d'accéder aux features visuelles pendant l'entraînement.

3. Contributions Clés

1. ORION : Un cadre d'affinement textuel "plug-and-play" qui n'utilise que les noms des classes pour améliorer les VLM pré-entraînés.
2. Perte Composite : Une nouvelle fonction de perte intégrant une pénalité de norme de Frobenius pour l'orthogonalité et un terme de conservation des prototypes initiaux.
3. Interprétation Théorique : Une connexion formelle entre la régularisation d'orthogonalité et l'estimation de vraisemblance maximale (MLE) pour le clustering.
4. Universalité : La méthode fonctionne comme un module universel améliorant les performances dans trois régimes distincts : zéro-shot, few-shot et adaptation au moment du test (TTA).

4. Résultats Expérimentaux

Les expériences ont été menées sur 11 benchmarks (couvrant des domaines variés : scène, satellite, textures, objets) et trois backbones (CLIP ViT-B/16, ViT-L/14, MetaCLIP).

• Zéro-shot : ORION améliore systématiquement la précision Top-1 sur tous les backbones.
  • Gain moyen de +2,76 % sur CLIP ViT-B/16.
  • Améliorations particulièrement marquées sur les datasets à classes fines ou texturées (ex: +10,03 % sur EuroSAT, +2,4 % sur DTD), où la corrélation des prototypes initiaux est un problème majeur.
• Few-shot (CoOp et CLAP) : En remplaçant les prototypes standards par ceux d'ORION pour l'initialisation :
  • Gains significatifs dans les régimes à très peu d'exemples (1 à 4 shots).
  • Exemple : +7,6 % sur DTD (1-shot) avec CoOp et +13,6 % avec CLAP (4-shot).
  • La robustesse persiste même avec plus de données (8-16 shots).
• Test-Time Adaptation (TTA) : Intégré dans des méthodes comme MTA, TPT et StatA :
  • ORION stabilise les prédictions face aux dérifts de distribution (distribution shift).
  • Gains constants de +1,4 % à +1,7 % en moyenne sur les protocoles TTA, démontrant une meilleure capacité de recalibrage du modèle.
• Comparaison avec des solutions sans entraînement : Une variante "training-free" basée sur la décomposition en valeurs singulières (SVD) pour forcer l'orthogonalité rigide a été testée. Elle s'est révélée sous-optimale (baisse de performance), confirmant que la pénalité douce (soft penalty) apprise par ORION est cruciale pour préserver la structure sémantique fine.

5. Signification et Impact

• Changement de paradigme : Ce travail démontre que l'optimisation de la géométrie de l'espace textuel, sans toucher à l'encodeur visuel ni utiliser d'images, suffit à améliorer considérablement les performances des VLM.
• Efficacité : La méthode est extrêmement légère (utilisation de LoRA, pas d'images requises pour l'adaptation), ce qui la rend applicable à n'importe quel VLM pré-entraîné.
• Généralité : En agissant comme un module universel, ORION améliore la discriminabilité des classes là où c'est le plus nécessaire (classes confondues) tout en préservant la topologie globale de l'espace d'embedding.
• Conclusion : ORION offre une solution simple mais puissante pour transformer les prototypes textuels standards en ancres géométriques robustes, renforçant ainsi l'adaptabilité des modèles vision-langage dans des scénarios réels variés.