Mitigating the Modality Gap: Few-Shot Out-of-Distribution Detection with Multi-modal Prototypes and Image Bias Estimation

Résumé Technique : Atténuer l'écart de modalité dans la détection de l'OOD en few-shot

Énoncé du problème
Les modèles vision-langage (VLM), particulièrement CLIP, sont devenus prééminents pour la détection de données hors distribution (OOD - Out-of-Distribution). Cependant, les méthodes existantes reposant uniquement sur des prototypes textuels (par exemple, MCM) souffrent de l'« écart de modalité » (modality gap) — un phénomène où les plongements (embeddings) d'images et de textes occupent des régions distinctes dans l'espace d'immersion. Cette séparation provoque des cas où des images OOD présentent une forte similitude avec les prototypes textuels de la distribution intra-classe (ID - In-Distribution) en raison de leur proximité spatiale plutôt que de leur pertinence sémantique, entraînant des taux élevés de faux positifs (FPR). Bien qu'il existe des méthodes de réglage (tuning) en few-shot, elles se concentrent principalement sur l'apprentissage de prompts textuels négatifs et ne traitent pas explicitement le désalignement fondamental entre les modalités image et texte.

Méthodologie : SUPREME
Les auteurs proposent SUPREME (un cadre de réglage few-shot pour la détection d'OOD avec CLIP) afin d'atténuer l'écart de modalité. L'approche se compose de trois composantes clés :

1. Prototypes Multi-Modaux (Fondement théorique et empirique) :
   L'article établit d'abord que l'incorporation de prototypes d'images ID aux côtés des prototypes textuels ID améliore la détection d'OOD sans entraînement supplémentaire. En faisant la moyenne des plongements d'images pour chaque classe, les auteurs définissent un score de Prototypes Multi-Modaux ($S_{MMP}$). L'analyse théorique (Théorème 1) et les résultats empiriques montrent que cette approche à double prototype augmente la séparation des scores entre les échantillons ID et OOD, réduisant efficacement l'impact négatif de l'écart de modalité.

2. Génération de Prompts Biaisés (BPG - Biased Prompt Generation) :
   Pour améliorer davantage la généralisation lors du réglage few-shot, SUPREME introduit la BPG. Contrairement aux méthodes précédentes qui conditionnent les prompts uniquement sur des contextes apprenables et des plongements d'images, la BPG conditionne les prototypes textuels sur trois composantes :

   • Des jetons de contexte apprenables.
   • Des plongements d'images mappés ($m(I)$).
   • Un biais de domaine d'image estimé basé sur une Gaussienne ($\mathcal{N}(\mu, \Sigma)$).
     Ce biais est estimé à partir de la distribution des plongements d'images ID. En incorporant ce biais dans la génération de prompts, la méthode empêche le surapprentissage sur des données limitées en few-shot et aligne les prototypes textuels plus près de la véritable distribution des images ID, améliorant ainsi la fusion image-texte.

3. Cohérence Image-Texte (ITC - Image-Text Consistency) :
   Pour minimiser directement l'écart de modalité, SUPREME emploie deux mappages apprenables : un mappage image-vers-texte ($f_{img-txt}$) et un mappage texte-vers-image ($f_{txt-img}$). Ceux-ci sont optimisés à l'aide de deux fonctions de perte tout en maintenant le squelette (backbone) de CLIP gelé :

   • Perte inter-modale ($\ell_{inter}$) : Minimise la distance entre les plongements mappés et leurs contreparties originales (par exemple, s'assurer que $f_{img-txt}(I)$ s'aligne avec les prototypes textuels).
   • Perte intra-modale ($\ell_{intra}$) : Reconstruit le plongement original à partir du plongement mappé pour éviter la perte d'information (par exemple, $f_{txt-img}(f_{img-txt}(I)) \approx I$).

4. Score de Prototype Multi-modal Généralisé ($S_{GMP}$) :
   S'appuyant sur les découvertes multi-modales, les auteurs proposent une nouvelle fonction de score OOD, $S_{GMP}$. Ce score exploite les similitudes unimodales et cross-modales. Il calcule la moyenne des similitudes maximales entre :

   • Le plongement d'image original ($I$) et les prototypes texte/image.
   • Le plongement d'image mappé ($I' = f_{img-txt}(I)$) et les prototypes texte/image.
     Cette intégration garantit que les représentations originales et alignées contribuent toutes deux à la décision finale, renforçant ainsi la robustesse.

Principales Contributions

• Analyse de l'écart de modalité : L'article fournit des preuves théoriques et empiriques que l'écart de modalité impacte négativement la détection d'OOD basée sur les VLM et que l'incorporation de prototypes d'images atténue cet effet sans entraînement.
• Cadre SUPREME : Une nouvelle méthode de réglage few-shot comprenant la BPG (pour améliorer la généralisation via le biais de domaine) et l'ITC (pour réduire l'écart de modalité via des pertes de cohérence).
• Nouvelle métrique de score : L'introduction de $S_{GMP}$, qui exploite les prototypes multi-modaux et les similitudes cross-modales pour améliorer la séparation entre les distributions ID et OOD.
• Performance de l'état de l'art : Des expériences approfondies démontrant une supériorité constante par rapport aux méthodes de détection d'OOD zero-shot et few-shot existantes.

Résultats Expérimentaux
Les auteurs ont évalué SUPREME sur ImageNet-1k et ImageNet-100 comme jeux de données ID face à quatre jeux de données OOD diversifiés (iNaturalist, SUN, Places, Texture) et le benchmark OpenOOD.

• ImageNet-1k : SUPREME a atteint un FPR95 moyen de 20,70 % et un AUROC de 95,38 %, surpassant les bases solides comme NegPrompt (23,01 % FPR95) et LoCoOp (28,66 % FPR95).
• ImageNet-100 : La méthode a obtenu un FPR95 moyen de 8,47 % et un AUROC de 98,08 %, dépassant nettement CoOp et CoCoOp.
• OOD Difficile (ImageNet-10/20) : SUPREME a démontré sa robustesse dans des scénarios avec un chevauchement sémantique élevé, atteignant les FPR95 les plus bas (4,10 % et 3,60 %) dans les deux directions.
• Études d'ablation : Le retrait de la BPG ou de l'ITC a entraîné une dégradation significative des performances (par exemple, le FPR95 montant à environ 28 %), confirmant la nécessité des deux modules. L'utilisation de $S_{GMP}$ au lieu de $S_{MCM}$ a également produit des améliorations mesurables.
• Précision ID : SUPREME a maintenu une haute précision de classification ID (71,8 % Top-1 sur ImageNet-1k), surpassant les autres méthodes axées sur l'OOD.

Signification et Revendications
L'article affirme que SUPREME répond à une limitation critique des détections OOD basées sur les VLM actuels : l'écart de modalité. En allant au-delà des prototypes uniquement textuels et en introduisant des mécanismes pour aligner les espaces image et texte (via la BPG et l'ITC), la méthode réduit considérablement les faux positifs. Les auteurs soulignent que leur approche améliore la fiabilité sans nécessiter l'accès à des données OOD pendant l'entraînement, en s'appuyant uniquement sur un petit sous-ensemble de données ID (16 exemples par classe). Ces travaux suggèrent qu'une modélisation explicite de la relation entre les modalités est essentielle pour une détection OOD robuste dans les déploiements réels.