Mitigating the Modality Gap: Few-Shot Out-of-Distribution Detection with Multi-modal Prototypes and Image Bias Estimation

Sintesi Tecnica: Mitigare il Modality Gap nel Few-Shot OOD Detection

Problematica
I modelli visione-linguaggio (VLM), in particolare CLIP, sono diventati prominenti per il rilevamento di dati Out-of-Distribution (OOD). Tuttavia, i metodi esistenti che si affidano esclusivamente a prototipi testuali (ad es. MCM) soffrono del "modality gap" (divario di modalità)—un fenomeno in cui gli embedding di immagini e testo occupano regioni distinte nello spazio degli embedding. Questa separazione causa il fatto che le immagini OOD esibiscano un'alta similarità con i prototipi testuali In-Distribution (ID) a causa della vicinanza spaziale piuttosto che della rilevanza semantica, portando a tassi elevati di falsi positivi (FPR). Sebbene esistano metodi di fine-tuning few-shot, essi si concentrano principalmente sull'apprendimento di prompt testuali negativi e non affrontano esplicitamente il disallineamento fondamentale tra le modalità immagine e testo.

Metodologia: SUPREME
Gli autori propongono SUPREME (un framework di fine-tuning few-shot per l'OOD detection con CLIP) per mitigare il modality gap. L'approccio consiste in tre componenti principali:

1. Prototipi Multi-Modali (Fondazione Teorica ed Empirica):
   Il documento stabilisce innanzitutto che l'incorporazione di prototipi di immagine ID insieme ai prototipi testuali ID migliora l'OOD detection senza ulteriore addestramento. Calcolando la media degli embedding delle immagini per ogni classe, gli autori definiscono un punteggio di Multi-Modal Prototypes ($S_{MMP}$). L'analisi teorica (Teorema 1) e i risultati empirici dimostrano che questo approccio a doppio prototipo aumenta la separazione del punteggio tra campioni ID e OOD, riducendo efficacemente l'impatto negativo del modality gap.

2. Generazione di Prompt Biased (BPG - Biased Prompt Generation):
   Per migliorare ulteriormente la generalizzazione durante il fine-tuning few-shot, SUPREME introduce la BPG. A differenza dei metodi precedenti che condizionano i prompt solo su contesti apprendibili ed embedding di immagini, la BPG condiziona i prototipi testuali su tre componenti:

   • Token di contesto apprendibili.
   • Embedding di immagini mappati ($m(I)$).
   • Un bias di dominio dell'immagine stimato basato su Gaussiana ($\mathcal{N}(\mu, \Sigma)$).
     Questo bias è stimato dalla distribuzione degli embedding delle immagini ID. Incorporando questo bias nella generazione del prompt, il metodo previene l'overfitting su dati few-shot limitati e allinea i prototipi testuali più vicino alla vera distribuzione delle immagini ID, migliorando così la fusione immagine-testo.

3. Consistenza Immagine-Testo (ITC - Image-Text Consistency):
   Per minimizzare direttamente il modality gap, SUPREME impiega due mappature apprendibili: una mappatura immagine-testo ($f_{img-txt}$) e una mappatura testo-immagine ($f_{txt-img}$). Queste sono ottimizzate utilizzando due funzioni di perdita mantenendo congelato il backbone di CLIP:

   • Perdita inter-modale ($\ell_{inter}$): Minimizza la distanza tra gli embedding mappati e i loro corrispondenti originali (ad es. assicurando che $f_{img-txt}(I)$ si allinei con i prototipi testuali).
   • Perdita intra-modale ($\ell_{intra}$): Ricostruisce l'embedding originale dall'embedding mappato per prevenire la perdita di informazioni (ad es. $f_{txt-img}(f_{img-txt}(I)) \approx I$).

4. Punteggio di Prototipo Multi-modale Generalizzato ($S_{GMP}$):
   Basandosi sulle scoperte multi-modali, gli autori propongono una nuova funzione di punteggio OOD, $S_{GMP}$. Questo punteggio sfrutta le similarità uni-modali e cross-modali. Calcola la media delle massime similarità tra:

   • L'embedding dell'immagine originale ($I$) e i prototipi testo/immagine.
   • L'embedding dell'immagine mappato ($I' = f_{img-txt}(I)$) e i prototipi testo/immagine.
     Questa integrazione assicura che sia le rappresentazioni originali che quelle allineate contribuiscano alla decisione finale, aumentando la robustezza.

Contributi Chiave

• Analisi del Modality Gap: Il documento fornisce prove teoriche ed empiriche che il modality gap influisce negativamente sull'OOD detection basata su VLM e che l'incorporazione di prototipi di immagine mitiga questo effetto senza addestramento.
• Framework SUPREME: Un nuovo metodo di fine-tuning few-shot composto da BPG (per migliorare la generalizzazione tramite bias di dominio) e ITC (per ridurre il modality gap tramite perdite di consistenza).
• Nuova Metrica di Punteggio: L'introduzione di $S_{GMP}$, che sfrutta prototipi multi-modali e similarità cross-modali per migliorare la separazione tra le distribuzioni ID e OOD.
• Prestazioni State-of-the-Art: Esperimenti estesi che dimostrano un superamento costante dei metodi esistenti di zero-shot e few-shot OOD detection.

Risultati Sperimentali
Gli autori hanno valutato SUPREME su ImageNet-1k e ImageNet-100 come dataset ID contro quattro diversi dataset OOD (iNaturalist, SUN, Places, Texture) e il benchmark OpenOOD.

• ImageNet-1k: SUPREME ha raggiunto un FPR95 medio del 20,70% e un AUROC del 95,38%, superando solidi baseline come NegPrompt (23,01% FPR95) e LoCoOp (28,66% FPR95).
• ImageNet-100: Il metodo ha ottenuto un FPR95 medio dell'8,47% e un AUROC del 98,08%, superando significativamente CoOp e CoCoOp.
• Hard OOD (ImageNet-10/20): SUPREME ha dimostrato robustezza in scenari con alta sovrapposizione semantica, ottenendo il FPR95 più basso (4,10% e 3,60%) in entrambe le direzioni.
• Studi di Ablazione: La rimozione di BPG o ITC ha portato a un significativo degrado delle prestazioni (ad es. l'FPR95 è salito a circa il 28%), confermando la necessità di entrambi i moduli. L'uso di $S_{GMP}$ rispetto a $S_{MCM}$ ha inoltre prodotto miglioramenti misurabili.
• Accuratezza ID: SUPREME ha mantenuto un'alta accuratezza di classificazione ID (71,8% Top-1 su ImageNet-1k), superando altri metodi focalizzati sull'OOD.

Significatività e Rivendicazioni
Il documento afferma che SUPREME affronta un limite critico nell'attuale OOD detection basata su VLM: il modality gap. Passando oltre i soli prototipi testuali e introducendo meccanismi per allineare gli spazi immagine e testo (tramite BPG e ITC), il metodo riduce significativamente i falsi positivi. Gli autori sottolineano che il loro approccio migliora l'affidabilità senza richiedere l'accesso a dati OOD durante l'addestramento, basandosi solo su un piccolo sottoinsieme di dati ID (16 shot per classe). Il lavoro suggerisce che la modellazione esplicita della relazione tra le modalità è essenziale per un'OOD detection robusta nelle implementazioni del mondo reale.