Shift-Aware Calibration for Fine-Tuned CLIP: Leveraging Image-Text Alignment

Sintesi Tecnica: Calibrazione Sensibile allo Shift per CLIP Fine-Tuned

Problematica
I modelli visione-linguaggio (VLM) come CLIP dimostrano forti capacità zero-shot e un eccellente allineamento immagine-testo. Tuttavia, quando vengono sottoposti a fine-tuning su specifici task a valle tramite il prompt learning o metodi a parametri efficienti (ad es. LoRA), questi modelli spesso soffrono di un disallineamento della confidenza. Sebbene il fine-tuning migliori l'accuratezza sulle classi di addestramento, esso porta frequentemente all'overfitting, causando la perdita delle predizioni ben calibrate e del robusto allineamento immagine-testo acquisito durante il pre-training. Ciò risulta in una discrepanza significativa tra i punteggi di confidenza predetti e l'accuratezza reale, in particolare sulle classi non viste e in contesti di generalizzazione cross-dataset o di generalizzazione del dominio.

I metodi di calibrazione esistenti affrontano critiche limitazioni in questo contesto:

• I metodi tradizionali (ad es. Temperature Scaling, Histogram Binning) si basano sulle statistiche della distribuzione di addestramento, risultando inefficaci per le classi non viste.
• I metodi specifici per VLM come il Distance-Aware Calibration (DAC) derivano i pesi dalle rappresentazioni testuali, ma sono progettati principalmente per classi non viste all'interno dello stesso dataset. Essi non riescono a modellare direttamente lo shift visivo a livello di campione richiesto per le valutazioni di cross-dataset o di generalizzazione del dominio.

Metodologia: Shift-Aware Calibration (SAC)
Gli autori propongono la Shift-Aware Calibration (SAC), un metodo di calibrazione post-hoc, sample-wise e senza addestramento. L'intuizione centrale è che lo "shift dei logit" — ovvero la discrepanza tra gli output dei logit del modello CLIP pre-addestrato originale e del CLIP sottoposto a fine-tuning — funge da segnale informativo per la calibrazione.

1. Definizione dello Shift dei Logit ($z$):
   SAC definisce una metrica $z$ come la distanza L1 tra i logit del modello fine-tuned ($\hat{P}$) e del CLIP pre-addestrato originale ($P$) per un dato campione:
   $$z = \frac{1}{N} \sum_{i=1}^{N} |P_i - \hat{P}_i|$$
   Qui, $N$ è il numero di classi. Il CLIP originale agisce come un "ancoraggio di calibrazione", mantenendo il ampio allineamento immagine-testo del pre-training. La metrica $z$ è misurata nello spazio delle predizioni (logits) piuttosto che nello spazio delle feature latenti, fungendo da proxy osservabile di quanto il fine-tuning abbia allontanato un campione dall'allineamento originale.

2. Mappatura nel Fattore di Scalatura ($\gamma$):
   Lo shift dei logit $z$ viene mappato in un coefficiente di scalatura positivo $\gamma$ utilizzando una funzione di decadimento esponenziale:
   $$\gamma = \alpha \cdot e^{-kz}$$

• Correlazione Negativa: Grandi shift ($z$) indicano una deviazione significativa dall'ancora, spesso associata a un eccesso di confidenza (overconfidence). Il decadimento esponenziale assicura che un grande $z$ produca un $\gamma < 1$ piccolo, ammorbidendo i logit.
• Correzione della Sotto-confidenza: Piccoli $z$ (campioni vicini all'ancora) possono produrre $\gamma > 1$ (se $\alpha > 1$), rendendo i logit più netti (sharpening) per le predizioni sotto-confidenti.
• Punto Neutro: La mappatura garantisce un punto neutro dove $\gamma = 1$, preservando i logit originali quando lo shift è trascurabile.
• Parametri: $k$ controlla la sensibilità alla magnitudo dello shift, e $\alpha$ controlla il fattore di scalatura massimo e la posizione del punto neutro.

3. Raffinamento Opzionale (SAC-Plus):
   Un raffinamento opzionale, SAC-Plus, applica un'operazione di squaring ai coefficienti lontani da 1 (ovvero $\gamma < \lambda_1$ o $\gamma > \lambda_2$) per rafforzare le correzioni per i casi estremi, lasciando invariati i coefficienti moderati. Questo non introduce parametri apprendibili.

4. Inferenza:
   Durante l'inferenza, i logit fine-tuned $P_i$ vengono riscalati: $P^{SAC}_i = \hat{\gamma}_i \cdot \tau_{temp} \cdot P_i$. Poiché $\hat{\gamma}_i > 0$, l'ordinamento relativo delle probabilità delle classi è preservato, garantendo che la classe predetta rimanga invariata mentre la confidenza viene aggiustata.

Contributi Chiave

• Identificazione dello Shift dei Logit: Il paper identifica che il driver principale del disequilibrio di confidenza nel CLIP fine-tuned è il mismatch tra il grado di shift dei logit e i corrispondenti cambiamenti nell'accuratezza. Un eccessivo allontanamento dall'ancora del CLIP originale correla con un aumento dell'errore di calibrazione anche dopo che l'accuratezza si è saturata.
• Nuovo Metodo di Calibrazione (SAC): SAC è proposto come un metodo a livello di campione, senza addestramento, che sfrutta il CLIP originale come ancora. Corregge la confidenza senza compromettere l'accuratezza dell'output del modello o richiedere dati di addestramento aggiuntivi.
• Generalizzabilità: Basandosi sull'allineamento del CLIP originale piuttosto che su statistiche specifiche del dataset, SAC estende l'applicabilità della calibrazione a scenari open-vocabulary, valutazioni cross-dataset e generalizzazione del dominio, superando i limiti dei metodi esistenti.
• Robustezza: Il metodo dimostra una forte performance su 11 dataset e 5 diversi metodi di fine-tuning con un set fisso di iperparametri, mostrando insensibilità alle variazioni di shot di addestramento, backbone e setting di valutazione.

Risultati Sperimentali

• Performance: Su 11 dataset e cinque metodi di fine-tuning (CoCoOp, KgCoOp, MaPLe, ProGrad, PromptSRC), SAC migliora costantemente la calibrazione (misurata come Expected Calibration Error - ECE) sia sulle classi di addestramento che su quelle non viste.
• Confronto: SAC supera i metodi di calibrazione esistenti, inclusi le tecniche standard di scaling/binning, il metodo specifico per VLM SOTA (DAC) e il metodo generale MIR.
• Analisi dell'Informazione Mutua (MI): Gli autori forniscono prove empiriche tramite l'analisi MI che mostrano una dipendenza statistica tra il segnale dello shift dei logit ($z$) e l'ECE attraverso vari metodi e dataset. Ciò supporta la tesi che il segnale di shift sia informativo per la calibrazione.
• Robustezza: Il metodo mantiene l'efficacia attraverso varie impostazioni di iperparametri e scenari di valutazione (inclusi cross-dataset e generalizzazione del dominio), dove altri metodi spesso falliscono o richiedono il re-tuning.

Significato
Il paper sostiene che SAC fornisce un riferimento affidabile per affrontare la calibrazione della confidenza nei VLM sottoposti a fine-tuning. Utilizzando il modello pre-addestrato originale come un'ancora fissa, SAC vincola efficacemente i confini di generalizzazione dei modelli a valle senza richiedere addestramento aggiuntivo o dati di validazione etichettati per la selezione dei parametri. Il lavoro evidenzia come il monitoraggio dello "shift dei logit" offra un approccio pratico e teoricamente fondato per mantenere predizioni ben calibrate in scenari open-vocabulary e di generalizzazione.