Post-hoc Probabilistic Vision-Language Models

1. Il Problema

I modelli Vision-Language (VLM) pre-addestrati su larga scala, come CLIP e SigLIP, hanno ottenuto risultati eccezionali in compiti di classificazione zero-shot, recupero e generazione. Tuttavia, questi modelli operano in modo deterministico: mappano immagini e descrizioni testuali in uno spazio latente condiviso e valutano la similarità tramite la similarità del coseno.

Questa natura deterministica presenta limiti critici:

• Mancanza di incertezza: I modelli non riescono a quantificare l'incertezza predittiva, specialmente quando affrontano domain shifts (cambiamenti di dominio) o dati fuori distribuzione (OOD).
• Sovraconfidenza: Tendono a essere eccessivamente sicuri anche quando le previsioni sono errate, il che è pericoloso per applicazioni safety-critical.
• Limiti delle soluzioni esistenti: I metodi attuali per l'incertezza richiedono spesso:
  • Riaddestramento da zero (costoso).
  • Aggiunta di adapter o modifiche architetturali (richiede training).
  • Test-time adaptation (TTA) che aumenta drasticamente i costi di inferenza.
  • Calibrazione che non cattura l'incertezza epistemica (legata al modello).

L'obiettivo è sviluppare un metodo post-hoc (dopo il training), training-free (senza riaddestramento), model-agnostic e efficiente per stimare l'incertezza nei VLM.

2. Metodologia: BayesVLM

Gli autori propongono BayesVLM, un approccio che utilizza un'approssimazione di Laplace per stimare la distribuzione a posteriori bayesiana sugli strati finali del VLM senza modificare l'architettura o richiedere nuovo training.

A. Approssimazione di Laplace (Laplace Approximation - LA)

Invece di trattare l'intero modello come probabilistico, BayesVLM applica la LA solo agli strati di proiezione lineare ($P$ per l'immagine e $Q$ per il testo) che mappano gli embedding degli encoder in uno spazio condiviso.

• Si assume che i parametri di questi strati seguano una distribuzione Gaussiana centrata sulla stima MAP (Maximum A Posteriori) del modello pre-addestrato.
• La covarianza è approssimata utilizzando l'inverso dell'Hessiana della funzione di perdita negativa logaritmica.

B. Assunzione di Indipendenza e Likelihood

Poiché la funzione di perdita standard (InfoNCE) intreccia le modalità (immagine e testo), violando l'assunzione di indipendenza identica e distribuita (i.i.d.) necessaria per la LA, gli autori riformulano il problema:

• Introducono due modelli probabilistici indipendenti, uno per modalità, condizionati agli embedding dell'altra modalità.
• Questo permette di trattare la perdita come una distribuzione categorica separata per immagine e testo, rendendo l'inferenza computazionalmente fattibile.
• L'assunzione di indipendenza è giustificata empiricamente: le dipendenze incrociate nella curvatura dell'Hessiana sono moderate, permettendo di catturare le interazioni multimodali apprese durante il pre-training pur mantenendo la trattabilità computazionale.

C. Approssimazione Analitica della Similarità del Coseno (ProbCosine)

Il cuore dell'efficienza di BayesVLM è la derivazione di una distribuzione analitica per la similarità del coseno tra embedding probabilistici.

• Gli embedding $g$ e $h$ diventano variabili aleatorie Gaussiane.
• La similarità del coseno $S_{COS}(g, h)$ non è più un valore scalare fisso, ma una variabile aleatoria.
• Gli autori derivano un'approssimazione Gaussiana per questa distribuzione calcolando il valore atteso e la varianza della similarità del coseno in base ai momenti delle distribuzioni degli embedding (Eq. 8 e 9 nel paper).
• Questo evita il costoso campionamento Monte Carlo, permettendo una propagazione efficiente dell'incertezza fino all'output di classificazione.

D. Applicazione all'Active Learning

Il metodo viene utilizzato per selezionare dati informativi per il fine-tuning (Active Learning). Utilizzando funzioni di acquisizione bayesiane come BALD (Bayesian Active Learning by Disagreement) e EPIG (Expected Predictive Information Gain), il sistema seleziona campioni che massimizzano la riduzione dell'incertezza epistemica, guidando il modello verso una migliore calibrazione con meno dati.

3. Contributi Chiave

1. BayesVLM: Un metodo post-hoc efficiente ed efficace per l'estimazione dell'incertezza in VLM pre-addestrati, senza modifiche architetturali o training aggiuntivo.
2. Formulazione Bayesiana Diretta: La prima formulazione bayesiana diretta per i VLM che deriva un'espressione analitica per la distribuzione della similarità del coseno (ProbCosine), abilitando una propagazione efficiente dell'incertezza.
3. Miglioramento delle Prestazioni: Dimostrazione che BayesVLM migliora la calibrazione (riducendo la sovraconfidenza) e le prestazioni nell'Active Learning rispetto ai baseline (CLIP standard, calibrazione con temperatura, TTA).
4. Robustezza: Validazione che il metodo funziona anche quando i dati di training originali non sono accessibili (usando dataset proxy come CC12M per stimare l'Hessiana di modelli addestrati su LAION).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su diversi benchmark (FLOWERS-102, FOOD-101, CIFAR, ImageNet-R, ecc.) e scenari di Active Learning (OfficeHome, ImageNet variants).

• Zero-Shot Classification:
  • BayesVLM mantiene l'accuratezza (ACC) simile a CLIP/SigLIP standard.
  • Migliora significativamente la calibrazione: Riduce l'Errore di Calibrazione Atteso (ECE) e la Negative Log Predictive Density (NLPD) rispetto ai modelli deterministici e alle tecniche di calibrazione con temperatura.
  • Riduce le previsioni eccessivamente sicure su classi errate.
• Active Learning:
  • Utilizzando le stime di incertezza di BayesVLM per guidare la selezione dei dati (tramite BALD/EPIG), il modello raggiunge una maggiore accuratezza e una migliore calibrazione dopo il fine-tuning rispetto alla selezione casuale o basata sull'entropia.
  • I modelli adattati con BayesVLM mostrano meno sovraconfidenza su dati non visti.
• Efficienza Computazionale:
  • L'overhead di runtime è minimo (< 5% per CLIP-Base, < 1% per modelli Huge).
  • Il costo di inferenza (GFLOPs) è quasi identico al modello deterministico, a differenza del TTA che richiede un aumento di 80x.
• Robustezza:
  • Il metodo rimane efficace anche quando l'Hessiana è stimata su dataset proxy (es. CC12M invece di LAION-400M) o in presenza di corruzioni nei dati (distorsioni di stile, rumore).

5. Significato e Impatto

Questo lavoro è significativo perché colma il divario tra l'uso di grandi modelli VLM in scenari reali e la necessità di affidabilità e sicurezza.

• Sicurezza: Fornisce un segnale di incertezza interpretabile e ben calibrato, cruciale per applicazioni critiche (es. diagnostica medica, guida autonoma) dove è vitale sapere quando un modello "non sa".
• Efficienza: Offre una soluzione "plug-and-play" che non richiede risorse computazionali massive per il riaddestramento, rendendo l'incertezza bayesiana accessibile per modelli su larga scala.
• Fondamento Teorico: Dimostra che è possibile applicare rigorosamente la teoria bayesiana (approssimazione di Laplace) a modelli contrastivi complessi mantenendo la scalabilità, aprendo la strada a nuove ricerche su modelli probabilistici multimodali.

In sintesi, BayesVLM trasforma modelli VLM deterministici in strumenti probabilistici affidabili, migliorando la loro capacità di gestire l'incertezza e di adattarsi efficientemente a nuovi domini con pochi dati.