Epistemic Uncertainty Quantification for Pre-trained VLMs via Riemannian Flow Matching

Riepilogo Tecnico: REPVLM – Quantificazione dell'Incertezza Epistemica per VLM Pre-addestrati tramite Flow Matching Riemanniano

1. Enunciato del Problema

I Modelli Vision-Language (VLM) pre-addestrati come CLIP, BLIP e SigLIP hanno ottenuto successi notevoli nell'apprendimento di rappresentazioni cross-modali attraverso un pre-addestramento contrastivo su larga scala. Tuttavia, questi modelli sono intrinsecamente deterministici, mappando gli input su singoli punti fissi in uno spazio di embedding ad alta dimensionalità. Questa architettura manca di un meccanismo intrinseco per quantificare l'incertezza epistemica (l'ignoranza o la mancanza di conoscenza del modello riguardo alle proprie rappresentazioni).

Sebbene esistano framework esistenti per la quantificazione dell'incertezza (UQ) per i VLM, questi affrontano prevalentemente l'incertezza aleatoria (ambiguità dei dati) apprendendo embedding probabilistici. I metodi progettati per l'incertezza epistemica, come ensemble profondi o Monte Carlo Dropout, sono spesso computazionalmente proibitivi per modelli pre-addestrati su larga scala o producono stime subottimali e dipendenti dal batch. Vi è un bisogno critico di una metrica scalabile e intrinseca che quantifichi direttamente la fiducia del modello nelle sue rappresentazioni senza richiedere un riaddestramento costoso o il campionamento dello spazio dei parametri.

2. Metodologia: REPVLM

Gli autori propongono REPVLM, un framework che quantifica l'incertezza epistemica stimando la densità di probabilità degli embedding VLM direttamente sulla loro varietà nativa.

Motivazione Teorica
Il documento stabilisce un legame teorico tra densità degli embedding e incertezza epistemica attraverso una catena di tre passaggi:

1. Covarianza alla Norma del Jacobiano: Sotto ipotesi bayesiane standard e linearità locale, un'alta incertezza epistemica corrisponde a una grande norma del Jacobiano dei Parametri, indicando sensibilità alle perturbazioni dei parametri.
2. Norma del Jacobiano alla Densità dei Dati: Nelle regioni ad alta densità dei dati di addestramento, la norma del Jacobiano dell'encoder tende a essere piccola (liscietà), mentre nelle regioni a bassa densità (fuori distribuzione o OOD) rimane non vincolata.
3. Densità dei Dati alla Densità degli Embedding: Motivati dalle dinamiche di allineamento e uniformità nell'apprendimento contrastivo, gli autori ipotizzano un'assunzione empirica secondo cui la densità dei dati di input $p(x)$ è correlata alla densità degli embedding risultanti $p(z)$ sull'ipersfera.
   Di conseguenza, il log-verosimiglianza negativo, $-\log p(z)$, funge da proxy fondato per l'incertezza epistemica: le regioni a bassa densità segnalano ignoranza del modello.

Flow Matching Riemanniano (RFM)
Per calcolare $p(z)$ in modo efficiente sull'ipersfera $S^{d-1}$ (dove risiedono gli embedding VLM normalizzati in $\ell_2$), REPVLM utilizza il Conditional Riemannian Flow Matching (CRFM):

• Modellazione Nativa della Varietà: A differenza del Flow Matching Euclideo standard, REPVLM opera direttamente sull'ipersfera. Impara un campo vettoriale $v_t$ che trasporta una semplice distribuzione base uniforme $P_0 = \text{Unif}(S^{d-1})$ verso le distribuzioni empiriche specifiche per modalità $P_1$ (Immagine e Testo).
• Interpolazione Geodetica: Il percorso di probabilità è costruito lungo geodetiche (cerchi massimi) piuttosto che linee rette, rispettando la geometria intrinseca dello spazio semantico.
• Framework Condizionale Unificato: Una singola rete neurale apprende il campo vettoriale condizionato alla modalità ($c \in \{\text{immagine}, \text{testo}\}$), consentendo una stima dell'incertezza agnostica rispetto al compito.
• Calcolo della Verosimiglianza: La densità log-esatta è calcolata integrando la divergenza del campo vettoriale appreso lungo la traiettoria ODE inversa. Per gestire in modo efficiente embedding ad alta dimensionalità, gli autori impiegano un stimatore della traccia di Hutchinson vincolato alla varietà per approssimare la divergenza con un sovraccarico computazionale minimo.

3. Contributi Chiave

• Motivazione Teorica: Il documento fornisce una derivazione formale che dimostra come $-\log p(z)$ sia un proxy monotono per l'incertezza epistemica negli encoder contrastivi, collegando l'incertezza bayesiana alla densità degli embedding.
• Metodo Nativo della Varietà (REPVLM): Gli autori introducono un metodo UQ scalabile che estende il Riemannian Flow Matching agli spazi di embedding VLM, abilitando il calcolo intrinseco della densità di probabilità per entrambe le modalità visiva e testuale senza modificare lo scheletro pre-addestrato.
• Validazione Empirica: Il metodo è validato su molteplici benchmark, dimostrando una correlazione quasi perfetta tra punteggi di incertezza ed errori di previsione, superando significativamente le baseline esistenti nella classificazione selettiva e nel rilevamento OOD.

4. Risultati Sperimentali

Gli autori hanno valutato REPVLM su sei benchmark downstream (ImageNet-1K, Food101, CIFAR-100, ObjectNet, ImageNet-R, ImageNet-Sketch) utilizzando tre diversi dataset proxy per l'addestramento (Conceptual Captions, DataComp-1B, LAION-2B).

• Classificazione Selettiva: REPVLM ha raggiunto una correlazione di Spearman quasi perfetta ($S \ge 0.988$) tra incertezza ed errore di previsione su benchmark standard. Ha costantemente superato baseline come ProbVLM, Monte Carlo Dropout e Norm degli Embedding nell'identificare errori del modello.
• Robustezza allo Shift di Distribuzione: Su dataset con shift di distribuzione (ObjectNet, ImageNet-R, ImageNet-Sketch), REPVLM è stato l'unico metodo a raggiungere $S=1.000$ su tutte le celle di shift, mentre altri metodi (es. ProbVLM, GMM) hanno mostrato alta varianza o correlazioni negative.
• Applicazioni:
  • Rilevamento OOD: I punteggi di incertezza hanno separato efficacemente i dati In-Distribution (ID) dai dati Near-OOD e Far-OOD, producendo curve ROC e Precision-Recall elevate.
  • Curatela Automatica dei Dati: I campioni ad alta incertezza segnalati da REPVLM corrispondevano a input rumorosi, sfocati o privi di senso, dimostrando utilità nella pulizia di dataset web su larga scala.
• Efficienza: REPVLM richiede solo ~0.55 GFLOPs di sovraccarico aggiuntivo oltre allo scheletro, rendendolo significativamente più efficiente di Monte Carlo Dropout (che richiede ~10 passaggi in avanti) e fornendo stime epistemiche più affidabili rispetto a ProbVLM.

5. Significato e Limitazioni

Significato
Il documento sostiene che la densità degli embedding sulla varietà è la quantità operativa per l'incertezza epistemica nei VLM pre-addestrati. Sfruttando la struttura geometrica dello spazio degli embedding tramite Riemannian Flow Matching, REPVLM fornisce una metrica scalabile, intrinseca e altamente affidabile per la fiducia del modello. Ciò abilita applicazioni pratiche come la curatela automatica dei dati e il rilevamento OOD robusto senza il costo computazionale dei metodi ensemble.

Limitazioni
Gli autori riconoscono esplicitamente diverse limitazioni:

1. Proxy Teorico: Il legame tra incertezza epistemica bayesiana e densità degli embedding è un argomento motivante basato su assunzioni empiriche (specificamente riguardo alla preservazione della densità negli encoder contrastivi non invertibili), non un'identità formale.
2. Dipendenza dal Proxy: Come tutti i metodi post-hoc, REPVLM richiede un dataset proxy rappresentativo del dominio di pre-addestramento del VLM target. VLM specializzati potrebbero richiedere proxy nel dominio specifico.
3. Assunzioni Geometriche: La teoria assume embedding normalizzati in $\ell_2$ su $S^{d-1}$ da encoder addestrati con similarità del coseno (come CLIP). Gli autori notano che i risultati potrebbero non estrapolarsi a modelli con geometrie diverse (es. SigLIP, che ha mostrato prestazioni degradate su benchmark in-distribution a causa di variazioni di densità guidate dalla texture).
4. Rischi di Equità: Gli autori avvertono che l'incertezza basata sulla densità confonde la rarità con l'ignoranza. Input rari ma validi (ad esempio, da gruppi sottorappresentati) potrebbero essere segnalati come outlier ad alta incertezza. In contesti critici per la sicurezza, tali campioni dovrebbero essere candidati per la revisione umana piuttosto che per la rimozione automatica.