Riepilogo Tecnico: GeoFlowVLM

Enunciato del Problema

I modelli visione-linguaggio (VLM) a doppio encoder standard, come CLIP e SigLIP, mappano immagini e testo su punti deterministici di un ipersfera unitaria condivisa tramite normalizzazione $\ell_2$. Sebbene efficaci per il recupero e il trasferimento zero-shot, questa rappresentazione deterministica non riesce a quantificare l'incertezza predittiva. Nello specifico, non espone né l'incertezza aleatoria (ambiguità intrinseca cross-modale dove un input mappato a molti output validi) né l'incertezza epistemica (mancanza di supporto per query che cadono al di fuori della distribuzione di addestramento).

I metodi esistenti di quantificazione dell'incertezza (UQ) post-hoc soffrono di due limitazioni primarie:

1. Agnosticismo Geometrico: Molti metodi operano nello spazio euclideo ambientale, ignorando il vincolo di normalizzazione $\ell_2$ che definisce lo spazio di embedding del VLM.
2. Modellazione Incompleta dell'Incertezza: La maggior parte dei metodi cattura solo un tipo di incertezza (aleatoria o epistemica) o non rispetta la geometria ipersferica per entrambe le modalità simultaneamente. Ad esempio, ProbVLM cattura entrambe ma utilizza un approccio euristico che perde la struttura ipersferica e misura l'incertezza dell'adattatore anziché la densità del backbone.

La sfida centrale è quantificare entrambi i tipi di incertezza dagli embedding VLM congelati senza riaddestrare i codificatori sottostanti, rispettando rigorosamente la geometria dell'ipersfera prodotto ($S^{d-1} \times S^{d-1}$).

Metodologia: GeoFlowVLM

Gli autori propongono GeoFlowVLM, un adattatore probabilistico post-hoc che apprende la distribuzione congiunta di coppie di embedding normalizzati $\ell_2$ sull'ipersfera prodotto.

Architettura Principale e Addestramento

• Flow Matching Riemanniano: Il modello utilizza il flow matching Riemanniano per apprendere una densità congiunta $p_\phi(e_I, e_T)$ sulla varietà $M = S^{d-1} \times S^{d-1}$. Regredisce su un target tangente alla geodetica in forma chiusa, evitando costose approssimazioni del kernel di calore.
• Singolo Campo di Velocità Mascherato: Una scelta progettuale chiave è l'uso di una singola rete neurale con una maschera binaria strutturata a blocchi $m \in \{0, 1\}^{2d}$. Questo singolo campo di velocità $v_\phi(z_t, m)$ gestisce tre modalità distinte tramite maschere diverse:
  1. Flusso Congiunto ($m_{joint}$): Genera sia embedding di immagine che di testo.
  2. Flusso Condizionale ($m_{I \to T}$): Genera testo dato un'immagine fissa.
  3. Flusso Condizionale ($m_{T \to I}$): Genera immagine dato un testo fisso.
• Obiettivo di Addestramento: Il modello è addestrato utilizzando un obiettivo di flow matching condizionale mascherato (CFM). La maschera restringe la supervisione alle dimensioni generate, mantenendo le dimensioni condizionate fisse ai loro valori osservati ($t=0$). L'addestramento impiega il trasporto ottimo entropico per accoppiare campioni sorgente e target, raddrizzando le traiettorie sulla varietà.
• Coerenza: Il Teorema 1 dimostra che, nel limite della popolazione, questa singola rete mascherata recupera campi di velocità validi per il flusso condizionale Riemanniano per entrambe le direzioni cross-modali e la distribuzione congiunta, senza richiedere perdite di coerenza ausiliarie.

Letture dell'Incertezza

Dal singolo modello congiunto addestrato, vengono derivati due metriche di incertezza:

1. Incertezza Aleatoria (Entropia di Recupero):

   • Derivata dalla posterior condizionale $p_\phi(e_T | e_I)$ (o viceversa).
   • I campioni vengono estratti dal flusso condizionale e aggregati su una galleria di recupero per formare una distribuzione posterior discreta $\pi$.
   • L'entropia di Shannon $H(\pi)$ quantifica l'ambiguità del recupero.
   • Giustificazione Teorica: Utilizzando la disuguaglianza di Fano, l'entropia fornisce un limite inferiore rigoroso sul rischio Bayesiano MAP, certificando che un'alta entropia corrisponde a un'alta difficoltà di recupero.

2. Incertezza Epistemica (Tipicità Marginale):

   • Derivata tramite una decomposizione esatta della regola della catena della Negative Log-Likelihood (NLL) congiunta:
     $$-\log p_\phi(e_I, e_T) = \underbrace{[-\log p_\phi(e_I) - \log p_\phi(e_T)]}_{\text{Tipicità Epistemica}} - \underbrace{\text{PMI}_\phi(e_I, e_T)}_{\text{Corrispondenza Cross-modale}}$$
   • Gli autori sostengono che il termine di Informazione Mutua Puntuale (PMI) è strutturalmente discriminativo (misura la compatibilità) piuttosto che epistemico.
   • Il Punteggio Epistemico è definito come la somma delle tipicità marginali: $u_{ep} = -\log p_\phi(e_I) - \log p_\phi(e_T)$.
   • Queste marginali sono calcolate dal modello congiunto utilizzando l'identità di Bayes e l'integrazione a tempo inverso dell'ODE del flusso, senza richiedere parametri aggiuntivi.

Contributi Chiave

1. Adattatore GeoFlowVLM: Un adattatore probabilistico post-hoc addestrato tramite flow matching Riemanniano sull'ipersfera prodotto utilizzando un singolo campo di velocità mascherato. Fornisce densità congiunte, marginali e condizionali senza riaddestramento dell'encoder. Uno studio di ablazione conferma che rispettare la geometria ipersferica è strutturalmente necessario per un'incertezza calibrata.
2. Entropia Condizionale di Recupero: Un nuovo stimatore aleatorio che quantifica l'ambiguità cross-modale. Traccia la difficoltà di recupero con una calibrazione monotona quasi ideale su tutti i benchmark e fornisce un limite inferiore decisionale sul rischio Bayesiano.
3. Decomposizione della Regola della Catena: Una derivazione teorica che mostra come la NLL congiunta si decomponga in tipicità marginale (il segnale epistemico corretto) e PMI cross-modale (un segnale discriminativo). Ciò spiega il successo empirico dei metodi di densità per-modalità come REPVLM e li inquadra come un'estensione coerente del modello congiunto.

Risultati Sperimentali

Il metodo è stato valutato su un backbone OpenCLIP ViT-H/14 congelato, addestrato su Conceptual Captions (CC-1M) e testato zero-shot su sette benchmark.

• Incertezza Aleatoria (Recupero):

  • Valutato su MS-COCO, Flickr30k e CUB-200 (sia Image-to-Text che Text-to-Image).
  • GeoFlowVLM ha raggiunto una calibrazione monotona quasi perfetta (Spearman $\rho \approx -1.0$) tra entropia predetta e Recall@1, superando significativamente le baseline (ProbVLM, AsymVLM, GroVE).
  • ProbVLM ha mostrato una correlazione positiva (l'incertezza aumenta sulle query corrette), mentre altre baseline hanno mostrato trend instabili o non monotoni.

• Incertezza Epistemica (Classificazione Zero-Shot):

  • Valutato su ImageNet-1K, Food-101, CIFAR-100 e ObjectNet.
  • La somma della tipicità marginale ($u_{ep}$) ha prodotto un'accuratezza selettiva in costante aumento al diminuire della copertura (rifiutando campioni ad alta incertezza).
  • L'analisi dei componenti ha confermato che il PMI è un povero punteggio epistemico autonomo (spesso rifiuta previsioni corrette), mentre la tipicità marginale fornisce il segnale affidabile.
  • GeoFlowVLM ha eguagliato o superato REPVLM, con un vantaggio notevole su ObjectNet (cambiamento di punto di vista), attribuito alla capacità del modello congiunto di catturare la struttura cross-modale che i flussi indipendenti per-modalità perdono.

• Ablazioni:

  • Geometria: Una baseline euclidea (architettura identica ma operante in $\mathbb{R}^d \times \mathbb{R}^d$) ha fallito catastroficamente su entrambe le metriche aleatoria ed epistemica, confermando la necessità della geometria Riemanniana.
  • Efficienza: Stime affidabili sono state ottenute con soli 10 passi di integrazione ODE e una singola sonda Hutchinson per la stima della divergenza.
  • Backbone: I risultati sono stati trasferiti al backbone SigLIP, sebbene i metodi basati su densità abbiano mostrato prestazioni degradate su ImageNet-1K a causa degli embedding più isotropi di SigLIP.

Significato e Affermazioni

Il documento afferma che GeoFlowVLM colma un divario critico nell'UQ post-hoc per VLM congelati fornendo un singolo modello consapevole della geometria che espone sia l'incertezza aleatoria che quella epistemica.

• Insight Teorico: Il lavoro fornisce una spiegazione fondata sul perché la tipicità marginale sia il segnale epistemico corretto in questo contesto e perché la PMI cross-modale non debba essere utilizzata come punteggio di incertezza. Dimostra che la modellazione congiunta sull'ipersfera prodotto è strettamente più ricca della modellazione per-modalità.
• Utilità Pratica: Il metodo offre uno stimatore calibrato e simmetrico per direzione per la difficoltà di recupero e un punteggio robusto basato sulla densità per il rilevamento di fuori-distribuzione nella classificazione zero-shot, tutto senza modificare il backbone VLM pre-addestrato.
• Limitazioni: Gli autori notano che il teorema di coerenza è un risultato nel limite della popolazione; i limiti su campioni finiti restano aperti. I punteggi epistemici sono basati sulla densità (tipicità) piuttosto che su approcci Bayesiani (varianza della posterior dei parametri). Inoltre, il metodo richiede un addestramento una tantum su dati su larga scala e molteplici risoluzioni ODE per query, distinguendosi dagli approcci privi di addestramento.

Gli autori concludono che la modellazione di embedding congiunti è una strategia generale per un ragionamento probabilistico più ricco sulle rappresentazioni visione-linguaggio, in particolare per applicazioni critiche per la sicurezza come il recupero medico e i sistemi autonomi.