Riepilogo Tecnico: Ripensare la Selezione del Modello nei VLM Attraverso la Lente della Distanza di Gromov-Wasserstein

1. Enunciato del Problema

I Modelli Vision-Language (VLM) seguono tipicamente un paradigma "pre-addestramento seguito da fine-tuning", in cui un proiettore allinea gli spazi di rappresentazione di un encoder visivo e di un Large Language Model (LLM). Nonostante l'adozione diffusa di questo paradigma, manca una comprensione fondata su principi riguardo a quali encoder visivi pre-addestrati siano più adatti per un LLM specifico.

Le pratiche attuali si basano spesso su euristiche come la selezione del modello più grande o di quello con la massima accuratezza zero-shot. Tuttavia, gli autori dimostrano attraverso esperimenti esaustivi che queste metriche:

1. Non riescono sistematicamente a identificare l'encoder visivo ottimale per l'allineamento dei VLM.
2. Mostrano solo una correlazione debole o moderata con le prestazioni finali del VLM dopo il fine-tuning completo.
3. Non tengono conto della "compatibilità" o della similarità strutturale tra gli spazi di rappresentazione visiva e testuale, che è ipotizzata essere il fattore critico nella difficoltà di allineamento.

2. Metodologia

Il documento propone l'uso della distanza di Gromov-Wasserstein (GW) come metrica priva di addestramento, basata solo sull'inferenza, per misurare la similarità strutturale tra la distribuzione delle rappresentazioni visive e quella delle rappresentazioni testuali.

Concetto Chiave: Distanza di Gromov-Wasserstein

A differenza delle metriche di distanza standard che richiedono uno spazio ambientale comune, la distanza GW è progettata per confrontare due spazi misura-metrica (mm-spaces) che possono risiedere in domini diversi con dimensioni e misure differenti.

• Intuizione: Invece di confrontare le posizioni assolute dei punti (il che è mal posto tra modalità diverse), la distanza GW confronta le relazioni interne (distanze pairwise) all'interno di ciascun spazio. Essa cerca un piano di trasporto ottimale (accoppiamento) $\pi$ che minimizzi la distorsione tra le distanze pairwise dello spazio visivo ($d_X$) e quelle dello spazio testuale ($d_Y$).
• Formulazione: La distanza GW è definita come l'infimo della perdita attesa su tutti i possibili accoppiamenti $\pi$:
  $$GW := \inf_{\pi \in \Pi} \sum_{x,x',y,y'} L(d_X(x, x'), d_Y(y, y')) \pi_{x,y}\pi_{x',y'}$$
  dove $L$ è una funzione di penalità (utilizzando la distanza $\ell_1$ in questo lavoro).

Dettagli di Implementazione

1. Corrispondenza di Scala: Per gestire le differenze intrinseche di scala tra le modalità, gli autori applicano la corrispondenza del rapporto mediano. Normalizzano le matrici di distanza pairwise della modalità visiva in modo che i loro valori mediani fuori diagonale corrispondano a quelli della modalità testuale.
2. Ottimizzazione: Il piano di trasporto ottimale $\pi^*$ è risolto utilizzando uno schema di gradiente condizionato (seguendo [40]), trattando l'obiettivo GW come un funzionale quadratico sul politopo di trasporto.
3. Algoritmo di Selezione del Modello:
   • Estrarre le caratteristiche visive (token CLS) e le caratteristiche testuali (stati nascosti) per un campione di coppie immagine-testo.
   • Calcolare le matrici di distanza pairwise per entrambe le modalità.
   • Normalizzare le distanze e calcolare la distanza GW.
   • Selezionare l'encoder visivo con la minima distanza GW rispetto all'LLM target, prevedendo che produrrà le migliori prestazioni del VLM.

3. Analisi Teorica

Il documento fornisce una giustificazione teorica che collega la distanza GW alla apprendibilità delle mappature cross-modali.

• Limite di Lipschitz: Gli autori dimostrano che la costante di Lipschitz ($L_{g^*}$) del proiettore cross-modale Bayes-ottimale $g^*$ è limitata dalla distanza GW nella norma $\infty$ ($GW_\infty$) tra le modalità.
• Implicazione: Una distanza GW più piccola implica un limite superiore più piccolo per la costante di Lipschitz. Poiché i limiti di generalizzazione per le reti neurali dipendono spesso dalla costante di Lipschitz (o dalla norma spettrale), una distanza GW più piccola suggerisce che la mappatura ottimale è intrinsecamente più facile da apprendere con un'ipotesi di complessità funzionale inferiore.

4. Risultati Sperimentali

Gli autori hanno condotto esperimenti estesi che coinvolgono oltre 60 esecuzioni complete di addestramento di VLM utilizzando 18 diversi encoder visivi pre-addestrati e due LLM base (Qwen-2.5-7B-Instruct e LLaMa-3.1-8B-Instruct).

Risultati Chiave

• Accuratezza di Selezione Superiore: La strategia di selezione basata su GW ha identificato sistematicamente l'encoder visivo ottimale (quello che produce il punteggio medio più alto su 9 benchmark) sia nel gruppo "Small" (<500M parametri) che nel gruppo "Large".
• Correlazione con le Prestazioni:
  • La distanza GW ha raggiunto una correlazione di Pearson di 0,6568 e una correlazione di Spearman di 0,5341 con le prestazioni finali del VLM.
  • L'adattamento lineare tra distanza GW e prestazioni ha spiegato il 43% della varianza ($R^2 = 0,4314$).
  • Al contrario, i baselines tradizionali come l'Accuratezza Zero-Shot ($R^2 \approx 0,21$), l'Analisi di Similarità Rappresentazionale (RSA) e l'Analisi di Correlazione Canonica (CCA) hanno mostrato correlazioni deboli o moderate. Notabilmente, MutualNN ha mostrato una alta correlazione di Pearson ma una correlazione di Spearman negativa, indicando una relazione spuria.
• Robustezza: L'efficacia della distanza GW è stata verificata attraverso diversi LLM base e diversi dataset di pre-addestramento (LAION/Conceptual Captions vs CC3M), suggerendo che la metrica cattura un pattern generalizzabile di compatibilità tra modalità.
• Efficienza: La stima GW è un compito puramente di inferenza. Il calcolo della metrica per 1.000 coppie immagine-testo richiede circa 1 minuto su una singola GPU, rispetto alle ~8,5 ore (68 ore GPU) richieste per un'esecuzione completa di addestramento di un VLM.

5. Significato e Affermazioni

Il documento afferma di fornire la prima indagine sistematica sui fattori che governano la selezione dell'encoder visivo per i VLM, andando oltre le euristiche naive.

• Novità: Introduce il concetto di compatibilità distribuzionale tra modalità come determinante chiave del successo dei VLM, formalizzato tramite la distanza GW.
• Impatto Pratico: Offre un metodo computazionalmente efficiente e privo di addestramento per prevedere le prestazioni dei VLM prima di impegnarsi in costosi fine-tuning a parametri completi.
• Contributo Teorico: Stabilisce un legame formale tra la struttura geometrica degli spazi di rappresentazione (misurata dalla distanza GW) e l'apprendibilità del proiettore di allineamento.

Gli autori concludono che, mentre le attuali euristiche (dimensione, accuratezza zero-shot) sono insufficienti, la misurazione della similarità strutturale degli spazi di rappresentazione tramite la distanza GW fornisce un proxy robusto, teoricamente fondato e validato empiricamente per la selezione dei modelli nei Vision-Language Models.