Is the Modality Gap a Bug or a Feature? A Robustness Perspective

1. Il Problema: Il "Modality Gap"

I modelli multimodali moderni, come CLIP, sono addestrati per allineare diverse modalità (es. immagini e testo) in uno spazio di embedding condiviso, utilizzando una funzione di perdita contrastiva. L'obiettivo teorico è che coppie simili (immagine e didascalia corrispondente) si sovrappongano perfettamente nello spazio vettoriale.

Tuttavia, è stato osservato un fenomeno sorprendente e persistente chiamato "Modality Gap" (Divario Modale): le distribuzioni delle immagini e quelle dei testi rimangono separate in regioni linearmente distinguibili dello spazio di embedding, anche dopo l'addestramento.

• Domanda aperta: Perché questo divario esiste se l'obiettivo è l'allineamento? È un difetto del modello (bug) o una caratteristica necessaria (feature)?
• Impatto sulla robustezza: I modelli multimodali sono noti per essere fragili a piccole variazioni negli input (es. riformulazioni del testo, spostamenti di pixel). Il paper indaga se il divario modale sia la causa di questa fragilità.

2. Metodologia e Teoria

Gli autori collegano la formazione del divario modale alla robustezza del modello, fornendo una spiegazione teorica e un algoritmo per mitigarlo.

A. Analisi Teorica della Formazione del Divario

Il paper dimostra che il divario non è necessariamente causato da uno squilibrio informativo o da un collasso dimensionale (come ipotizzato in lavori precedenti), ma emerge dinamicamente dall'interazione tra:

1. Inizializzazione: I modelli multimodali sono spesso inizializzati con cluster separati e compatti per ciascuna modalità.
2. Dinamica della Perdita Contrastiva:
   • Teorema 3.1: Durante le fasi iniziali dell'addestramento, la perdita contrastiva riduce la varianza delle modalità nella direzione del vettore di divario iniziale ($\vec{g} = \mu_y - \mu_x$).
   • Teorema 3.2: Una volta che la varianza nella direzione del divario è nulla, il gradiente della perdita diventa ortogonale a tale direzione. Se le matrici di assegnazione soft ($Q^x, Q^y$) diventano approssimativamente doppio-stocastiche (una condizione che si verifica empiricamente nelle fasi avanzate), il divario globale rimane costante e ortogonale agli spazi affini delle due modalità.
   • Conclusione: Il divario è una soluzione stabile del processo di ottimizzazione data un'inizializzazione separata, ma rappresenta un artefatto indesiderato (un bug) piuttosto che una proprietà intrinseca benefica.

B. Relazione tra Divario e Robustezza

Gli autori definiscono la robustezza come la probabilità che il vicino più prossimo (nearest neighbor) di un'immagine rimanga invariato quando si aggiunge rumore agli embedding.

• Teorema 3.4: Sotto l'ipotesi di ortogonalità, un divario più ampio sposta le distribuzioni delle modalità più lontano l'una dall'altra, riducendo la distanza tra i punti e il confine decisionale ottimale. Questo rende il sistema più sensibile al rumore: un divario più grande rende il modello meno robusto (più fragile) agli attacchi avversari e alle perturbazioni.
• Teorema 3.5: Spostare le embedding lungo la direzione del divario (che è ortogonale agli spazi delle modalità) non altera i vicini più prossimi tra le coppie. Pertanto, chiudere il divario non dovrebbe degradare l'accuratezza "pulita" (clean accuracy) su task a zero-shot.

3. Algoritmo Proposto

Basandosi sulla teoria, gli autori propongono un metodo di post-processing semplice ed efficiente che non richiede riaddestramento:

1. Calcolare il vettore di divario globale $\vec{g} = \mu_y - \mu_x$.
2. Proiettare $\vec{g}$ sullo spazio ortogonale rispetto agli spazi affini delle modalità (per garantire che lo spostamento non cambi i vicini più prossimi).
3. Traslare le embedding di una modalità verso l'altra utilizzando questo vettore proiettato, riducendo o eliminando il divario.

Questo processo riduce il divario, aumentando la distanza relativa tra i punti e il confine decisionale, migliorando così la robustezza.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su vari modelli (CLIP, SigLIP, MetaCLIP) e dataset (MS-COCO, ImageNet, A-OKVQA, CIFAR).

• Rumore Controllato (Gaussiano): Chiudere il divario porta a un aumento monotono della robustezza sotto l'aggiunta di rumore gaussiano, mantenendo l'accuratezza pulita invariata (confermando il Teorema 3.5).
• Quantizzazione: In scenari di quantizzazione dei vettori (rilevante per RAG e deployment efficiente), la chiusura del divario prima della quantizzazione migliora drasticamente la robustezza, compensando il rumore introdotto dalla quantizzazione stessa.
• Riformulazione del Testo (Rephrasing): Anche se le ipotesi teoriche (rumore a media zero) non sono perfettamente soddisfatte nel caso di riformulazioni semantiche, l'algoritmo ha dimostrato di migliorare l'accuratezza su task di VQA (Visual Question Answering) con testi riformulati, senza perdere accuratezza sul testo originale.
• Trade-off: È stato mostrato che è possibile chiudere parzialmente il divario per massimizzare la robustezza con una perdita di accuratezza trascurabile (<1%).

5. Contributi Chiave e Significato

• Spiegazione Causale: Il paper fornisce una spiegazione teorica solida sul perché il divario modale si forma (inizializzazione + dinamica del gradiente), smentendo l'idea che sia solo un collasso dimensionale o una feature necessaria.
• Divario come "Bug": Il lavoro conclude inequivocabilmente che, dal punto di vista della robustezza, il divario modale è un bug causato dall'interazione tra la perdita contrastiva e l'inizializzazione. Un divario più grande correla direttamente con una ridotta robustezza agli attacchi avversari.
• Soluzione Pratica: Introduce un algoritmo di post-processing a costo computazionale nullo che migliora significativamente la robustezza dei modelli VLM (Vision-Language Models) esistenti senza bisogno di riaddestramento.
• Implicazioni: Questo risultato suggerisce che per applicazioni reali dove la stabilità è cruciale (es. sistemi di recupero, generazione di immagini), è preferibile rimuovere o ridurre il divario modale, sfidando le pratiche attuali che potrebbero considerarlo inevitabile o utile. Il paper non sostiene affatto che il divario debba essere preservato; al contrario, ne dimostra la dannosità per la sicurezza e la stabilità del modello.

In sintesi, il paper dimostra che il divario modale è un artefatto dell'ottimizzazione che danneggia la robustezza del modello, e che può essere efficacemente rimosso con un semplice spostamento geometrico degli embedding, migliorando le prestazioni in scenari reali rumorosi e avversari.