Sintesi Tecnica: Sullo Scostamento tra Modalità e la Perdita Contrastiva nell'Apprendimento di Rappresentazioni Multi-modali

Enunciato del Problema

Il documento investiga lo scostamento tra modalità (modality gap) osservato nei modelli di apprendimento contrastivo a doppio encoder di tipo CLIP. Nonostante l'addestramento in uno spazio di rappresentazione condiviso, gli embedding di immagini e testi occupano spesso regioni distinte e non sovrapponibili (sottospazi) anziché formare una distribuzione completamente miscelata. Mentre la letteratura precedente attribuisce questo fenomeno a fattori quali i bias di inizializzazione, l'eterogeneità dei dati, la dimensionalità o le impostazioni della temperatura, gli autori sostengono che il gap sia fondamentalmente indotto da un fallimento della formulazione InfoNCE (Information Noise-Contrastive Estimation) quando applicata a encoder indipendenti.

Gli autori ipotizzano che in un contesto multi-modale con encoder indipendenti, il termine di uniformità dell'obiettivo InfoNCE agisca non solo come un meccanismo di preservazione dell'informazione, ma come un termine "degenerativo" con un obiettivo di divergenza. Nello specifico, la funzione di perdita può essere minimizzata allontanando le due modalità, mantenendo al contempo il corretto ordinamento delle coppie positive, portando a un minimo locale in cui le modalità sono separate, particolarmente a basse temperature.

Metodologia

Analisi Teorica

Gli autori forniscono un'analisi teorica del limite della perdita InfoNCE al tendere di $\tau \to 0^+$. Dimostrano che, per encoder indipendenti, la minimizzazione della perdita a basse temperature incoraggia le somiglianze negative ($a_{ik}$) a convergere verso la loro media ($m_i$) mantenendo intatto l'ordinamento delle coppie. Ciò risulta in una "distribuzione di somiglianza stretta" dove tutti i campioni negativi dell'altra modalità formano un cluster compatto distante dall'ancora, creando lo scostamento tra modalità. Identificano questo fenomeno come un fallimento del modo (mode-failure) dell'obiettivo InfoNCE in condizioni di bassa temperatura.

Metodo Proposto: xNCE

Per affrontare questo problema, gli autori propongono xNCE (Mixed Noise-Contrastive Estimation), una semplice modifica alla standard perdita InfoNCE.

• Meccanismo: Invece di campionare coppie negative esclusivamente dalla modalità opposta (inter-modale), xNCE mescola negativi intra-modali (es. immagine-immagine) e negativi inter-modali (immagine-testo) all'interno del denominatore della probabilità softmax.
• Razionale: Includendo i negativi intra-modali, la funzione di perdita impedisce la soluzione banale di separare le due modalità. Se le modalità si allontanassero, anche le coppie negative intra-modali diventerebbero dissimili, aumentando la perdita. Ciò costringe gli encoder ad allineare le modalità per soddisfare il vincolo di uniformità attraverso l'insieme miscelato.
• Implementazione: Un rapporto di miscelazione ($r_{mix}$) controlla la proporzione di negativi intra- vs. inter-modali. La perdita rimane una cross-entropy simmetrica sulla matrice di somiglianza miscelata.

Configurazione Sperimentale

Lo studio conduce esperimenti in due setting:

1. Uni-modale (Immagine-a-Immagine): Utilizzando MNIST/EMNIST con due encoder indipendenti e identicamente inizializzati (senza condivisione dei pesi) per isolare l'effetto della formulazione della perdita dalle idiosincrasie dei dati o dell'inizializzazione.
2. Multi-modale (Immagine-a-Testo): Fine-tuning di CLIP (ViT-B/16) sul dataset MS-COCO.
   • Baseline: InfoNCE standard (con temperature apprendibili e fisse), InfoNCE regolarizzata (aggiungendo espliciti termini di allineamento/uniformità) e InfoNCE ad alta temperatura.
   • Valutazione: Probe lineari per la separabilità delle modalità e utilità a valle (classificazione di cifre, mAP di object detection), prestazioni di retrieval (R@1, R@5, R@10) e classificazione zero-shot su CIFAR-10/100, Caltech-101 e ImageNet.

Risultati Chiave

1. Validazione Uni-modale (MNIST)

• Induzione del Gap: Anche con inizializzazione identica e encoder indipendenti, InfoNCE a basse temperature ($\tau=0.01$) genera attivamente uno scostamento tra modalità (distanza tra modalità $\approx 0.75$, accuratezza di classificazione della modalità al 100%).
• Efficacia di xNCE: xNCE riduce significativamente questo gap in tutte le temperature. A $\tau=0.01$, la distanza tra modalità scende a $0.09$ e l'accuratezza di classificazione della modalità scende sotto il 100%, indicando un allineamento riuscito.
• Sensibilità alla Temperatura: InfoNCE mostra una transizione netta nella sovrapposizione delle modalità vicino a $\tau \approx 0.09$. xNCE presenta una transizione più graduale e distanze tra modalità costantemente inferiori.

2. Prestazioni Multi-modali (MS-COCO)

• Riduzione dello Scostamento tra Modalità: InfoNCE standard (con $\tau$ apprendibile) produce un ampio gap (distanza $0.88$). InfoNCE regolarizzata lo riduce a $0.12$, ma comporta un overhead di addestramento del ~25-30%. xNCE riduce il gap a $0.12$ (con $r_{mix}=0.01$) e a $0.05$ (con $r_{mix}=0.50$) senza termini di perdita aggiuntivi o costi computazionali significativi.
• Prestazioni di Retrieval:
  • InfoNCE standard ottiene i punteggi di retrieval R@1 più elevati.
  • xNCE con piccoli rapporti di miscelazione ($r_{mix}=0.01, 0.05$) mantiene una prestazione quasi paritaria con InfoNCE su R@5 e R@10, con solo un calo marginale in R@1.
  • L'InfoNCE ad alta temperatura riduce drasticamente il gap, ma degrada severamente le prestazioni di retrieval (R@1 scende a $\approx 15\%$).
• Classificazione Zero-Shot:
  • Risultato Cruciale: xNCE con piccola miscelazione ($r_{mix}=0.01$) migliora l'accuratezza Top-1 zero-shot in tutti e quattro i benchmark (CIFAR-10, CIFAR-100, Caltech-101, ImageNet) rispetto alla baseline InfoNCE.
  • Al contrario, l'InfoNCE regolarizzata e l'InfoNCE ad alta temperatura non riescono a migliorare (e spesso degradano) la prestazione zero-shot rispetto alla baseline, suggerendo che la regolarizzazione esplicita o le alte temperature danneggino la geometria discriminativa necessaria per il trasferimento.
• Trade-off: Aumentare il rapporto di miscelazione ($r_{mix}$) riduce ulteriormente il gap e aumenta la semantica a livello di istanza (mAP), ma degrada monotonicamente l'accuratezza zero-shot e la precisione del retrieval, indicando un trade-off regolabile tra separabilità delle modalità e struttura discriminativa.

Significato e Affermazioni

Il paper sostiene che lo scostamento tra modalità non sia un sottoprodotto inevitabile dei dati o dell'inizializzazione, ma un fallimento del modo dell'obiettivo InfoNCE quando utilizzato con encoder indipendenti a basse temperature.

• Intuizione Meccanicistica: Gli autori dimostrano che il gap nasce perché il termine di uniformità in InfoNCE può essere soddisfatto divergendo le modalità. xNCE corregge questo problema introducendo negativi intra-modali, eliminando efficacemente l' "obiettivo di divergenza".
• Vantaggio Pratico: A differenza dell'addestramento ad alta temperatura o dell'aggiunta di complessi termini di regolarizzazione, xNCE offre una modifica semplice e computazionalmente efficiente che riduce lo scostamento tra modalità senza sacrificare (e in alcuni casi migliorando) la geometria discriminativa necessaria per il trasferimento zero-shot e il retrieval.
• Regolabilità: Il metodo fornisce un trade-off controllabile tra allineamento delle modalità e semantica intra-modale, permettendo ai professionisti di regolare il rapporto di miscelazione ($r_{mix}$) in base a specifiche esigenze a valle (es. rigido R@1 vs. rappresentazioni invarianti rispetto alla modalità).

Gli autori concludono che xNCE mitiga con successo lo scostamento tra modalità preservando o potenziando le capacità di trasferimento dei modelli multi-modali, sfidando la necessità di strategie di regolarizzazione complesse o regimi ad alta temperatura per ottenere l'allineamento.