MultiMem: Measuring and Mitigating Memorization in Multi-Modal Contrastive Learninga

Sintesi Tecnica: MultiMem: Misurare e Mitigare la Memorizzazione nell'Apprendimento Contrastivo Multi-Modale

1. Definizione del Problema

Sebbene la memorizzazione nei modelli di machine learning sia nota per favorire le prestazioni su campioni rari in-distribution catturando pattern atipici, essa porta anche alla ritenzione dannosa di rumore e outlier, degradando la generalizzazione. Una vasta ricerca ha caratterizzato la memorizzazione nell'apprendimento supervisionato (SL) e nell'apprendimento auto-supervisionato (SSL) nel dominio della visione. Tuttavia, la memorizzazione nell'apprendimento contrastivo multi-modale rimane inesplorata.

Le definizioni esistenti di memorizzazione sono spesso specifiche per singola modalità (ad esempio, basate sulla predizione delle etichette in SL o sull'accoppiamento di aumentazioni in SSL) o limitate a contesti bi-modali (ad esempio, coppie immagine-testo in CLIP). Queste definizioni non riescono a catturare le complesse interazioni globali attraverso diverse modalità (come audio, video, immagine e testo) inerenti ai modelli multi-modali. Inoltre, i metodi precedenti come déjà vu o CLIPMem non sono direttamente applicabili a modelli che coinvolgono più di due modalità. Esiste una critica necessità di un framework che possa quantificare la memorizzazione attraverso tutte le modalità simultaneamente e comprendere come le inconsistenze cross-modali guidino questo fenomeno.

2. Metodologia

La Metrica MultiMem
Gli autori introducono MultiMem, la prima metrica progettata per quantificare la memorizzazione nell'apprendimento contrastivo multi-modale per qualsiasi numero e tipo di modalità.

• Framework: Si basa sul framework leave-one-out. Vengono addestrati due modelli: il modello $f$ sull'intero dataset $S$, e il modello $g$ sul dataset $S \setminus i$ (escludendo un campione multi-modale specifico $x_i$).
• Proxy per la Memorizzazione: Inveve di fare affidamento solo sulla predizione delle etichette o sull'allineamento a coppie, MultiMem utilizza la Consistenza Cross-Modale (CMC) come proxy. La CMC misura l'allineamento delle rappresentazioni attraverso tutte le modalità per un campione specifico rispetto al loro allineamento con campioni non correlati da un set tenuto in riserva $H$.
• Calcolo:
  1. Le rappresentazioni per un campione $x_i$ attraverso $n$ modalità vengono normalizzate e aggregate in uno spazio di rappresentazione $\Phi$.
  2. La CMC è calcolata come la differenza tra la similarità attesa delle modalità all'interno del campione (consistenza intra-campione) e la similarità attesa tra il campione e i campioni tenuti in riserva (separazione inter-campione).
  3. MultiMem è definita come la differenza nei punteggi CMC tra il modello $f$ e il modello $g$:
     $$\text{MultiMem}(i, H, f) = \text{CMC}_{f \sim S}(i, H) - \text{CMC}_{g \sim S \setminus i}(i, H)$$
     Un punteggio MultiMem elevato indica che la capacità del modello di allineare le modalità per il campione $x_i$ dipende fortemente dalla presenza di $x_i$ nel set di addestramento, segnalando memorizzazione.

Configurazione Sperimentale
Gli autori hanno valutato MultiMem su diversi modelli:

• AudioCLIP: Audio, Immagine, Testo.
• AVT-CLIP: Audio, Video, Testo (costruito su misura).
• AVIT-CLIP: Audio, Video, Immagine, Testo (costruito su misura).
• Baseline: OpenCLIP, VideoCLIP.
  I dataset includono UrbanSound8K, MSR-VTT e COCO.

Strategie di Mitigazione
Sulla base della metrica, sono state proposte due strategie per mitigare la memorizzazione:

1. Mitigazione In-Training: Durante l'addestramento, il top 5% dei campioni più memorizzati (identificati tramite valutazione periodica MultiMem) viene raggruppato in nuovi batch. Solo questi campioni ricevono aumentazioni basate sul rumore mirate (rumore Gaussiano) sulle loro rappresentazioni, mentre gli altri batch rimangono invariati.
2. Mitigazione Post-Training: Dopo l'addestramento iniziale, i campioni più memorizzati vengono identificati e rimossi dal set di addestramento. Il modello viene quindi sottoposto a fine-tuning sui dati rimanenti.

3. Risultati Chiave e Conclusioni

Caratterizzazione della Memorizzazione

• Globale vs Parziale: La memorizzazione misurata attraverso tutte le modalità (Global MultiMem) si comporta diversamente dalla memorizzazione misurata su sottoinsiemi di modalità (ad esempio, solo Immagine-Testo). La valutazione globale è necessaria per una valutazione accurata.
• Driver della Memorizzazione: I campioni più memorizzati non sono semplicemente mal etichettati (come spesso accade nei modelli bi-modali), ma esibiscono un disallineamento semantico cross-modale. Le informazioni fornite dalle diverse modalità spesso contraddicono o sono non correlate tra loro.
• Influenza della Modalità: Il disallineamento semantico cross-modale ha l'influenza più forte sulla memorizzazione. Il testo è la modalità dominante che guida la memorizzazione, seguito da video, immagine e audio.
• Spostamento Comportamentale: I modelli multi-modali esibiscono comportamenti di memorizzazione più vicini all'Apprendimento Auto-Supervisionato (SSL) (memorizzazione di pattern) piuttosto che all'Apprendimento Supervisionato (memorizzazione di etichette). L'introduzione di audio e video sposta il comportamento dell'encoder di visione lontano dall'essere puramente guidato dal testo (caption-driven).
• Correlazione con la Generalizzazione: Esiste una forte correlazione negativa tra la memorizzazione globale e le prestazioni di generalizzazione (misurate tramite retrieval, linear probing e task zero-shot). Una memorizzazione più elevata porta a prestazioni inferiori nei task downstream.

Impatto della Mitigazione

• Augmentation: Applicare le aumentazioni a tutte le modalità produce la memorizzazione più bassa e le prestazioni più alte. Applicare le aumentazioni a una singola modalità può aumentare la memorizzazione nelle coppie di modalità non aumentate.
• Efficacia della Mitigazione: Entrambe le strategie di mitigazione, in-training e post-training, hanno ridotto significativamente la memorizzazione (fino al 20%) e migliorato le prestazioni del modello:
  • Retrieval: Fino all'8% di miglioramento.
  • Zero-shot Classification: Fino al 10% di miglioramento.
  • Downstream Classification: Fino al 4% di miglioramento.
• Meccanismo: La mitigazione funziona aumentando la distanza media tra le modalità per i campioni altamente memorizzati (riducendo il loro "sovra-allineamento" dovuto al rumore) pur preservando il gap modale complessivo del dataset. La mitigazione in-training è stata trovata leggermente più efficace della mitigazione post-training.

4. Significato e Rivendicazioni

Il paper sostiene di aver stabilito il primo framework per misurare e mitigare la memorizzazione specificamente per l'apprendimento contrastivo multi-modale. La sua importanza risiede in:

1. Definizione di una Nuova Metrica: Fornire MultiMem, che generalizza oltre i limiti bi-modali per catturare le interazioni globali attraverso configurazioni di modalità arbitrarie.
2. Rivelazione di Nuovi Pattern: Dimostrare che la memorizzazione multi-modale è guidata dall'inconsistenza semantica cross-modale piuttosto che solo dal rumore delle etichette o da outlier di singola modalità, e che questi modelli si comportano più come modelli SSL che come modelli SL.
3. Mitigazione Pratica: Mostrare come interventi mirati basati su questa metrica (specificamente l'augmentation del rumore sulle modalità memorizzate) prevengano efficacemente la ritenzione dannosa dei dati e portino a modelli più robusti e con prestazioni superiori senza richiedere la rimozione di grandi porzioni di dati.

Gli autori sottolineano che il loro lavoro previene la ritenzione dannosa dei dati e contribuisce allo sviluppo di modelli multi-modali con una migliore capacità di generalizzazione, colmando una lacuna lasciata dagli studi uni-modali o bi-modali precedenti.