MultiMem: Measuring and Mitigating Memorization in Multi-Modal Contrastive Learninga

Technische Samenvatting: MultiMem: Meten en Mitigeren van Memorisatie in Multi-modaal Contrastief Leren

1. Probleemstelling

Hoewel memorisatie in machine learning modellen bekend staat om het helpen van prestaties op zeldzame in-distributie monsters door atypische patronen te vangen, leidt het ook tot de schadelijke retentie van ruis en uitschieters, wat de generalisatie verslechtert. Uitgebreid onderzoek heeft memorisatie in supervised learning (SL) en self-supervised learning (SSL) binnen het visuele domein gekarakteriseerd. Echter, memorisatie in multi-modaal contrastief leren is nog niet onderzocht.

Bestaande definities van memorisatie zijn vaak modus-specifiek (bijv. gebaseerd op labelvoorspelling in SL of augmentatie-matching in SSL) of beperkt tot bi-modale settings (bijv. beeld-tekst paren in CLIP). Deze definities slagen er niet in de complexe, globale interacties over diverse modaliteiten heen (zoals audio, video, beeld en tekst) te vatten die inherent zijn aan multi-modale modellen. Bovendien zijn eerdere methoden zoals déjà vu of CLIPMem niet direct toepasbaar op modellen die meer dan twee modaliteiten bevatten. Er is een kritieke behoefte aan een framework dat memorisatie simultaan over alle modaliteiten kan kwantificeren en begrijpt hoe cross-modale inconsistenties dit fenomeen aansturen.

2. Methodologie

De MultiMem Metriek
De auteurs introduceren MultiMem, de eerste metriek ontworpen om memorisatie in multi-modaal contrastief leren te kwantificeren voor een willekeurig aantal en type modaliteiten.

• Framework: Het bouwt voort op het leave-one-out framework. Twee modellen worden getraind: model $f$ op de volledige dataset $S$, en model $g$ op de dataset $S \setminus i$ (exclusief een specifieke multi-modale sample $x_i$).
• Proxy voor Memorisatie: In plaats van te vertrouwen op labelvoorspelling of pairwise alignment alleen, gebruikt MultiMem Cross-Modal Consistency (CMC) als een proxy. De CMC meet de uitlijning van representaties over alle modaliteiten voor een specifieke sample versus hun uitlijning met ongerelateerde samples uit een gehouden set $H$.
• Berekening:
  1. Representaties voor een sample $x_i$ over $n$ modaliteiten worden genormaliseerd en geaggregeerd in een representatieruimte $\Phi$.
  2. CMC wordt berekend als het verschil tussen de verwachte gelijkenis van modaliteiten binnen de sample (intra-sample consistentie) en de verwachte gelijkenis tussen de sample en gehouden samples (inter-sample separatie).
  3. MultiMem wordt gedefinieerd als het verschil in CMC-scores tussen model $f$ en model $g$:
     $$\text{MultiMem}(i, H, f) = \text{CMC}_{f \sim S}(i, H) - \text{CMC}_{g \sim S \setminus i}(i, H)$$
     Een hoge MultiMem-score geeft aan dat het vermogen van het model om modaliteiten voor sample $x_i$ uit te lijnen sterk afhankelijk is van de aanwezigheid van $x_i$ in de trainingsset, wat duidt op memorisatie.

Experimentele Opzet
De auteurs evalueerden MultiMem op verschillende modellen:

• AudioCLIP: Audio, Beeld, Tekst.
• AVT-CLIP: Audio, Video, Tekst (custom-built).
• AVIT-CLIP: Audio, Video, Beeld, Tekst (custom-built).
• Baselines: OpenCLIP, VideoCLIP.
  Datasets omvatten UrbanSound8K, MSR-VTT, en COCO.

Mitigatiestrategieën
Op basis van de metriek werden twee strategieën voorgesteld om memorisatie te mitigeren:

1. In-Training Mitigatie: Tijdens de training worden de top 5% van de meest gememoriseerde samples (geïdentificeerd via periodieke MultiMem-evaluatie) samengevoegd in nieuwe batches. Alleen deze samples ontvangen gerichte ruis-gebaseerde augmentaties (Gaussiaanse ruis) op hun representaties, terwijl andere batches ongewijzigd blijven.
2. Post-Training Mitigatie: Na de initiële training worden de top gememoriseerde samples geïdentificeerd en verwijderd uit de trainingsset. Het model wordt vervolgens gefinetuned op de resterende data.

3. Belangrijkste Resultaten en Bevindingen

Karakterisering van Memorisatie

• Globaal vs. Partieel: Memorisatie gemeten over alle modaliteiten (Global MultiMem) gedraagt zich anders dan memorisatie gemeten op subsets van modaliteiten (bijv. alleen Beeld-Tekst). Globale beoordeling is noodzakelijk voor een nauwkeurige evaluatie.
• Drivers van Memorisatie: De meest gememoriseerde samples zijn niet louter verkeerd gecapioneerd (zoals vaak bij bi-modale modellen), maar vertonen semantische misalignment over alle modaliteiten. De informatie geleverd door verschillende modaliteiten spreekt elkaar vaak tegen of is ongerelateerd aan elkaar.
• Invloed van Modaliteit: Cross-modale semantische misalignment heeft de sterkste invloed op memorisatie. Tekst is de dominante modaliteit die memorisatie aanstuurt, gevolgd door video, beeld en audio.
• Gedragsverschuiving: Multi-modale modellen vertonen memorisatiegedrag dat dichter bij Self-Supervised Learning (SSL) ligt (het memoriseren van patronen) dan bij Supervised Learning (het memoriseren van labels). De introductie van audio en video verschuift het gedrag van de visuele encoder weg van puur door tekst gestuurde processen.
• Correlatie met Generalisatie: Er is een sterke negatieve correlatie tussen globale memorisatie en de generalisatieprestaties (gemeten via retrieval, linear probing en zero-shot taken). Hogere memorisatie leidt tot lagere downstream prestaties.

Impact van Mitigatie

• Augmentatie: Het toepassen van augmentaties op alle modaliteiten levert de laagste memorisatie en hoogste prestaties op. Het toepassen van augmentaties op slechts één enkele modaliteit kan de memorisatie in niet-geaugmenteerde modale paren verhogen.
• Effectiviteit van Mitigatie: Zowel in-training als post-training mitigatiestrategieën verminderden de memorisatie aanzienlijk (met tot wel 20%) en verbeterden de prestaties van het model:
  • Retrieval: Tot 8% verbetering.
  • Zero-shot Classificatie: Tot 10% verbetering.
  • Downstream Classificatie: Tot 4% verbetering.
• Mechanisme: Mitigatie werkt door de gemiddelde modale afstand voor hoog gememoriseerde samples te vergroten (het verminderen van hun "over-alignment" door ruis) terwijl de algemene modale kloof van de dataset behouden blijft. In-training mitigatie bleek iets effectiever dan post-training mitigatie.

4. Betekenis en Claims

Het artikel claimt het eerste framework te hebben vastgesteld voor het meten en mitigeren van memorisatie specif kind aan multi-modaal contrastief leren. De significantie ligt in:

1. Definiëren van een Nieuwe Metriek: Het bieden van MultiMem, dat verder gaat dan bi-modale beperkingen om globale interacties te vatten over willekeurige modale configuraties.
2. Onthullen van Nieuwe Patronen: Het aantonen dat multi-modale memorisatie wordt gedreven door cross-modale semantische inconsistentie in plaats van enkel labelruis of single-modality uitschieters, en dat deze modellen meer als SSL-modellen dan als SL-modellen gedragen.
3. Praktische Mitigatie: Het aantonen dat gerichte interventies op basis van deze metriek (specifiek ruis-augmentatie op gememoriseerde samples) effectief de schadelijke data-retentie voorkomen en leiden tot robuustere, beter presterende modellen zonder dat het verwijderen van grote hoeveelheden data nodig is.

De auteurs benadrukken dat hun werk de schadelijke data-retentie voorkomt en bijdraagt aan de ontwikkeling van beter generaliserende multi-modale modellen, waarmee een gat wordt opgevuld dat is achtergelaten door eerdere uni-modale of bi-modale studies.