💻 computer science

MultiMem: Measuring and Mitigating Memorization in Multi-Modal Contrastive Learninga

Dieses Paper führt MultiMem ein, die erste Metrik zur Quantifizierung von Memorization in multimodalem kontrastivem Lernen, zeigt auf, dass semantische Fehlausrichtung zwischen den Modalitäten und Text die primären Treiber von Memorization sind, und demonstriert, dass gezielte Augmentationen dieses Problem effektiv mildern können, um die Generalisierung des Modells zu verbessern.

Ursprüngliche Autoren: Wenhao Wang, Franziska Boenisch, Michael Backes, Adam Dziedzic

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wenhao Wang, Franziska Boenisch, Michael Backes, Adam Dziedzic

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einer Gruppe von Freunden (einem KI-Modell) bei, die Welt zu erkennen, indem Sie ihnen gleichzeitig Bilder, Klänge und Wörter zeigen. Das Ziel ist, dass sie verstehen, dass ein Bild eines Hundes, das Geräusch eines Bellens und das Wort „Hund“ alle zusammengehören.

Dieses Paper, MultiMem, untersucht eine seltsame Eigenart, wie diese KI-Freunde lernen: Manchmal lernen sie nicht nur die allgemeine Idee eines Hundes, sondern sie merken sich spezifische, seltsame oder verwirrende Beispiele so perfekt, dass sie später keine normalen Hunde mehr erkennen können. Dies wird als Memorierung (Auswendiglernen) bezeichnet.

Hier ist eine Aufschlüsselung dessen, was die Forscher herausgefunden haben und wie sie es behoben haben, unter Verwendung einfacher Analogien.

1. Das Problem: Der „schlechte Schüler“-Effekt

In der Vergangenheit wussten Wissenschaftler, dass KI-Modelle Dinge auswendig lernten, wenn sie nur Bilder lernten (wie ein Schüler, der einen spezifischen Lösungsschlüssel auswendig lernt). Aber wenn man mehr Sinne hinzufügt – wie Klang und Video – ändern sich die Regeln.

Die Forscher entdeckten, dass es in diesen multisensorischen Modellen nicht nur die „schlechten Schüler“ sind, die falsche Etiketten haben. Es sind diejenigen, bei denen die Sinne nicht zusammenpassen.

Die Analogie: Stellen Sie sich eine Karteikarte vor, die das Bild einer Katze zeigt, aber die Audioaufnahme eines bellenden Hundes abspielt und der Text „Elefant“ sagt.
Das Ergebnis: Anstatt zu merken: „Hey, das passt nicht zusammen!“ und die Karte zu ignorieren, wird die KI verwirrt und versucht, sie gewaltsam zusammenzufügen. Sie endet damit, diese spezifische verwirrende Karte auswendig zu lernen, weil sie so seltsam ist. Später, wenn sie eine normale Katze sieht, bleibt sie an dieser seltsamen Erinnerung hängen und scheitert.

2. Das neue Werkzeug: „MultiMem“ (Der Gedächtnis-Detektor)

Vor diesem Paper hatten Wissenschaftler Werkzeuge, um Memorierung zu messen, aber sie waren wie Stethoskope, die nur in ein Ohr hören. Sie konnten prüfen, ob die KI das Bild oder den Text auswendig gelernt hat, aber sie konnten nicht das ganze Gespräch zwischen Bild, Ton und Text hören.

Die Autoren entwickelten MultiMem, ein neues „Super-Stethoskop“.

Wie es funktioniert: Sie trainieren zwei Versionen der KI. Eine Version sieht eine spezifische, verwirrende Karte; die andere Version sieht diese Karte nie.
Der Test: Sie bitten beide KIs, diese spezifische Karte zu beschreiben. Wenn die KI, die die Karte gesehen hat, eine sehr andere Antwort gibt als diejenere, die sie nicht gesehen hat, bedeutet dies, dass die erste KI diese spezifische Karte auswendig gelernt hat.
Die Entdeckung: MultiMem zeigte, dass man, um Memorierung wirklich zu verstehen, alle Sinne zusammen betrachten muss, nicht nur Paare (wie Bild + Text).

3. Die Erkenntnis: Wer ist der Boss?

Die Forscher untersuchten Modelle mit 3 und 4 verschiedenen Sinnen (Audio, Video, Bild, Text).

Alte Überzeugung: In einfachen Modellen war meist der „Text“ (die Wörter) der Boss, der die Memorierung vorantrieb.
Neue Erkenntnis: In komplexen Modellen ist der Text nicht der einzige Boss. Das Missverhältnis zwischen allen Sinnen ist der wahre Übeltäter. Die KI lernt den Konflikt zwischen den Sinnen auswendig.
Die Metapher: Es ist wie eine Band, in der Schlagzeuger, Gitarrist und Sänger alle verschiedene Lieder spielen. Die Band lernt nicht die Musik; sie merken sich einfach den spezifischen Moment des Chaos, damit sie ihn perfekt wiederholen können, obwohl er furchtbar klingt.

4. Die Lösung: „Rauschen“ und „Entgiftung“

Das Team fand zwei Wege, um die KI daran zu hindern, diese verwirrenden Karten auswendig zu lernen, und ihr zu helfen, die echten Muster zu lernen.

Strategie A: Das „In-Training“-Rauschen (Der sanfte Stoß)

Die Idee: Anstatt jeden Schüler gleich zu behandeln, identifizierten die Forscher die obersten 5 % der verwirrendsten Karten (diejenigen, die die KI am häufigsten auswendig lernte).
Die Aktion: Sie fügten ein wenig „Statik“ oder „Rauschen“ (wie einen verwaschenen Filter) nur zu diesen spezifischen verwirrenden Karten hinzu, während die KI noch lernte.
Das Ergebnis: Dies zwang die KI, aufzuhören, die exakten Details der seltsamen Karte auswendig zu lernen, und stattdin auf das allgemeine Muster zu achten. Es ist, als würde man einem Schüler sagen: „Lerne nicht nur die Schreibweise dieses seltsamen Wortes; versuche, die Grammatikregel zu verstehen.“
Ergebnis: Die KI wurde besser darin, neue Dinge zu erkennen (Generalisierung), und lernte weniger auswendig.

Strategie B: Die „Post-Training“-Entgiftung (Die Reinigung)

Die Idee: Nachdem die KI das Lernen abgeschlossen hatte, nutzten die Forscher MultiMem, um die Top-Verwirrungskarten zu finden, die sie auswendig gelernt hatte.
Die Aktion: Sie warfen diese spezifischen Karten weg und ließen die KI den Rest des Materials ohne sie neu lernen.
Das Ergebnis: Auch dies verbesserte die Leistung der KI, obwohl die „In-Training“-Rauschmethode etwas besser funktionierte.

5. Warum das wichtig ist

Das Paper kommt zu dem Schluss, dass wir durch die Messung der Memorierung über alle Sinne gleichzeitig (mit MultiMem) und die Anwendung dieser „Rauschen“- oder „Entgiftungs“-Strategien KI-Modelle bauen können, die:

Weniger wahrscheinlich an seltsamen, verwirrenden Beispielen hängen bleiben.
Besser darin sind, neue, reale Situationen zu verstehen.
Robuster sind, weil sie nicht nur die „Gl glitches“ in den Daten auswendig lernen.

Kurz gesagt: Das Paper lehrt uns, dass wir, um eine KI daran zu hindern, ein „Papagei“ zu sein, der verwirrenden Unsinn nachplappert, messen müssen, wie sie das gesamte Gespräch zwischen ihren Sinnen handhabt, und sie dann sanft vom Seltsamen weglenken müssen, während sie lernt.

Technische Zusammenfassung: MultiMem: Messung und Abschwächung von Auswendiglernen in multimodalen kontrastivem Lernen

1. Problemstellung

Während das Auswendiglernen (Memorization) in maschinellen Lernmodellen bekannt dafür ist, die Leistung bei seltenen In-Distribution-Proben zu unterstützen, indem es atypische Muster erfasst, führt es auch zur schädlichen Beibehaltung von Rauschen und Ausreißern, was die Generalisierung verschlechtert. Umfangreiche Forschung hat das Auswendiglernen im überwachten Lernen (SL) und im selbstüberwachten Lernen (SSL) innerhalb der Vision-Domäne charakterisiert. Das Auswendiglernen im multimodalen kontrastiven Lernen bleibt jedoch unerforscht.

Bestehende Definitionen von Auswendiglernen sind oft modalitätsspezifisch (z. B. basierend auf der Label-Vorhersage in SL oder dem Matching von Augmentationen in SSL) oder auf bi-modale Settings beschränkt (z. B. Bild-Text-Paare in CLIP). Diese Definitionen erfassen nicht die komplexen, globalen Interaktionen über verschiedene Modalitäten hinweg (wie Audio, Video, Bild und Text), die für multimodale Modelle inhärent sind. Darüber hinaus sind vorangegangene Methoden wie déjà vu oder CLIPMem nicht direkt auf Modelle mit mehr als zwei Modalitäten anwendbar. Es besteht ein kritischer Bedarf an einem Framework, das Auswendiglernen über alle Modalitäten gleichzeitig quantifizieren und verstehen kann, wie kreuzmodale Inkonsistenzen dieses Phänomen vorantreiben.

2. Methodik

Die MultiMem-Metrik
Die Autoren führen MultiMem ein, die erste Metrik, die darauf ausgelegt ist, das Auswendiglernen in multimodalem kontrastivem Lernen für eine beliebige Anzahl und Art von Modalitäten zu quantifizieren.

Framework: Es basiert auf dem Leave-one-out-Framework. Zwei Modelle werden trainiert: Modell $f$ auf dem vollständigen Datensatz $S$ und Modell $g$ auf dem Datensatz $S \setminus i$ (unter Ausschluss eines spezifischen multimodalen Samples $x_i$ ).
Proxy für Auswendiglernen: Anstatt sich allein auf die Label-Vorhersage oder paarweise Ausrichtung zu verlassen, nutzt MultiMem die Kreuzmodale Konsistenz (Cross-Modal Consistency, CMC) als Proxy. Die CMC misst die Ausrichtung der Repräsentationen über alle Modalitäten für ein spezifisches Sample im Vergleich zu deren Ausrichtung mit unzusammenhängenden Samples aus einem gehaltenen Satz $H$ .
Berechnung:
1. Die Repräsentationen eines Samples $x_i$ über $n$ Modalitäten hinweg werden normalisiert und in einen Repräsentationsraum $\Phi$ aggregiert.
2. Die CMC wird als Differenz zwischen der erwarteten Ähnlichkeit der Modalitäten innerhalb des Samples (Intra-Sample-Konsistenz) und der erwarteten Ähnlichkeit zwischen dem Sample und gehaltenen Samples (Inter-Sample-Separation) berechnet.
3. MultiMem ist definiert als die Differenz der CMC-Scores zwischen Modell $f$ und Modell $g$ :
  $\text{MultiMem}(i, H, f) = \text{CMC}_{f \sim S}(i, H) - \text{CMC}_{g \sim S \setminus i}(i, H)$
  Ein hoher MultiMem-Score deutet darauf hin, dass die Fähigkeit des Modells, die Modalitäten für das Sample $x_i$ auszurichten, stark von der Anwesenheit von $x_i$ im Trainingsdatensatz abhängt, was auf Auswendiglernen hindeutet.

Experimenteller Aufbau
Die Autoren evaluierten MultiMem an mehreren Modellen:

AudioCLIP: Audio, Bild, Text.
AVT-CLIP: Audio, Video, Text (selbst erstellt).
AVIT-CLIP: Audio, Video, Bild, Text (selbst erstellt).
Baselines: OpenCLIP, VideoCLIP.
Die Datensätze umfassten UrbanSound8K, MSR-VTT und COCO.

Strategien zur Abschwächung (Mitigation)
Basierend auf der Metrik wurden zwei Strategien zur Abschwächung vorgeschlagen:

Abschwächung während des Trainings (In-Training Mitigation): Während des Trainings werden die obersten 5 % der am stärksten auswendig gelernten Samples (identifiziert durch periodische MultiMem-Evaluierung) in neue Batches umgruppiert. Nur diese Samples erhalten gezielte rauschbasierte Augmentationen (Gaußsches Rauschen) auf ihren Repräsentationen, während andere Batches unverändert bleiben.
Abschwächung nach dem Training (Post-Training Mitigation): Nach dem initialen Training werden die am stärksten auswendig gelernten Samples identifiziert und aus dem Trainingsdatensatz entfernt. Das Modell wird dann auf den verbleibenden Daten feinjustiert.

3. Wichtigste Ergebnisse und Erkenntnisse

Charakterisierung des Auswendiglernens

Global vs. Partiell: Das über alle Modalitäten gemessene Auswendiglernen (Global MultiMem) verhält sich anders als das Auswendiglernen, das auf Teilmengen von Modalitäten gemessen wird (z. B. nur Bild-Text). Eine globale Bewertung ist für eine genaue Evaluierung notwendig.
Treiber des Auswendiglernens: Die am stärksten auswendig gelernten Samples sind nicht bloß falsch beschriftet (wie oft bei bi-modalen Modellen), sondern weisen eine semantische Fehlausrichtung über alle Modalitäten hinweg auf. Die von den verschiedenen Modalitäten bereitgestellten Informationen widersprechen sich oft oder stehen in keinem Zusammenhang miteinander.
Einfluss der Modalität: Kreuzmodale semantische Fehlausrichtung hat den stärksten Einfluss auf das Auswendiglernen; gefolgt von Text, Video, Bild und Audio.
Verhaltensänderung: Multimodale Modelle zeigen Verhaltensweisen beim Auswendiglernen, die eher dem selbstüberwachten Lernen (SSL) (Lernen von Mustern) als dem überwachten Lernen (Lernen von Labels) ähneln. Die Einführung von Audio und Video verschiebt das Verhalten des Vision-Encoders weg von einer rein textbasierten Steuerung.
Korrelation mit der Generalisierung: Es besteht eine starke negative Korrelation zwischen globalem Auswendiglernen und der Generalisierungsleistung (gemessen via Retrieval, Linear Probing und Zero-Shot-Aufgaben). Höheres Auswendiglernen führt zu geringerer Downstream-Leistung.

Auswirkung der Abschwächung

Augmentierung: Die Anwendung von Augmentierungen auf alle Modalitäten liefert das geringste Auswendiglernen und die höchste Performance. Die Anwendung von Augmentierungen auf nur eine einzige Modalität kann das Auswendiglernen in nicht-augmentierten Modalitätspaaren erhöhen.
Effektivität der Abschwächung: Sowohl die In-Training- als auch die Post-Training-Abschwächungsstrategien reduzierten das Auswendiglernen signifikant (um bis zu 20 %) und verbesserten die Modellleistung:
- Retrieval: Bis zu 8 % Verbesserung.
- Zero-Shot Klassifikation: Bis zu 10 % Verbesserung.
- Downstream Klassifikation: Bis zu 4 % Verbesserung.
Mechanismus: Die Abschwächung funktioniert, indem sie die durchschnittliche Modalitätsdistanz für hochgradig auswendig gelernte Samples erhöht (Reduzierung ihrer „Über-Ausrichtung“ durch Rauschen), während die allgemeine Modalitätslücke des Datensatzes erhalten bleibt. Die In-Training-Abschwächung erwies sich als etwas effektiver als die Post-Training-Abschwächung.

4. Bedeutung und Ansprüche

Das Paper beansprucht, das erste Framework zur Messung und Abschwächung von Auswendiglernen speziell für das multimodale kontrastive Lernen etabliert zu haben. Seine Bedeutung liegt in:

Definition einer neuen Metrik: Bereitstellung von MultiMem, das über bi-modale Limitationen hinausgeht, um globale Interaktionen über beliebige Modalitätskonfigurationen hinweg zu erfassen.
Aufdeckung neuer Muster: Demonstration, dass multimodales Auswendiglernen durch kreuzmodale semantische Inkonsistenz getrieben wird und nicht nur durch Label-Rauschen oder Single-Modality-Ausreißer, und dass diese Modelle eher wie SSL-Modelle als wie SL-Modelle agieren.
Praktische Abschwächung: Aufzeigen, dass gezielte Interventionen basierend auf dieser Metrik (speziell Rausch-Augmentierung auf auswendig gelernten Samples) die schädliche Datenretention effektiv verhindern und zu robusteren, leistungsfähigeren Modellen führen, ohne dass große Teile der Daten entfernt werden müssen.

Die Autoren betonen, dass ihre Arbeit die schädliche Datenretention verhindert und zur Entwicklung besser generalisierender multimodaler Modelle beiträgt, womit sie eine Lücke schließen, die durch bisherige uni-modale oder bi-modale Studien hinterlassen wurde.