🤖 machine learning

Multimodal Unlearning Across Vision, Language, Video, and Audio: Survey of Methods, Datasets, and Benchmarks

Diese Übersicht präsentiert eine einheitliche, systemorientierte Taxonomie von multimodalen Unlearning-Methoden, Datensätzen und Benchmarks über die Modalitäten Vision, Sprache, Audio und Video hinweg und adressiert dabei die Herausforderung, sensible oder urheberrechtlich geschützte Informationen selektiv aus Fundamentmodellen zu entfernen, während deren allgemeine Nützlichkeit erhalten bleibt.

Ursprüngliche Autoren: Nobin Sarwar, Shubhashis Roy Dipta, Zheyuan Liu, Vaidehi Patil

Veröffentlicht 2026-07-10

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nobin Sarwar, Shubhashis Roy Dipta, Zheyuan Liu, Vaidehi Patil

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen super-intelligenten, super-kreativen Roboterfreund gebaut, der gleichzeitig Bilder zeichnen, Geschichten schreiben, Lieder singen und Videos erstellen kann. Dieser Roboter hat gelernt, indem er das gesamte Internet gelesen hat, aber dabei hat er versehentlich Dinge gespeichert, die er nicht hätte speichern dürfen: vielleicht ein privates Foto eines Nachbarn, ein urheberrechtlich geschütztes Gemälde eines berühmten Künstlers oder einen seltsamen, unsicheren Witz.

Nun möchte der Nachbar, dass dieses Foto vergessen wird, der Künstler, dass sein Stil gelöscht wird, und das Internet möchte, dass dieser Witz verschwindet. Der alte Weg, dies zu beheben, bestand darin, die schlechten Daten zu löschen und den Roboter von Grund auf neu aufzubauen. Aber das ist so, als würde man einen Wolkenkratzer abreißen, nur um einen einzelnen gerissenen Ziegelstein zu entfernen – es dauert ewig, kostet ein Vermögen und ist völlig unpraktisch.

Dieses Papier ist eine massive Survey (eine riesige Landkarte der aktuellen Landschaft), die einen neuen, klügeren Weg untersucht, um dies zu beheben: Multimodales Unlearning. Anstatt den ganzen Roboter neu aufzubauen, versuchen diese Methoden, ein „selektives Vergessen“ durchzuführen – sie versuchen, die schlechten Erinnerungen chirurgisch zu entfernen, während die Fähigkeit des Roboters, zu zeichnen, zu schreiben und zu singen, perfekt intakt bleibt.

Die große Landkarte: Wo schneiden wir?

Die Autoren organisieren alle verschiedenen Methoden in einer „systemorientierten“ Karte. Anstatt nur auf die Mathematik zu schauen, betrachten sie, wann und wo man in das Gehirn des Roboters eingreift. Sie haben fünf Hauptorte gefunden, an denen man diese Operation durchführen kann:

Die Datenseite (Bevor der Roboter lernt): Stellen Sie sich vor, Sie kleben einen „Nicht lernen“-Aufkleber auf die schlechten Fotos oder Texte, bevor der Roboter sie überhaupt sieht. Einige Methoden verändern die Daten leicht, sodass der Robot sie nicht auswendig lernen kann, oder sie bereinigen die Trainingsbibliothek, um „vergiftete“ Paare von Bildern und Wörtern zu entfernen.
Edits während des Trainings (Während der Roboter lernt): Das ist so, als würde man dem Roboter eine neue Regel beibringt, während er gerade lernt. Man sagt ihm: „Hey, wenn du dieses spezifische Ding siehst, erinnere dich nicht daran, aber behalte alles andere im Gedächtnis.“ Der Roboter passt seine Gehirngewichte an, um das Ziel zu vergessen, während er den Rest festhält.
Architektur-Beschränkungen (Änderung der Hardware des Roboters): Manchmal ändern wir nicht die Regeln, sondern die Struktur des Roboters. Man könnte bestimmte Teile seines Gehirns „einfrieren“ (verriegeln), sodass sie sich nicht verändern können, oder bestimmte Verbindungen, die die schlechte Erinnerung halten, „beschneiden“ (prunen), und dann den Roboter den guten Kram um die entstandene Lücke herum neu lernen lassen.
Trainingsfreies Unlearning (Der magische Radiergummi): Das ist der coolste Teil. Diese Methoden trainieren den Roboter überhaupt nicht neu. Sie nutzen Mathematik, um die Gehirngewichte des Roboters oder seine internen Repräsentationen (die Art und Weise, wie er über Dinge „denkt“) in einem schnellen Schritt direkt zu bearbeiten. Es ist wie die Verwendung eines speziellen chemischen Lösungsmittels, um nur die schlechte Tinte aufzulösen, ohne den Rest der Seite zu berühren.
Dekodierungszeit (Während der Show): Stellen Sie sich vor, der Roboter zeichnet gerade ein Bild. Im allerletzten Moment, bevor das Bild erscheint, greift ein Filter ein und sagt: „Nein, zeichne nicht dieses spezifische Gesicht.“ Das Gehirn des Roboters bleibt gleich, aber der Output wird vom verbotenen Inhalt weggesteuert.

Die Regeln des Spiels

Das Papier ist sehr klar darüber, was diese Methoden erreichen wollen und was sie nicht tun.

Das Ziel: Das Hauptziel ist die selektive Entfernung. Man möchte ein spezifisches „Forget Set“ (wie ein privates Gesicht oder einen urheberrechtlich geschützten Stil) vergessen, während das „Retain Set“ (alles andere) perfekt funktioniert. Das Papier definiert dies mathematisch: Der Roboter nach dem Vergessen sollte fast exakt so agieren wie ein Roboter, der mit den schlechten Daten nie trainiert wurde.
Was ausgeschlossen wird: Das Papier argumentiert explizit gegen die Idee, dass man einfach Daten löschen kann und erwartet, dass der Roboter automatisch vergisst. Es zeigt, dass Wissen über das Gehirn des Roboters verteilt ist; das Löschen der Quelldatei löscht nicht die Erinnerung. Es schließt auch die Idee aus, dass aktuelle Methoden perfekt sind. Sie sind oft heuristisch (basierend auf Ausprobieren und klugen Vermutungen) statt auf unumstößlichen mathematischen Beweisen zu basieren, dass die Erinnerung für immer zu 100 % weg ist.
Die „Unlearning“ vs. „Verstecken“-Falle: Das Papier legt nahe, dass einige Methoden die schlechten Informationen vielleicht nur verstecken, anstatt sie wirklich zu löschen. Wenn man den Roboter mit den richtigen „adversarialen“ Fragen (wie einem Jailbreak) kitzelt, könnte die vergessene Erinnerung wieder auftauchen. Das Papier stellt fest, dass wir zwar viele Methoden haben, aber noch keine Garantie haben, dass die Erinnerung wirklich gelöscht ist, insbesondere gegenüber cleveren Angriffen.

Das Werkzeugkasten: Datensätze und Benchmarks

Um diese Methoden zu testen, nutzen Forscher spezifische „Trainingsplätze“. Das Papier listet eine Reihe von Datensätzen auf, die verwendet werden:

Für Gesichter: Sie verwenden Datensätze wie CelebA (202.599 Bilder) und VGGFace2 (3,3 Millionen Gesichtsbilder), um zu testen, ob der Roboter das Gesicht einer bestimmten Person vergessen kann.
Für Urheberrecht: Sie verwenden UnlearnCanvas (60 künstlerische Stile), um zu sehen, ob der Roboter einen bestimmten Stil eines Künstlers vergessen kann.
Für Sicherheit: Sie verwenden Datensätze wie I2P (4.700 Prompts), um zu testen, ob der Roboter lernen kann, unsichere oder unangemessene Inhalte zu generieren.
Für Audio: Sie verwenden VoxCeleb1 (150.000 Äußerungen), um zu testen, ob der Roboter die Stimme eines bestimmten Sprechers vergessen kann.

Das Papier hebt hervor, dass wir Benchmarks (wie MU-Bench und MLLMU-Bench) haben, um zu messen, wie gut diese Methoden funktionieren. Diese Benchmarks prüfen drei Dinge:

Hat es vergessen? (Erkennt der Roboter das schlechte Ding nicht mehr?)
Hat es das Gute behalten? (Ist der Roboter immer noch gut darin, über alles andere zu zeichnen und zu schreiben?)
Ist es sicher? (Kann ein Hacker den Roboter austricksen, damit er sich wieder an das schlechte Ding erinnert?)

Der Realitätscheck: Was ist noch kaputt?

Die Autoren sind ehrlich über die Lücken. Sie deuten an, dass wir uns zwar über viele coole Werkzeuge verfügen, aber noch in den „Anfangstagen“ sind.

Keine magischen Garantien: Die meisten Methoden sind simuliert oder werden an spezifischen Modellen getestet. Wir haben keinen universellen mathematischen Beweis, der besagt: „Diese Methode wird die Erinnerung immer für immer löschen, egal was passiert.“
Das „Wiederauftauchen“-Problem: Das Papier legt nahe, dass vergessene Konzepte in generativen Modellen (wie Bilderzeugern) wieder auftauchen könnten, wenn der Roboter später feinjustiert wird oder wenn jemand einen cleveren Prompt verwendet. Es ist wie das Vergessen eines Liedes, aber dann hört man eine ähnliche Melodie und erinnert sich plötzlich wieder daran.
Der Trade-off: Es gibt oft einen Trade-off. Je aggressiver man versucht zu vergessen, desto eher schadet man der Fähigkeit des Roboters, andere Dinge zu tun. Das Papier stellt fest, dass das Löschen von nur einem winzigen Teil der Daten manchmal zu einem messbaren Leistungsabfall bei anderen Aufgaben führen kann.
Cross-Modality Leaks: Wenn man dem Roboter beibringt, ein Gesicht in Bildern zu vergessen, vergisst er dieses Gesicht dann auch in Textbeschreibungen? Das Papier deutet an, dass dies eine riesige offene Herausforderung ist; Sicherheit in einem Modus (Text) bedeutet nicht automatisch Sicherheit in einem anderen (Bild).

Das Fazit

Dieses Papier ist eine Survey, was bedeutet, dass es ein umfassender Leitfaden darüber ist, was es derzeit gibt, und nicht eine einzelne neue Erfindung. Es ordnet das Chaos des „Wie man KI zum Vergessen bringt“ in ein klares System ein. Es legt nahe, dass wir zwar mächtige Werkzeuge besitzen, um „Operationen“ an KI-Modellen durchzuführen, aber wir müssen erst noch herausfinden, wie wir diese Operationen zu 100 % zuverlässig, sicher gegen Hacker und perfekt darin machen, den Rest des Robotergehirns nicht zu beschädigen.

Die Autoren veröffentlichen ein kuratiertes Repository (eine öffentliche Sammlung von Code und Daten), um anderen beim Aufbau zu helfen. Sie sind hoffnungsvoll, dass wir durch die Kartierung der Probleme – wie der Bedarf an besseren Benchmarks und stärkeren Garantien – schließlich eine KI bauen können, die Privatsphäre und Urheberrecht respektiert, ohne dass sie jedes Mal neu aufgebaut werden muss, wenn jemand verlangt, vergessen zu werden.

Technisches Resümee: Multimodales Unlearning über Vision, Sprache, Video und Audio hinweg

1. Problemdefinition

Die rasche Einführung von multimodalen Fundamentmodellen (Multimodal Foundation Models, MFMs) – einschließlich Vision-Language-Modellen (VLMs), Diffusionsmodellen (DMs), Large Language Models (LLMs) und Audio-Fundamentmodellen (AFMs) – hat erhebliche Risiken hinsichtlich der unbeabsichtigten Kodierung sensibler, urheberrechtlich geschützter, voreingenommener oder unsicherer cross-modaler Assoziationen mit sich gebracht. Diese Modelle, die auf Web-Scale-Daten trainiert wurden, speichern oft spezifische Instanzen (z. B. private Gesichter, urheberrechtlich geschützte Kunstwerke) oder unerwünschte Konzepte (z. B. schädliche Tropen).

Wenn sie mit Löschungsanfragen (z. B. dem „Recht auf Vergessenwerden“) oder Richtlinienaktualisierungen konfrontiert werden, ist die Standardlösung des Neu-Trainierens von Grund auf oft rechnerisch unpraktikabel. Darüber hinaus ist gezieltes Vergessen technisch anspruchsvoll, da Wissen in MFMs über geteilte Repräsentationen verteilt ist; das Entfernen einer Assoziation in einer Modalität (z. B. Text) kann unbeabsichtigt unzusammenhängende Verhaltensweisen in einer anderen (z. B. Bildgenerierung) stören oder aufgrund von verbleibendem Cross-Modal-Leakage das Konzept nicht vollständig löschen. Das Kernproblem besteht darin, eine selektive Entfernung spezifischer Daten oder Konzepte über verschiedene Modalitäten hinweg zu erreichen, während die Gesamtnutzlichkeit und die Modellleistung auf den verbleibenden Daten erhalten bleiben.

2. Methodik und Taxonomie

Dieser Survey schlägt eine systemorientierte Taxonomie vor, die Methoden des multimodalen Unlearnings nicht nach Optimierungszielen, sondern nach Interventionsstadium und Kontrollpfad organisiert. Dieses Framework deckt die gesamte Pipeline von der Datenpräparation bis zur Inferenz ab.

2.1 Formalisierung

Das Ziel wird als Entfernung des Einflusses eines Forget-Sets $D_f$ bei gleichzeitiger Erhaltung der Nutzlichkeit auf dem Retain-Set $D_r$ definiert. Das Unlearning-Verfahren $U$ , das auf das Originalmodell $M_o$ und die Daten $D$ angewendet wird, soll ein Modell $M_u$ hervorbringen, dessen Verteilung ununterscheidbar von einem Modell ist, das auf $D \setminus D_f$ neu trainiert wurde. Dies wird unter Verwendung eines $(\epsilon, \delta)$ -Unlearning-Kriteriums formalisiert, das der Differential Privacy ähnelt, um theoretische Garantien für die Äquivalenz zwischen Unlearning und Retraining zu liefern.

2.2 Interventionsstufen

Daten-seitige Interventionen:
- Data-Path Perturbation: Editiert Eingaben (Bilder/Text) anstatt Gewichte, um die Erlernbarkeit gezielter Cluster zu reduzieren (z. B. durch unlernbare Beispiele oder Cloaks), während die Nutzbarkeit auf dem restlichen Korpus erhalten bleibt.
- Data Hygiene & Prompt Normalization: Kuratiert Trainingsdaten durch die Abwertung verdächtiger Paare oder die Normalisierung von Prompts auf kanonische Formen, um vor dem Training schädliche Assoziationen zu mildern.
Edits während der Trainingszeit:
- Direct Gradient: Formuliert Unlearning als gezielte Risikominimierung, die Antworten auf dem Forget-Set unterdrückt, während die Leistung auf dem Retain-Set beibehalten wird. Dies umfasst Objectives für VLMs und Diffusionsmodelle, die cross-modale Strukturen entkoppeln.
- Constrained Updates: Legt während der Optimierung Schranken fest, um die verbleibende Kompetenz auf dem Forget-Set zu begrenzen und die Abweichung von einem Referenzmodell einzuschränken, wodurch ein Gleichgewicht zwischen Vergessenseffektivität und Modellintegrität hergestellt wird.
- Mask-Driven Selective Unlearning: Beschränkt Updates auf lokalisierte Parameter, Features oder räumliche Regionen, die mittels Saliency- oder Attention-Maps identifiziert wurden, um Kollateralschäden an beibehaltenen Verhaltensweisen zu minimieren.
- Distillation-Based: Überträgt Verhalten von einem „Lehrer“- auf ein „Schüler“-Modell, das zu sicheren Zielen geführt wird, oft ohne direkten Zugriff auf die ursprünglichen Trainingsdaten.
Architektur-beschränktes Unlearning:
- Architecture Editing: Modifiziert die Netzwerkstruktur direkt (z. B. Pruning, Einfrieren oder Neuzulassen spezifischer Layer/Tensoren), um Pfade zu blockieren, die das Forget-Signal kodieren.
- Layer-Scoped Constrained Updates: Identifiziert die spezifischen Layer, in denen ein Konzept konzentriert ist, und beschränkt Edits auf diese Layer, um den Parameterdrift zu begrenzen.
Training-freies Unlearning:
- Weight-Space Linear Unlearning (WLU): Verwendet geschlossene lineare Operationen (z. B. Task-Vektor-Subtraktion, Gewicht-Negation) auf einem Referenz-Checkpoint, um unerwünschtes Verhalten ohne Retraining zu unterdrücken.
- Representation Projection Unlearning (RPU): Projiziert interne Aktivierungen oder Attention-Outputs aus einem gelernten Subraum weg, der mit dem Forget-Signal assoziiert ist, und filtert Zielkonzepte effektiv heraus, ohne die Modellgewichte zu verändern.
Unlearning zur Dekodierungszeit:
- Guidance-Path Control: Modifiziert den Sampler oder die Score-Funktion während der Generierung (z. B. Dynamic Negative Guidance), um Ausgaben von unsicheren Konzepten wegzusteuern, während das Basismodell fixiert bleibt.
- Conditioning-Path Control: Transformiert das Konditionierungssignal (z. B. Text-Embeddings), bevor es in das Modell eintritt, wodurch die Bedingung für das Zielkonzept abgeschwächt wird, ohne die Modellparameter zu ändern.

3. Kernbeiträge

Die Arbeit leistet drei primäre Beiträge zum Feld des multimodalen Unlearnings:

Fundamentaler Survey: Sie synthetisiert den Stand des multimodalen Unlearnings über Bild-, Text-, Video- und Audio-Fundamentmodelle hinweg und bietet einen einheitlichen Rahmen, der Mechanismen, Theorie und Evaluierung abdeckt.
Systemischer Blickwinkel: Sie führt eine system-orientierte Taxonomie ein, die nach Interventionsstadium und Kontrollpfad organisiert ist. Dies steht im Gegensatz zu bisherigen algorithmenzentrierten Surveys und ermöglicht einen klareren Vergleich zwischen verschiedenen Modellklassen (VLMs, DMs, AFMs) sowie eine Klärung der Trade-offs zwischen Löschungsstärke, Nutzungserhalt, Effizienz und Reversibilität.
Emerging Frontiers: Sie skizziert kritische offene Herausforderungen, einschließlich der Notwendigkeit robuster Evaluierungsmetriken, der adversariellen Robustheit gegen Reaktivierung und praktischer Deployment-Beschränkungen.

4. Ergebnisse und Evidenz

Als Survey-Paper liegen die primären „Ergebnisse“ in den systematischen Vergleichen und Analysen existierender Literatur und nicht in neuen experimentellen Daten. Die Arbeit präsentiert:

Ein kuratiertes Repository: Eine umfassende Sammlung von Methoden, Datensätzen und Benchmarks.
Dataset- und Benchmark-Analyse: Der Paper rezensiert wichtige Datensätze für Identity-, Affect-, Video- und Copyright-Unlearning (z. B. CelebA, VoxCeleb, DreamBooth) und evaluiert bestehende Benchmarks (z. B. MU-Bench, MLLMU-Bench, PEBench). Es hebt hervor, dass aktuelle Benchmarks oft keine vereinheitlichten Standards besitzen und auf synthetischen Identitäten oder engen Modellfamilien basieren.
Evaluierungs-Framework: Es konsolidiert Metriken für die Vergessensqualität (z. B. Unlearning Accuracy, CLIP-Sim Drop), Sicherheit (Refusal Rate), Privatsphäre (Membership Inference Attacks) und Nutzlichkeit (Top-k Accuracy, FID, LPIPS).
Trade-off-Analyse: Der Survey verdeutlicht, dass Methoden signifikant variierende Trade-offs aufweisen; beispielsweise bieten training-freie Methoden Effizienz, können aber möglicherweise nicht die Löschungsstärke von Retraining-basierten Ansätzen erreichen, während Architecture Editing die Nutzlichkeit besser bewahrt, aber eine präzise Lokalisierung des Forget-Signals erfordert.

5. Bedeutung und zukünftige Richtungen

Die Arbeit argumenttiert, dass multimodales Unlearning ein zentrales Werkzeug für die Modell-Governance ist, das für den Einsatz verantwortungsvoller MFMs in realen Umgebungen essenziell ist. Ihre Bedeutung liegt in:

Ermöglichung selektiver Entfernung: Bereitstellung von Mechanismen, um spezifische Identitäten, Attribute oder Konzepte zu löschen, ohne die prohibitiven Kosten eines vollständigen Retrainings.
Unterstützung der Compliance: Adressierung regulatorischer Anforderungen wie der DSGVO (Recht auf Vergessenwerden) und Urheberrechtsgesetzen.
Verbesserung der Sicherheit: Abschwächung der Generierung von schädlichen, voreingenommenen oder unsicheren Inhalten über verschiedene Modalitäten hinweg.

Die Arbeit identifiziert mehrere offene Herausforderungen und zukünftige Richtungen:

Temporale und dynamische Modalitäten: Die Erweiterung des Unlearnings auf Streaming-Audio, Video und Bewegungsgenerierung bleibt ein offenes Problem.
Frontier-Scale-Modelle: Die Skalierung von Unlearning-Methoden auf Fundamentmodelle mit Milliarden von Parametern ist derzeit durch enge Evaluierungen auf kleineren Backbones begrenzt.
Kontinuierliches Unlearning: Entwicklung von Protokollen, die auch bei wiederholten Löschungen und Downstream-Fine-Tuning effektiv bleiben, um eine „Wiederkehr“ vergessener Konzepte zu verhindern.
Cross-Modal Leakage: Adressierung des Versagens von Sicherheits- oder Privacy-Alignment in einer Modalität (z. B. Text), das sich nicht auf andere (z. B. Vision oder Audio) generalisiert.
Vereinheitlichte Benchmarks: Dem Feld mangelt es an standardisierten, einheitlichen Benchmarks, die über diverse Modalitäten und Architekturen hinweg reichen, was einen fairen Vergleich von Methoden erschwert.

Zusammenfassend bietet dieser Survey eine strukturierte Roadmap für Forscher und Praktiker, um sich in der Komplexität des multimodalen Unlearnings zurechtzufinden, und betont die Notwendigkeit robuster, skalierbarer und theoretisch fundierter Ansätze, um den sicheren und konformen Einsatz von Fundamentmodellen zu gewährleisten.