🤖 machine learning

Multimodal Unlearning Across Vision, Language, Video, and Audio: Survey of Methods, Datasets, and Benchmarks

Deze survey presenteert een verenigde, systeemgeoriënteerde taxonomie van multimodale unlearning-methoden, datasets en benchmarks over visuele, talige, audio- en videomodaliteiten heen, waarbij het probleem wordt aangepakt van het selectief verwijderen van gevoelige of auteursrechtelijk beschermde informatie uit basismodellen terwijl hun algehele bruikbaarheid behouden blijft.

Oorspronkelijke auteurs: Nobin Sarwar, Shubhashis Roy Dipta, Zheyuan Liu, Vaidehi Patil

Gepubliceerd 2026-07-10

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nobin Sarwar, Shubhashis Roy Dipta, Zheyuan Liu, Vaidehi Patil

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente, supercreatieve robotvriend hebt gebouwd die tegelijkertijd plaatjes kan tekenen, verhalen kan schrijven, liedjes kan zingen en video's kan maken. Deze robot heeft geleerd door het hele internet te lezen, maar heeft daarin per ongeluk ook dingen onthouden die hij niet zou moeten weten: misschien een privéfoto van een buurman, een auteursrechtelijk beschermd schilderij van een beroemde kunstenaar, of een vreemde, onveilige grap.

Nu wil de buurman dat die foto vergeten wordt, de kunstenaar dat zijn stijl wordt gewist, en het internet dat die grap verdwijnt. De oude manier om dit op te lossen was om de slechte data te verwijderen en de robot vanaf nul opnieuw op te bouwen. Maar dat is alsof je een wolkenkrabber afbreekt om één gebarsten baksteen te verwijderen — het kost een eeuwigheid, een fortuin en is totaal onpraktisch.

Dit artikel is een enorme survey (een gigantische kaart van het huidige landschap) die een nieuwe, slimmere manier verkent om dit op te lossen: Multimodale Unlearning. In plaats van de hele robot opnieuw op te bouwen, proberen deze methoden "selectief vergeten" uit te voeren: het chirurgisch verwijderen van alleen de slechte herinneringen, terwijl de vaardigheid van de robot om te tekenen, schrijven en zingen perfect intact blijft.

De Grote Kaart: Waar Snijden We?

De auteurs organiseren alle verschillende methoden in een "systeemgerichte" kaart. In plaats van alleen naar de wiskunde te kijken, kijken ze naar wanneer en waar je ingrijpt in het brein van de robot. Ze vonden vijf belangrijke plekken om deze operatie uit te voeren:

De Datazijde (Voordat de Robot Leert): Stel je voor dat je een "niet leren"-sticker op de slechte foto's of teksten plakt voordat de robot ze zelfs maar ziet. Sommige methoden passen de data licht aan zodat de robot het niet kan onthouden, of ze poetsen de trainingsbibliotheek op om "vergiftigde" paren van afbeeldingen en woorden te verwijderen.
Aanpassingen tijdens de Training (Terwijl de Robot Leert): Dit is als het aanleren van een nieuwe regel aan de robot terwijl hij aan het studeren is. Je zegt tegen hem: "Hé, als je dit specifieke ding ziet, onthoud het dan niet, maar blijf de rest wel onthouden." De robot past zijn hersengewichten aan om het doelwit te vergeten, terwijl hij de rest vasthoudt.
Architectuurbeperkingen (Het Veranderen van de Hardware van de Robot): Soms verander je, in plaats van de regels, de structuur van de robot. Je kunt bepaalde delen van zijn brein "bevriezen" (vergrendelen) zodat ze niet kunnen veranderen, of specifieke verbindingen die de slechte herinnering vasthouden wegknippen (prunen), en de robot vervolgens het goede deel laten herleren rond de ontstane opening.
Training-vrije Unlearning (De Magische Gum): Dit is het coolste deel. Deze methoden trainen de robot niet opnieuw. Ze gebruiken wiskunde om de hersengewichten van de robot of zijn interne representaties (de manier waarop hij over dingen "denkt") in één snelle stap direct aan te passen. Het is als het gebruik van een specifiek oplosmiddel om alleen de slechte inkt op te lossen zonder de rest van de pagina aan te raken.
Decoding Tijd (Tijdens de Show): Stel je voor dat de robot een plaatje aan het tekenen is. Op het allerlaatste moment, voordat de afbeelding verschijnt, grijpt een filter in en zegt: "Nee, teken dat specifieke gezicht niet." Het brein van de robot blijft hetzelfde, maar de output wordt weggestuurd van de verboden inhoud.

De Regels van het Spel

Het artikel is zeer duidelijk over wat deze methoden proberen te bereiken en wat ze niet doen.

Het Doel: Het hoofddoel is selectieve verwijdering. Je wilt een specifieke "forget set" (zoals een privégezicht of een auteursrechtelijke stijl) vergeten, terwijl de "retain set" (alles wat overblijft) perfect blijft werken. Het artikel definieert dit wiskundig: de robot na het vergeten moet bijna exact hetzelfde functioneren als een robot die nooit getraind is op de slechte data.
Wat Ze Uitsluiten: Het artikel voert expliciet argumenten tegen het idee dat je simpelweg data kunt verwijderen en verwachten dat de robot automatisch vergeet. Het laat zien dat kennis verspreid is over het brein van de robot; het verwijderen van het bronbestand wist de herinnering niet. Het spreekt ook het idee tegen dat huidige methoden perfect zijn. Ze zijn vaak heuristisch (gebaseerd op trial-and-error en slimme gissingen) in plaats van gebaseerd op ijzersterke wiskundige bewijzen dat de herinnering voor 100% definitief weg is.
De "Unlearning" vs. "Verbergen" Valstrik: Het artikel suggereert dat sommige methoden de informatie misschien alleen maar verbergen in plaats van echt te verwijderen. Als je de robot met de juiste "adversarial" vragen prikt (zoals een jailbreak), kan de vergeten herinnering weer naar boven komen. Het artikel merkt op dat hoewel we veel methoden hebben, we nog geen garantie hebben dat de herinnering echt gewist is, vooral niet tegen slimme aanvallen.

De Gereedschapskist: Datasets en Benchmarks

Om deze methoden te testen, gebruiken onderzoekers specifieke "trainingsgronden". Het artikel somt een reeks datasets op die hiervoor worden gebruikt:

Voor Gezichten: Ze gebruiken datasets zoals CelebA (202.599 afbeeldingen) en VGGFace2 (3,3 miljoen gezichtsafbeeldingen) om te testen of de robot het gezicht van een specifiek persoon kan vergeten.
Voor Auteursrecht: Ze gebruiken UnlearnCanvas (60 artistieke stijlen) om te zien of de robot de stijl van een specifieke kunstenaar kan vergeten.
Voor Veiligheid: Ze gebruiken datasets zoals I2P (4.700 prompts) om te testen of de robot kan vergeten hoe hij onveilige of ongepaste inhoud moet genereren.
Voor Audio: Ze gebruiken VoxCeleb1 (150.000 uitingen) om te testen of de robot de stem van een specifieke spreker kan vergeten.

Het artikel benadrukt dat we benchmarks hebben (zoals MU-Bench en MLLMU-Bench) om te meten hoe goed deze methoden werken. Deze benchmarks controleren drie zaken:

Is het vergeten? (Faalt de robot in het herkennen van het slechte ding?)
Is het goede behouden? (Is de robot nog steeds goed in het tekenen en schrijven over de rest?)
Is het veilig? (Kan een hacker de robot erin lokken om de slechte herinnering weer op te roepen?)

De Realiteitscheck: Wat Is Er Nog Kapot?

De auteurs zijn eerlijk over de tekortkomingen. Ze suggereren dat hoewel we veel coole tools hebben, we ons nog in de "beginfase" bevinden.

Geen Magische Garanties: De meeste methoden zijn gesimuleerd of getest op specifieke modellen. We hebben geen universeel wiskundig bewijs dat zegt: "Deze methode zal de herinnering altijd voor altijd wissen, ongeacht wat er gebeurt."
Het "Resurfacing" Probleen: Het artikel suggereert dat vergeten concepten in generatieve modellen (zoals beeldmakers) weer kunnen opduiken als de robot later wordt bijgetraind (fine-tuning) of als iemand een slimme prompt gebruikt. Het is alsof je een liedje bent vergeten, maar dan een soortgelijke melodie hoort en de herinnering plotseling weer terugkomt.
De Trade-off: Er is vaak een trade-off. Hoe agressiever je probeert te vergeten, hoe groter de kans dat je de vaardigheden van de robot op andere gebieden beschadigt. Het artikel merkt op dat het verwijderen van slechts een heel klein beetje data soms kan leiden tot een meetbare daling in de prestaties van andere taken.
Cross-Modality Leaks: Als je de robot leert om een gezicht in afbeeldingen te vergeten, vergeet hij dat gezicht dan ook in tekstbeschrijvingen? Het artikel suggereert dat dit een enorme open uitdaging is; veiligheid in de ene modus (tekst) betekent niet automatisch veiligheid in een andere modus (afbeelding).

De Kernboodschap

Dit artikel is een survey, wat betekent dat het een uitgebreide gids is van wat er op dit moment bestaat, en niet één nieuwe uitvinding. Het ordent de chaos van "hoe laat je AI vergeten" in een helder systeem. Het suggereert dat we krachtige instrumenten hebben om "chirurgie" uit te voeren op AI-modellen, maar dat we nog steeds aan het uitzoeken zijn hoe we die chirurgie 100% betrouwbaar, veilig voor hackers en perfect kunnen uitvoeren zonder de rest van het brein van de robot te beschadigen.

De auteurs brengen een gecureerde repository vrij (een publieke collectie code en data) om anderen te helpen voort te bouwen. Ze zijn hoopvol dat we, door de problemen in kaart te brengen — zoals de noodzaak voor betere benchmarks en sterkere garanties — uiteindelijk AI kunnen bouwen die privacy en auteursrecht respecteert zonder dat het telkens opnieuw gebouwd hoeft te worden wanneer iemand vraagt om vergeten te worden.

Technische Samenvatting: Multimodale Unlearning over Visie, Taal, Video en Audio

1. Probleemdefinitie

De snelle adoptie van Multimodale Fundamentele Modellen (MFM's) — inclusief Visuele-Taalmodellen (VLM's), Diffusiemodellen (DM's), Grote Taalmodellen (LLM's) en Audio Fundamentele Modellen (AFM's) — heeft aanzienlijke risico's geïntroduceerd met betrekking tot de onbedoelde codering van gevoelige, auteursrechtelijk beschermde, bevooroordeelde of onveilige cross-modale associaties. Deze modellen, getraind op web-schaal data, memoriseren vaak specifieke instanties (bijv. privégezichten, auteursrechtelijk beschermde kunstwerken) of ongewenste concepten (bijv. schadelijke stereotypen).

Wanneer zij worden geconfronteerd met verwijderingsverzoeken (bijv. het Recht om Vergeten te Worden) of beleidswijzigingen, is de standaardoplossing van hertraining vanaf nul vaak computationeel onpraktisch. Bovendien is gerichte unlearning technisch uitdagend omdat kennis in MFM's verdeeld is over gedeelde representaties; het verwijderen van een associatie in één modaliteit (bijv. tekst) kan onbedoeld ongerelateerde gedragingen in een andere modaliteit (bijv. beeldgeneratie) verstoren of kan er niet in slagen het concept volledig te wissen door residuele cross-modale lekkage. Het kernprobleem is het bereiken van selectieve verwijdering van specifieke data of concepten over modaliteiten heen, terwijl de algemene bruikbaarheid en de prestaties van het model op de resterende data behouden blijven.

2. Methodologie en Taxonomie

Deze survey stelt een systeemgeoriënteerde taxonomie voor die methoden voor multimodale unlearning organiseert, niet op basis van optimalisatie-objectieven, maar op basis van de interventiefase en de controle-route. Dit kader beslaat de volledige pijplijn van datapreparatie tot inferentie.

2.1 Formalisering

Het doel wordt gedefinieerd als het verwijderen van de invloed van een forget set $D_f$ terwijl de bruikbaarheid op de retain set $D_r$ behouden blijft. De unlearning procedure $U$ toegepast op het originele model $M_o$ en data $D$ moet een model $M_u$ produceren wiens distributie ononderscheidbaar is van een model dat opnieuw is getraind op $D \setminus D_f$ . Dit wordt geformaliseerd met behulp van een $(\epsilon, \delta)$ unlearning criterium, in navolging van Differential Privacy, om theoretische garanties te bieden op de equivalentie tussen unlearning en hertraining.

2.2 Interventiefasen

De survey categoriseert methoden in vijf primaire interventiepunten:

Data-zij Interventies:
- Data-Pad Perturbatie: Bewerk inputs (beelden/tekst) in plaats van gewichten om de leerbaarheid van doelgerichte clusters te verminderen (bijv. door gebruik te maken van onleerbare voorbeelden of cloaks) terwijl de bruikbaarheid op de rest van de corpus behouden blijft.
- Data Hygiëne & Prompt Normalisatie: Cureert trainingsdata door verdachte paren te down-weighten of prompts te normaliseren naar canonieke vormen om schadelijke associaties te mitigeren voordat de training begint.
Edits tijdens de Training:
- Direct Gradiënt: Formuleert unlearning als gerichte risicominimalisatie, waarbij responsen op de forget set worden onderdrukt terwijl de prestaties op de retain set behouden blijven. Dit omvat objectieven voor VLM's en diffusiemodellen die cross-modale structuren ontkoppelen.
- Beperkte Updates (Constrained Updates): Legt grenzen op tijdens de optimalisatie om de residuele competentie op de forget set te beperken en de afwijking van een referentiemodel te beperken, waarbij een balans wordt gezocht tussen de effectiviteit van het vergeten en de integriteit van het model.
- Masker-gestuurde Selectieve Unlearning: Beperkt updates tot gelokaliseerde parameters, features of ruimtelijke regio's die zijn geïdentificeerd via saliency of attention maps, om bijkomende schade aan behouden gedragingen te minimaliseren.
- Distillatie-gebaseerd: Transfereert gedrag van een "leraar"- naar een "student"-model dat wordt gestuurd naar veilige targets, vaak zonder directe toegang tot de originele trainingsdata.
Architectuur-beperkte Unlearning:
- Architectuur Bewerking: Wijzigt de netwerkstructuur direct (bijv. pruning, bevriezen of het opnieuw laten groeien van specifieke lagen/tensors) om paden te blokkeren die het forget-signaal coderen.
- Laag-specifieke Beperkte Updates: Identificeert de specifieke lagen waar een concept geconcentreerd is en beperkt de edits tot die lagen om parameterdrift te beperken.
Training-vrije Unlearning:
- Weight-Space Lineaire Unlearning (WLU): Gebruikt gesloten vorm lineaire operaties (bijv. taak-vector subtractie, gewichtsnegatie) op een referentie checkpoint om ongewenst gedrag te onderdrukken zonder hertraining.
- Representatie Projectie Unlearning (RPU): Projecteert interne activaties of attention outputs weg van een geleerde subspace die geassocieerd is met het forget-signaal, waardoor doelconcepten effectief worden weggefilterd zonder de modelgewichten te wijzigen.
Decoding-tijd Unlearning:
- Guidance-Pad Controle: Wijzigt de sampler of score-functie tijdens de generatie (bijv. Dynamic Negative Guidance) om outputs weg te sturen van onveilige concepten terwijl het basismodel vast blijft.
- Conditioning-Pad Controle: Transformeert het conditioning-signaal (bijv. tekst embeddings) voordat het het model binnengaat, waardoor de conditie voor het doelconcept effectief wordt verzwakt zonder modelparameters te wijzigen.

3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen aan het veld van multimodale unlearning:

Fundamentele Survey: Het synthetiseert de staat van multimodale unlearning over beeld-, tekst-, video- en audio-fundamentele modellen, en biedt een verenigd kader dat mechanismen, theorie en evaluatie dekt.
Systeem-gericht Perspectief: Het introduceert een systeem-eerst taxonomie georganiseerd volgens interventiefase en controle-route. Dit contrasteert met eerdere algoritme-gecentreerde surveys, wat duidelijkere vergelijkingen mogelijk maakt tussen verschillende modelklassen (VLM's, DM's, AFM's) en de trade-offs tussen verwijderingskracht, behoud van bruikbaarheid, efficiëntie en reversibiliteit verheldert.
Opkomende Grenzen: Het schetst kritieke open uitdagingen, waaronder de noodzaak voor robuuste evaluatiemetrieken, adversariële robuustheid tegen reactivatie en praktische implementatiebeperkingen.

4. Resultaten en Bewijs

Als een survey-artikel zijn de primaire "resultaten" de systematische vergelijkingen en analyses van bestaande literatuur in plaats van nieuwe experimentele data. Het artikel presenteert:

Een Gecureerd Repositorium: Een uitgebreide collectie van methoden, datasets en benchmarks.
Dataset en Benchmark Analyse: Het artikel beoordeelt belangrijke datasets die worden gebruikt voor identiteits-, affect-, video- en auteursrechtelijke unlearning (bijv. CelebA, VoxCeleb, DreamBooth) en evalueert bestaande benchmarks (bijv. MU-Bench, MLLMU-Bench, PEBench). Het benadrukt dat huidige benchmarks vaak geen verenigde standaarden hebben en vertrouwen op synthetische identiteiten of smalle modelfamilies.
Evaluatiekader: Het consolideert metrieken voor forget kwaliteit (bijv. Unlearning Accuracy, CLIP-Sim Drop), veiligheid (Refusal Rate), privacy (Membership Inference Attacks) en bruikbaarheid (Top-k Accuracy, FID, LPIPS).
Trade-off Analyse: De survey verduidelijkt dat methoden aanzienlijk variëren in hun trade-offs; bijvoorbeeld bieden training-vrije methoden efficiëntie maar missen ze mogelijk de verwijderingskracht van retraining-gebaseerde benaderingen, terwijl architectuurbewerking de bruikbaarheid beter behoudt maar een precieze lokalisatie van het forget-signaal vereist.

5. Betekenis en Toekomstige Richtingen

Het artikel betoogt dat multimodale unlearning een centraal instrument voor modelgovernance is, essentieel voor het inzetten van verantwoorde MFM's in de echte wereld. De betekenis ligt in:

Het Mogelijk Maken van Selectieve Verwijdering: Het bieden van mechanismen om specifieke identiteiten, attributen of concepten te verwijderen zonder de verbijsterende kosten van volledige hertraining.
Ondersteuning van Compliance: Het adresseren van regelgevende vereisten zoals de AVG (Recht om Vergeten te Worden) en auteursrechtwetgeving.
Verbetering van Veiligheid: Het mitigeren van de generatie van schadelijke, bevooroordeelde of onveilige inhoud over verschillende modaliteiten.

Het artikel identificeert verschillende open uitdagingen en toekomstige richtingen:

Temporele en Dynamische Modaliteiten: Het uitbreiden van unlearning naar stromende audio, video en bewegingsgeneratie blijft een open probleem.
Frontier-schaal Modellen: Het schalen van unlearning-methoden naar fundamentele modellen met miljarden parameters wordt momenteel beperkt door smalle evaluaties op kleinere backbones.
Continue Unlearning: Het ontwikkelen van protocollen die effectief blijven onder herhaalde verwijderingen en downstream fine-tuning, om de "resurgentie" van vergeten concepten te voorkomen.
Cross-Modale Lekkage: Het adresseren van het falen van veiligheids- of privacy-alignment in één modaliteit (bijv. tekst) om te generaliseren naar andere (bijv. visie of audio).
Verenigde Benchmarks: Het veld mist gestandaardiseerde, verenigde benchmarks die verschillende modaliteiten en architecturen beslaan, wat het moeilijk maakt om methoden eerlijk te vergelijken.

Concluderend biedt deze survey een gestructureerde roadmap voor onderzoekers en praktijkgebruikers om door de complexiteit van multimodale unlearning te navigeren, waarbij de nadruk ligt op de noodzaak van robuuste, schaalbare en theoretisch gefundeerde benaderingen om de veilige en conforme inzet van fundamentele modellen te waarborgen.