Technische Samenvatting: Over de Robuustheid van Machine Unlearning voor Vision-Language Modellen

Probleemstelling

Vision-Language Modellen (VLM's) worden steeds vaker ingezet in real-world toepassingen, maar lopen het risico ongewenste informatie uit hun trainingsdata te memoriseren, waaronder gevoelige, private, auteursrechtelijk beschermde of anderszins schadelijke inhoud. Hoewel machine unlearning uitgebreid is bestudeerd voor Large Language Models (LLM's), vormt de toepassing ervan op VLM's unieke uitdagingen. In tegenstelling tot tekst-only modellen slaan VLM's informatie op via verweven visuele en tekstuele representaties over meerdere componenten heen (visuele encoders, tekstencoders en multimodale decoders).

Het kernprobleem dat wordt aangepakt, is de robuustheid van huidige VLM-unlearning-methoden. Bestaande evaluaties vertrouwen vaak op standaard prompting, wat slechts kan verifiëren dat een model directe queries voor vergeten entiteiten onderdrukt. Het blijft echter onduidelijk of unlearning multimodale kennis werkelijk uitwist of deze slechts verbergt, waardoor residuële associaties achterblijven die kunnen worden geactiveerd via alternatieve queries, contextuele aanwijzingen of downstream hertraining.

Methodologie

1. Taxonomie en Review

De auteurs stellen eerst een uitgebreide taxonomie op van bestaande VLM-unlearning-methoden, waarbij ze deze categoriseren op basis van de componenten die tijdens het unlearning-proces worden geoptimaliseerd of gewijzigd:

• Full-Parameter Finetuning: Update alle modelparameters ($\theta_v, \theta_t, \theta_d$). Omvat aanpassingen van LLM-technieken zoals Gradient Ascent (GA), Gradient Descent (GD) en Negative Preference Optimization (NPO), evenals VLM-specifieke extensies die rekening houden met visueel-tekstuele uitlijning.
• Vision-Encoder Finetuning: Beperkt updates tot de visuele encoder ($\theta_v$) terwijl tekst- en fusiemodules vast blijven. Dit richt zich direct op de bron van ongewenste visuele associaties.
• Selectieve Parameter Finetuning: Update slechts een subset van parameters die als kritiek zijn geïdentificeerd voor de doelkennis, met als doel een balans tussen efficiëntie en effectiviteit.
• Inference-Time Intervention: Modificeert inputs of verborgen activaties tijdens inferentie zonder parameters bij te werken (bijv. feature masking, activation steering). Opmerking: Deze categorie is uitgesloten van de robuustheidsexperimenten vanwege de vereiste van hertraining voor de voorgestelde aanvallen.

2. Robuustheidsevaluatiekader

Om te bepalen of kennis werkelijk is gewist of slechts onderdrukt, stelt het paper drie aanvalsparadigma's voor die zijn ontworpen om vergeten multimodale kennis te heractiveren:

• In-Context Aanval: Tijdens inferentie worden semantisch gerelateerde maar niet-expliciete contextuele aanwijzingen (bijv. het beschrijven van iemands beroep zonder hen bij naam te noemen) aan de query toegevoegd. Dit test of latente multimodale associaties kunnen worden heractiveerd zonder parameterupdates.
• In-Distribution (InD) Aanval: Het unlearned model wordt gefinetuned met een klein percentage data afkomstig uit de oorspronkelijke forget-distributie. De supervisie-labels worden gegenereerd door het oorspronkelijk voorgetrainde model. Dit simuleert een adversary met toegang tot de oorspronkelijke data die probeert de kennis te herstellen.
• Out-of-Distribution (OOD) Aanval: Het unlearned model wordt hergetraind op een semantisch ander maar gerelateerd dataset (bijv. algemene afbeeldingen uit PACS in plaats van de specifieke gezichtidentiteiten). Dit test of residuële representaties kunnen worden heractiveerd via distributie-overdracht.

3. Experimentele Opstelling

• Model: Qwen2.5-VL-3B-Instruct.
• Dataset: VGGFace2, opgesplitst in een forget-set (3 beroemdheden) en een retain-set (7 identiteiten).
• Baselines: Een breed scala aan methoden uit de drie actieve categorieën (Full-Parameter, Vision-Encoder en Selectieve Finetuning).
• Metrieken: Vergeet-score ($1 - \text{Accuracy}_{\text{forget}}$), Behoud-score ($\text{Accuracy}_{\text{retain}}$) en Algemene Utility (prestaties op MMStar, OCRBench, MMMU, RealWorldQA). Evaluaties werden uitgevoerd onder Original, Paraphrased en Discriminative prompt-instellingen.

Belangrijkste Resultaten

Initiële Prestaties versus Robuustheid

• Trade-offs: Full-parameter-methoden behaalden over het algemeen hoge vergeet-scores op originele prompts, maar leden aan significante degradatie in behoud en algemene utility, vaak met catastrofale vergetelheid.
• Discriminative Prompts: Veel methoden die succesvol leken onder generatieve queries, faalden om discriminatieve herkenning te onderdrukken (bijv. "Is dit persoon X?"), wat suggereert dat onderliggende visuele associaties intact bleven.
• Voordeel van Vision-Encoder: Methoden die zich richten op de visuele encoder (bijv. HFRU, HFRU-SFT) toonden een meer gebalanceerde prestatie, met hoge vergeet- en behoud-scores over prompttypes heen.

Kwetsbaarheid voor Aanvallen

• In-Context Aanvallen: Contextuele aanwijzingen activeerden succesvol vergeten kennis over de meeste paradigma's heen. Zo vertoonden methoden zoals RMU, SatImp en WGA merkbare degradatie in vergeet-prestaties wanneer contextuele beschrijvingen werden gegeven, wat aangeeft dat ze voornamelijk directe retrievals onderdrukten in plaats van associaties te verwijderen.
• In-Distribution Aanvallen: Hertraining met slechts 1% van de oorspronkelijke forget-data veroorzaakte een snelle herstel van vergeten kennis voor veel methoden (bijv. daalde de unlearning-effectiviteit van SLUG met meer dan 80%). Dit suggereert dat veel unlearning-processen een oppervlakkige onderdrukking uitvoeren in plaats van fundamentele representatieverwijdering. Mmunlearner toonde de hoogste robuustheid, waarbij 50-75% hertrainingsdata nodig was om de prestaties significant te degraderen.
• Out-of-Distribution Aanvallen: In tegenstelling tot de InD-aanval, herstelde OOD-hertraining geen vergeten kennis; in plaats daarvan schaadde het consequent de behoud-prestaties over alle methoden heen. Dit geeft aan dat, hoewel residuële representaties bestaan, deze niet eenvoudig worden heractiveerd door ongerelateerde data-distributies.

Belangrijkste Bijdragen

1. Systematische Taxonomie: Het paper biedt de eerste uitgebreide categorisering en review van VLM-unlearning-methoden op basis van hun optimalisatiestrategieën.
2. Gefuseerde Evaluatie: Het voert een grondige beoordeling uit van deze methoden onder meerdere prompt-instellingen (Original, Paraphrased, Discriminative), waardoor inconsistenties in standaardevaluaties aan het licht komen.
3. Robuustheidsanalyse: De studie introduceert het eerste systematische onderzoek naar de robuustheid van VLM-unlearning via drie aanvalsparadigma's (In-Context, InD, OOD).
4. Empirische Bevindingen: Uitgebreide experimenten tonen aan dat huidige benaderingen doelkennis vaak verbergen in plaats van volledig te verwijderen, wat de noodzaak benadrukt voor betrouwbaardere multimodale unlearning-strategieën.

Betekenis en Claims

Het paper claimt dat de huidige staat van VLM-unlearning ontoereikend is om de permanente verwijdering van ongewenste informatie te garanderen. De auteurs betogen dat het evalueren van unlearning uitsluitend onder standaard prompting-omstandigheden de omvang van kennisverwijdering overschat. Door aan te tonen dat vergeten kennis eenvoudig kan worden heractiveerd via contextuele prompting of minimale hertraining op de oorspronkelijke data-distributie, onderstreept de studie een kritieke kloof tussen "onderdrukking" en "uitwissing".

Het werk concludeert dat hoewel sommige methoden (met name die gericht op de visuele encoder) veelbelovend zijn, het veld robuuste strategieën mist die de eliminatie van multimodale associaties garanderen. De auteurs benadrukken de noodzaak voor toekomstig onderzoek om unlearning-technieken te ontwikkelen die bestand zijn tegen deze heractiveringsaanvallen, zodat gevoelige of ongewenste informatie werkelijk uit de latente ruimte van het model wordt verwijderd.

Opmerking: Het paper geeft expliciet beperkingen aan, waaronder het gebruik van een unificatie-evaluatieprotocol dat implementatiedetails voor consistentie kan vereenvoudigen, en de handmatige constructie van contextuele prompts voor de In-Context-aanval, wat potentie suggereert voor meer geautomatiseerde strategieën in toekomstig werk.