Technische Samenvatting: Nullruimte-beperkt Contrastief Visueel Vergeten voor MLLM-onvergeten

1. Probleemdefinitie

Het artikel adresseert de uitdaging van machine-unlearning binnen Multimodale Grootte Taalmodellen (MLLM's). Waar onthouden in tekst-only LLM's gericht is op het verwijderen van specifieke tekstuele kennis, presenteert MLLM-unlearning een complexere afweging: het doel is om doelvisuele kennis (bijvoorbeeld het visuele uiterlijk van een specifieke persoon) te wissen, terwijl strikt behouden wordt:

1. Niet-doelvisuele kennis (visuele kenmerken van andere entiteiten).
2. Alle tekstuele kennis (feitelijke informatie over zowel doel- als niet-doelentiteiten).

De kernmoeilijkheid ligt in de strakke verwevenheid van visuele en tekstuele modaliteiten. Standaard onthoudenmethoden die het volledige model bijwerken, degraderen vaak tekstuele capaciteiten of slagen er niet in om visuele concepten selectief te vergeten zonder collaterale schade aan behouden visuele kennis. Bovendien vertrouwen bestaande methoden doorgaans op supervisie op output-niveau (verliezen toegepast op de uiteindelijke modeloutput), wat inefficiënt is wanneer alleen de visuele module wordt bijgewerkt, aangezien het supervisiessignaal wordt verzwakt door de tussenliggende LLM-ruggengraat.

2. Methodologie

Het voorgestelde kader, Nullruimte-beperkt Contrastief Visueel Vergeten (NC-CVF), werkt door de LLM-ruggengraat te bevriezen en uitsluitend de visuele module (Vision Encoder en Projector) fijn te tunen. De aanpak bestaat uit drie hoofdcomponenten:

A. Supervisie op tussenniveau via Contrastief Visueel Vergeten (CVF)

In plaats van supervisie toe te passen op de uiteindelijke output, injecteert de methode supervisie direct in de Intermediaire Visuele Representaties (IVR's) geproduceerd door de visuele module.

• Referentiemodel: Het originele, pre-unlearning-model dient als referentie.
• Contrastief Mechanisme:
  • Duwen: Voor doelentiteiten (vergeten set) worden de IVR's van het onthouden model weggeduwd van de referentie-IVR's met behulp van een aangepaste InfoNCE-achtige verliesfunctie ($L_{CVF-push}$). Dit scheidt doelvisuele concepten expliciet van hun oorspronkelijke representaties.
  • Trekken: Om te voorkomen dat het model afwijkt naar een gebied dat behouden kennis schaadt, worden de onthouden IVR's getrokken naar een ankerrepresentatie ($p^a_r$). Dit anker is het gemiddelde van referentie-IVR's van behouden steekproeven, wat ervoor zorgt dat het model binnen een "veilige" kenruimte voor niet-doelkennis blijft.
• Behoudsverlies: Een expliciete Mean Squared Error ($L_{RET}$) wordt toegepast op de IVR's van behouden steekproeven om ervoor te zorgen dat deze overeenkomen met het referentiemodel.
• Algemene Nuttigheid: Een standaard output-niveau waarschijnlijkheidsverlies ($L_{GUM}$) wordt op behouden data opgenomen om algemene multimodale capaciteiten te behouden.

B. Nullruimte-beperkt Onthouden (NCU)

Om onthouden verder te ontkoppelen van behoud, beperkt de methode de parameterupdates tot een deelruimte die orthogonaal is aan de richtingen die behouden kennis coderen.

• Subruimte-identificatie: Met behulp van Singuliere Waarde Decompositie (SVD) op de activatiecovariantiematrix van de behouden set, identificeert de methode de deelruimte die wordt opgespannen door de eigenvectoren die corresponderen met de kleinste eigenwaarden. Deze richtingen zijn zwak geassocieerd met behouden kennis.
• LoRA-beperking: Het onthouden wordt geïmplementeerd via Low-Rank Adaptation (LoRA). De methode initialiseert de LoRA-matrix $A$ met de basis van deze nullruimte en bevriest deze gedurende het hele trainingsproces. Alleen de matrix $B$ wordt geoptimaliseerd.
• Effect: Dit zorgt ervoor dat de gewichtsupdates ($\Delta W = BA$) een verwaarloosbaar effect hebben op de laagoutput voor behouden data ($A x \approx 0$), waardoor het onthoudenproces effectief wordt geïsoleerd van kennisbehoud.

C. Uitbreiding voor Continue Unlearning

Het kader wordt uitgebreid tot continue unlearning, waarbij vergetenverzoeken sequentieel binnenkomen. Door de nullruimte-basis $A$ te bevriezen en opeenvolgende taken te initialiseren met de geoptimaliseerde $B$ van de vorige taak, voorkomt de methode cumulatieve degradatie van behouden kennis in de loop van de tijd.

3. Belangrijkste Bijdragen

1. Supervisie op tussenniveau: Het artikel stelt voor om onthouden-supervisie te verschuiven van de uiteindelijke output naar de intermediaire visuele representaties, waarmee het probleem van signaalverzwakking in MLLM's wordt aangepakt wanneer alleen de visuele module wordt bijgewerkt.
2. Contrastief Visueel Vergeten (CVF): Een nieuw mechanisme dat een "duw-trek"-strategie in de kenruimte gebruikt om doelvisuele concepten te scheiden terwijl ze worden verankerd in gebieden met behouden kennis.
3. Nullruimte-beperkt Onthouden (NCU): Een structurele beperking die onthouden en behoud expliciet ontkoppelt door updates te beperken tot een deelruimte die orthogonaal is aan behouden kennis, geïnspireerd door nullruimte-leren in LLM-bewerking.
4. Kader voor Continue Unlearning: De eerste aanpak om sequentiële vergetenverzoeken in MLLM's aan te pakken, waarbij wordt aangetoond dat de voorgestelde beperkingen de cumulatieve degradatie die typisch wordt waargenomen in continue settings, mitigeren.

4. Experimentele Resultaten

De methode werd geëvalueerd op drie benchmarks: MLLMU-Bench, UMU-Bench en CLEAR, met behulp van de LLaVA-1.5-7B en Qwen2-VL-7B modellen.

• Effectiviteit van Vergeten: De methode behaalde de laagste nauwkeurigheid op "Forget VQA"-taken (wat wijst op succesvolle verwijdering van doelvisuele kennis) over alle benchmarks, en presteerde beter dan state-of-the-art baselines zoals MMU en MANU.
• Kennisbehoud: Het behield een hoge nauwkeurigheid op "Retain VQA" en "Forget/Retain QA"-taken. Opmerkelijk is dat het tekstuele kennis (QA-taken) behield op niveaus vergelijkbaar met het vanilla-model, terwijl andere methoden vaak aanzienlijke dalingen leden.
• Continue Unlearning: In sequentiële vergetenscenario's vertoonde de voorgestelde methode een aanzienlijk langzamere degradatie in behouden en real-world nuttigheid vergeleken met baselines, die na enkele taken ernstige prestatie-inzakking vertoonden.
• Efficiëntie: Door de LLM te bevriezen en een vooraf berekende nullruimte-beperking te gebruiken, verminderde de methode de trainingstijd en het GPU-geheugengebruik in vergelijking met baselines voor full-model fine-tuning.

5. Betekenis en Claims

Het artikel claimt een robuuste oplossing te presenteren voor de afweging tussen vergeten en behoud in MLLM's. De betekenis ervan ligt in:

• Selectief Onthouden: Succesvol demonstreren dat visuele kennis kan worden gewist zonder de mogelijkheid van het model om tekstuele feiten op te halen of andere visuele entiteiten te herkennen, te compromitteren.
• Structurele Ontkoppeling: Voorbijgaan aan eenvoudige aanpassingen van verliesfuncties naar structurele beperkingen (nullruimte) die het onthoudenproces wiskundig isoleren van behouden kennis.
• Levensvatbaarheid voor Continue Processen: Het aanpakken van een praktische, onderbelichte scenario waarbij meerdere onthoudenverzoeken in de loop van de tijd plaatsvinden, en aantonen dat de methode effectief schaalbaar is zonder cumulatieve schade.

De auteurs positioneren dit werk als een stap richting het veiliger en meer compliant maken van MLLM's met privacyreguleringen door het mogelijk te maken kennis specifiek voor een modaliteit te verwijderen zonder de prohibitieve kosten van hertraining.