Technische Samenvatting: Een Model-merging Benadering voor Continue MLLM Unlearning

Probleemstelling

Multimodale Large Language Models (MLLM's) bevatten vaak privé-, propriëtaire of verouderde informatie die verwijderd moet worden via machine unlearning. Hoewel bestaande methoden effectief zijn voor one-shot unlearning-verzoeken, hebben ze moeite met continue scenario's waarbij verwijderingsverzoeken sequentieel binnenkomen.

Huidige sequentiële benaderingen passen doorgaans een nieuwe one-shot modelupdate of adapter toe op de huidige staat van het model voor elk inkomend verzoek. Zoals in het artikel wordt geïllustueerd, koppelt dit paradigma nieuwe verzoeken aan voorgaande modeltoestanden, wat leidt tot drie kritieke problemen:

1. Unlearning Rebound: Het model leert eerder vergeten informatie opnieuw aan.
2. Retention Drift: Het vermogen van het model om ongerelateerde, nuttige kennis te behouden, verslechtert in de loop van de tijd.
3. Utility Degradation: Algemene multimodale capaciteiten lijden onder cumulatieve parameterdrift.

De kernuitdaging is het faciliteren van een expanderende sequentie van verwijderingsverzoeken, terwijl zowel historische unlearning-effecten als algemene multimodale bruikbaarheid behouden blijven.

Methodologie: Merging voor Continue Unlearning (MCU)

De auteurs stellen MCU voor, een framework dat continue unlearning herformuleert als een model-merging probleem. In plaats van het model sequentieel bij te werken, voegt MCU meerdere onafhankelijk getrainde one-shot unlearning-adapters dynamisch samen tot één enkele adapter.

Belangrijke Observaties

Door middel van een "leave-one-out" merging-analyse ontdekten de auteurs cross-task unlearning transfer: adapters die getraind zijn voor specifieke verzoeken kunnen onbedoeld bijdragen aan het vergeten van doelinformatie die bij andere verzoeken hoort. Dit geeft aan dat unlearning-adapters sterke cross-task afhankelijkheden vertonen. Deze afhankelijkheden kunnen zijn:

• Synergetisch: Het versterkt unlearning over verschillende verzoeken heen.
• Interfererend: Het verzwakt de beoogde unlearning of beschadigt de behouden kennis.

Het MCU Framework

MCU opereert in een gedeelde core-space representatie om deze afhankelijkheden te beheren. Het proces bestaat uit vier hoofdfasen:

1. Gedeelde Core-Space Representatie:
   In plaats van volledige parameter-adapters te manipuleren, projecteert MCU LoRA-adapters (afgeleid van dezelfde basismodel $M_0$) naar een gedeelde orthonormale basis. Dit maakt efficiënte analyse van spectrale structuren en cross-task afhankelijkheden mogelijk.

2. Structuurbehoudende Preprocessing:
   Om complexiteit te verminderen en overconcentratie te voorkomen, past MCU twee operaties toe:

   • Dominant Direction Selection: Behoudt alleen de top-$k$ singuliere componenten van elke adapter, waarbij de lage-energie staartrichtingen die weinig bijdragen aan de update-magnitude worden weggegooid.
   • Channel Capacity Control: Past een zachte row-capacity constraint toe om te voorkomen dat een klein aantal core-space coördinaten de update-geometrie onevenredig domineert.

3. Dependency-Aware Direction Reconfiguration:
   Dit is de kerninnovatie. In plaats van volledige orthogonaliteit af te dwingen (wat zowel interferentie als begunstige synergie zou elimineren), voert MCU een Gram-reconfiguratie uit:

   • Het construeert Gram-matrices van de linker- en rechter singuliere richtingen.
   • Het lost een optimalisatieprobleem op om een nieuwe geometrie te vinden die de afwijking van de oorspronkelijke structuur minimaliseert, terwijl het niet-negatieve cross-request gelijkenissen afdwingt voor de off-diagonal blokken (om antagonistische interferentie te verminderen) en identiteitsblokken behoudt voor de binnen-verzoek richtingen.
   • Deze stap onderdrukt schadelijke cross-task interacties terwijl begunstige gedeelde structuren die unlearning transfer ondersteunen, behouden blijven.

4. Direction Recovery en Merging:
   De geoptimaliseerde Gram-matrices worden gebruikt om richting-matrices te herstellen via een orthogonale Procrustes-probleem. De verwerkte updates worden vervolgens samengevoegd in de gedeelde core-space en teruggemapt naar de oorspronkelijke parameterruimte om een uniforme adapter te vormen.

Cruciaal is dat MCU een training-vrije, post-hoc procedure is die geen aanvullende gradiënt-gebaseerde optimalisatie vereist zodra de one-shot adapters beschikbaar zijn.

Belangrijkste Bijdragen

1. Framework: Introduceerde een merging-gebaseerd framework voor continue unlearning dat herhaalde modelmodificaties vervangt door de dynamische fusie van one-shot adapters.
2. Ontdekking: Heeft cross-task unlearning transfer en de daarmee samenhangende afhankelijkheden tussen unlearning-adapters blootgelegd en gekarakteriseerd, waarbij onderscheid is gemaakt tussen synergetische en interfererende effecten.
3. Algoritme (MCU): Ontwikkelde een methode die dominante taakstructuren behoudt, overgeconcentreerde coördinaten controleert en cross-task afhankelijkheden herconfigureert in een gedeelde ruimte om antagonistische interacties te onderdrukken terwijl begunstige transfer behouden blijft.
4. Empirische Validatie: Heeft door middel van uitgebreide experimenten aangetoond dat MCU langdurige continue unlearning ondersteunt met superieure effectiviteit vergeleken met sequentiële baselines.

Experimentele Resultaten

De auteurs evalueerden MCU op ICU-Bench (100-taak sequentieel protocol) en MLLMU-Bench (5-fase protocol) met behulp van Qwen2-VL-7B en LLaVA-1.5-7B.

• Effectiviteit van Unlearning: MCU behaalde consistent lagere "Forget"-scores (wat duidt op een betere verwijdering van doelinformatie) vergeleken met sequentiële baselines zoals GA-Diff, KL-Min en MMUnlearner. Bijvoorbeeld, op Qwen2-VL-7B bij Taak 100, verlaagde MCU de Forget VQA-nauwkeurigheid naar 28.7 (tegenover 33.3 voor MMUnlearner) terwijl de retentie aanzienlijk werd verbeterd.
• Retentie en Bruikbaarheid: MCU behield hoge "Retain"-scores en algemene multimodale bruikbaarheid (gemeten via Generation Quality en Retain Stability Rate). In tegen tegenstelling tot sommige baselines die lage Forget-scores bereikten door algemene modelinstorting te veroorzaken, behield MCU het vermogen van het model om ongerelateerde taken uit te voeren.
• Stabiliteit: MCU vertoonde een verminderde "Forgetting Rebound" (FR) en "Retention Drift" (RSR) over lange sequenties, wat bevestigt dat het in staat is om historische unlearning-effecten te behouden zonder dat de prestaties in de loop van de tijd verslechteren.
• Ablatie-studies: Experimenten bevestigden dat alle componenten van MCU (direction selection, capacity control en dependency-aware reconfiguration) noodzakelijk zijn. Specifiek bleek dependency-aware reconfiguration cruciaal voor het balanceren van unlearning en retentie, waarbij het beter presteerde dan strikte orthogonalisatiemethoden.

Betekenis

Het artikel stelt dat MCU de fundamentele beperking van bestaande continue unlearning-methoden aanpakt: de accumulatie van parameterdrift en het onvermogen om cross-task afhankelijkheden te behandelen. Door unlearning te behandelen als een model-merging probleem en de geometrie van unlearning-adapters expliciet te modelleren, maakt MCU het gebruik van eenvoudige one-shot adapters mogelijk voor complexe, langdurige continue scenario's. De methode biedt een praktische, training-vrije oplossing die zowel het "vergeten" van gevoelige gegevens als het "onthouden" van algemene capaciteiten behoudt, wat het geschikt maakt voor real-world implementaties waar verwijderingsverzoeken continu binnenkomen.