Graph Propagated Projection Unlearning: A Unified Framework for Vision and Audio Discriminative Models

Probleemstelling

De snelle adoptie van diepe neurale netwerken in domeinen zoals computer vision en audio-verwerking heeft geleid tot een groeiende behoefte aan machine unlearning (machine-ontleren). Dit is het vermogen om specifiek geleerde informatie (bijvoorbeeld van bepaalde klassen of individuele samples) uit een getraind model te verwijderen, vaak om te voldoen aan privacyreguleringen (zoals GDPR) of op verzoek van gebruikers.

Bestaande methoden hebben echter twee grote tekortkomingen:

1. Efficiëntie: De meest effectieve aanpak is het volledig opnieuw trainen van het model na het verwijderen van de data, wat computatief zeer kostbaar en onpraktisch is voor grote datasets.
2. Kwaliteit: Snellere methoden (zoals Gradient Ascent of Fisher Forgetting) leiden vaak tot "catastrophic forgetting" (verlies van kennis over andere klassen) of laten nog steeds informatie over de te vergeten klassen achter in het model, wat privacyrisico's met zich meebrengt.

Er is een gebrek aan een schaalbaar, modality-onafhankelijk (werkend voor zowel beeld als geluid) framework dat zowel snelheid als hoge kwaliteit van het vergeten proces garandeert.

Methodologie: Graph-Propagated Projection Unlearning (GPPU)

Het paper introduceert GPPU, een unificerend algoritme dat werkt in twee hoofdfasen om class-level unlearning te realiseren zonder het model volledig opnieuw te hoeven trainen.

1. Fase I: Identificatie van Vergeetrichtingen via Grafiek-Propagatie

In plaats van ruwe features te gebruiken, benut GPPU de structurele relaties binnen de data:

• Grafiekconstructie: Er wordt een $k$-nabijheidsgrafiek ($k$-NN) gebouwd op basis van de diepe features van de data, waarbij de connectiviteit wordt bepaald door cosine-相似heid.
• Grafiek-Propagatie: Een enkele stap van grafiek-convolutie (zonder leerbare gewichten) wordt toegepast om de features te "gladstrijken" (smoothing). Dit versterkt de intra-class clustering en verheldert de grenzen tussen klassen door ruis en uitzonderingen te dempen.
• Vergeetrichting ($g_c$): Voor elke klasse die moet worden vergeten, wordt het zwaartepunt (centroid) van de gegladde features berekend. Deze eenheidsvector $g_c$ vertegenwoordigt de "vergeetrichting" in het feature-ruimte manifold. Voor meerdere klassen wordt een vergeten subruimte $G$ gedefinieerd als de span van deze richtingen.

2. Fase II: Projectie-gebaseerde Representatie Unlearning

Deze fase zorgt voor de daadwerkelijke verwijdering van de kennis:

• Orthogonale Projectie: De features worden geprojecteerd op de deelruimte die orthogonaal (loodrecht) staat op de vergeetrichtingen. Dit onderdrukt direct de informatie die specifiek is voor de te vergeten klassen.
• Gerichte Fine-tuning: Om te voorkomen dat het model slechts de output blokkeert maar de interne representaties behoudt, worden de laatste lagen van het model (bijv. de laatste transformer-blokken of convolutielagen) fijngeschaald.
• Verliesfuncties:
  • Projection Loss ($L_{proj}$): Straft de component van de features die nog parallel loopt aan de vergeetrichtingen. Het doel is om deze component naar nul te drukken.
  • Retention Loss ($L_{retain}$): Een standaard cross-entropy loss op de behouden klassen om te zorgen dat de prestaties voor de overige data niet verslechteren.
• Optimalisatie: Het model wordt geoptimaliseerd om beide doelen te balanceren, waarbij de vergeetrichtingen als vaste geometrische ankers dienen.

Belangrijkste Bijdragen

1. Unificerend Geometrisch Framework: GPPU is het eerste framework dat effectief werkt voor zowel visuele (beelden) als auditieve (spraak) discriminatieve modellen. Het gebruikt grafiekgebaseerde propagatie om robuuste vergeetrichtingen te vinden.
2. Hoge Fideliteit Vergeten: Het bereikt bijna nul nauwkeurigheid op de te vergeten klassen (FA $\approx$ 0), wat betekent dat het model de informatie daadwerkelijk heeft "vergeten" en niet alleen de output manipuleert.
3. Uitzonderlijke Efficiëntie: Door het vermijden van volledige hertraining en het gebruik van gerichte fine-tuning, is GPPU 10 tot 20 keer sneller dan bestaande state-of-the-art methoden.
4. Minimale Schade aan Behouden Data: Het framework behoudt de prestaties op de behouden klassen (Retain Accuracy) op een zeer hoog niveau (>93%), zonder significante degradatie.

Experimentele Resultaten

Het framework is geëvalueerd op zes visuele datasets (o.a. CIFAR-10/100, SVHN, Flowers102) en twee grote audio-benchmarks (LibriSpeech, VoxCeleb1), gebruikmakend van diverse architecturen zoals ResNets, Vision Transformers (ViT) en Audio Transformers (Wav2Vec2, HuBERT).

• Prestaties: GPPU overtreft bestaande methoden (zoals Gradient Ascent, Fisher Forgetting, SalUn, en Quantum-Inspired Audio Unlearning) consequent.
  • Forget Accuracy (FA): Wordt gereduceerd tot < 0.5% (bijna willekeurig raden).
  • Retain Accuracy (RA): Blijft boven de 90-95% voor de meeste modellen.
  • Privacy: De informatielekken (Information Leakage) en de kans op succesvolle "Membership Inference Attacks" (MIA) zijn significant lager dan bij concurrenten.
• Snelheid: De trainingstijd voor unlearning is 10-20x korter dan de beste alternatieven.
• Continue Unlearning: Het framework toont robustheid bij sequentieel verwijderen van klassen (continual unlearning), waarbij de prestaties stabiel blijven zonder cumulatieve degradatie.
• Representatie-analyse: t-SNE visualisaties en lineaire probe-tests bevestigen dat de discriminatieve subruimte van de vergeten klasse structureel is vernietigd, in plaats van slechts verschoven.

Betekenis en Conclusie

GPPU vertegenwoordigt een belangrijke stap in de richting van verantwoord en privacy-compliant deep learning. Het biedt een schaalbare oplossing voor het probleem van machine unlearning die niet beperkt is tot één type data (beeld of geluid).

De kerninnovatie ligt in de combinatie van grafiekgebaseerde redenering (om de structuur van de data te begrijpen en richtingen te vinden) met efficiënte projectie-gebaseerde optimalisatie (om deze kennis te verwijderen). Dit maakt het mogelijk om grote, moderne modellen aan te passen aan privacy-eisen zonder de enorme kosten van hertraining of het risico op het verlies van nuttige kennis. Het paper legt de basis voor toekomstig werk in federated learning en dynamische systemen die continu moeten kunnen "vergeten".