Technische Samenvatting: CoUn - Machine Unlearning versterken via Contrastive Learning

1. Probleemdefinitie

Machine Unlearning (MU) adresseert de groeiende noodzaak voor gegevensprivacy en naleving van regelgeving (bijv. AVG/GDPR) door de invloed van specifieke "vergeten" data ($D_u$) uit een getraind model te verwijderen, terwijl de bruikbaarheid van de overige "behouden" data ($D_r$) behouden blijft. De gouden standaard voor MU is exact unlearning, bereikt door een model vanaf nul opnieuw te trainen op $D_r$ (het Retrain-model). Deze aanpak is echter computationeel onhaalbaar.

Benaderende unlearning-methoden streven naar vergelijkbare resultaten met meer efficiëntie, maar kampen vaak met een prestatiekloof ten opzichte van het Retrain-model. Bestaande benaderende methoden vallen over het algemeen in twee categorieën:

1. Labelmanipulatie: Het toewijzen van vergeten samples aan semantisch inconsistente of willekeurige labels om misclassificatie af te dwingen. Dit degradeert vaak de modelbruikbaarheid op behouden data en vereist toegang tot de vergeten data.
2. Modelgewichtsperturbatie: Het aanpassen van modelgewichten om de invloed van vergeten data te wissen. Overmatige perturbatie schaadt de bruikbaarheid, terwijl onvoldoende perturbatie faalt om de invloed van vergeten data te verwijderen.

Een kritieke observatie die dit werk drijft, is dat een Retrain-model (alleen getraind op $D_r$) vergeten samples ($D_u$) classificeert op basis van hun semantische gelijkenis met de behouden clusters. Bijvoorbeeld, in een scenario met per-klasse vergeten (het verwijderen van alle "vrachtwagen"-samples), classificeert het Retrain-model "vrachtwagen"-vergeten samples verkeerd in semantisch vergelijkbare clusters zoals "auto" of "schip". Bij willekeurig vergeten kan het enkele vergeten samples correct classificeren als ze semantisch dicht bij hun oorspronkelijke behouden clusters blijven. Huidige benaderende methoden repliceren dit genuanceerde gedrag vaak niet; ze dwingen óf totale misclassificatie af óf ze slagen er niet in om de invloed van de vergeten data voldoende te verstoren.

2. Methodologie: CoUn

De auteurs stellen CoUn (Contrastive learning for empowering Unlearning) voor, een framework dat effectief unlearning bereikt door aangeleerde data-representaties aan te passen op basis van semantische gelijkenis, met uitsluitend behouden data. CoUn vereist geen toegang tot vergeten data.

Kernmechanisme

CoUn maakt gebruik van het feit dat de gewichten van het oorspronkelijke model al semantische gelijkenissen tussen alle trainingsamples vastleggen. Door de representaties van de behouden data ($D_r$) aan te passen, beïnvloedt het framework indirect de representaties van de vergeten data ($D_u$).

Het framework bestaat uit twee gelijktijdige leerdoelen die op $D_r$ worden toegepast:

1. Contrastive Learning (CL) Module:

   • Toegepast op behouden data om representaties aan te passen.
   • Gebruikt data-augmentatie om positieve paren (twee weergaven van hetzelfde beeld) en negatieve paren (verschillende beelden) te creëren.
   • Clusterbotsing: De CL-module gebruikt een standaard InfoNCE-verlies. Cruciaal is dat, omdat de batch willekeurig wordt bemonsterd uit $D_r$, deze onvermijdelijk valse negatieven bevat (samples uit dezelfde klasse als het positieve sample, maar behandeld als negatieven).
   • Dit induceert clusterbotsing, waarbij samples uit dezelfde klasse uit elkaar worden geduwd. Bijgevolg worden vergeten representaties (die via de oorspronkelijke gewichten semantische informatie delen met behouden data) indirect naar clusters van andere behouden samples geduwd die de hoogste semantische gelijkenis met hen vertonen.
   • Bij per-klasse vergeten duwt dit vergeten samples naar verschillende clusters. Bij willekeurig vergeten brengt dit vergeten samples in lijn met hun semantisch meest vergelijkbare behouden clusters, waardoor het gedrag van het Retrain-model wordt nagebootst.

2. Supervised Learning:

   • Toegepast op behouden data via een classifier-head met Cross-Entropy (CE)-verlies.
   • Behoud van Bruikbaarheid: Hoewel CL clusterbotsing induceert (wat gunstig is voor het unlearning van vergeten data), bestaat het risico dat de bruikbaarheid van het model op behouden data verslechtert. Het supervised learning-component werkt dit tegen door te eisen dat behouden representaties binnen hun respectieve correcte clusters blijven, waardoor een hoge nauwkeurigheid op $D_r$ wordt behouden.

Optimalisatie

De totale verliesfunctie combineert beide doelen:
$$L = L_{CE} + \lambda L_{CL}$$
Waarbij $L_{CE}$ het supervised cross-entropy-verlies is, $L_{CL}$ het contrastieve verlies, en $\lambda$ een schalingsfactor die de twee in evenwicht brengt.

3. Belangrijkste Bijdragen

1. Nieuw Framework: Introductie van CoUn, een MU-framework dat effectief unlearning bereikt door aangeleerde representaties aan te passen op basis van semantische gelijkenis, met uitsluitend CL en supervised learning op behouden data.
2. Empirische en Theoretische Inzichten:
   • Aangetoond dat CoUn effectief unlearning bereikt door vergeten representaties naar clusters van semantisch vergelijkbare behouden representaties te duwen, wat nauw aansluit bij het gedrag van het exacte Retrain-model.
   • Een theoretische analyse verschaft die aantoont dat CoUn een hogere misclassificatiegraad op vergeten data induceert terwijl het een lage misclassificatiegraad op behouden data behoudt, waardoor zowel de kwaliteit van het vergeten als de bruikbaarheid worden geoptimaliseerd.
3. Prestatievalidatie: CoUn gevalideerd over meerdere datasets (CIFAR-10/100, TinyImageNet) en architecturen (ResNet-18, VGG-16, ViT). De resultaten tonen aan dat CoUn consistent state-of-the-art baselines overtreft in het verkleinen van de prestatiekloof met het exacte Retrain-model.
4. Modulaire Integratie: Aangetoond dat het integreren van de CoUn CL-module in bestaande baseline-methoden hun unlearning-effectiviteit aanzienlijk versterkt.

4. Experimentele Resultaten

Experimenten zijn uitgevoerd onder twee vergeten-scenario's: Per-klasse (verwijderen van een hele klasse) en Willekeurig (verwijderen van een percentage samples).

• Prestatiekloof: CoUn bereikte consistent de laagste "Average Gap" (het gemiddelde verschil in Retain-nauwkeurigheid, Unlearn-nauwkeurigheid, Test-nauwkeurigheid en MIA-succesrate vergeleken met het Retrain-model) over alle datasets en modellen.
  • Op CIFAR-10 met ResNet-18 (10% willekeurig vergeten) overtrof CoUn de beste baseline met 16,7%.
  • Op CIFAR-100 met ResNet-18 was de verbetering 15,8%.
  • Op TinyImageNet was de verbetering 6,3%.
• Vergelijking met Baselines: CoUn overtrof methoden zoals NegGrad+, $\ell_1$-sparse, SalUn en NoT. Opvallend is dat methoden die vertrouwen op labelmanipulatie (bijv. SalUn) vaak last hadden van verminderde bruikbaarheid op behouden data.
• Integratie: Het toevoegen van de CoUn CL-module aan concurrerende baselines (NegGrad+, $\ell_1$-sparse, NoT) resulteerde in aanzienlijke prestatieboosts (bijv. tot 87,7% verbetering in de average gap voor $\ell_1$-sparse op CIFAR-100 met 50% vergeten).
• Ablatiestudies:
  • Schalingsfactor ($\lambda$): Juiste afstemming is essentieel; een hoge $\lambda$ vermindert supervised beperkingen, wat de bruikbaarheid degradeert.
  • Temperatuur ($\tau$): Lagere temperaturen verbeteren over het algemeen de CL-effectiviteit, met optimale prestaties bij $\tau=0,1$.
  • Transformaties: Sterkere augmentaties in CL kunnen leiden tot strakkere clustering, wat paradoxaal genoeg unlearning belemmert door de nodige cluster-overlapping te voorkomen. Eenvoudigere transformaties (die overeenkomen met die gebruikt in supervised learning) leverden de beste resultaten op.
  • Batchgrootte: De prestaties waren optimaal wanneer de batchgrootte overeenkwam met die van het Retrain-model (256).

5. Betekenis en Claims

Het artikel beweert dat CoUn een significante stap voorwaarts is in benaderend machine unlearning door het paradigma te verschuiven van "misclassificatie afdwingen" naar "semantische gelijkenis nabootsen".

• Alignering met Exact Unlearning: In tegenstelling tot eerdere methoden die proberen vergeten data blindelings verkeerd te classificeren, sluit CoUn aan bij het natuurlijke gedrag van het exacte Retrain-model, dat vergeten data classificeert op basis van semantische nabijheid tot behouden data.
• Efficiëntie en Bruikbaarheid: CoUn bereikt hoge unlearning-effectiviteit zonder toegang tot vergeten data en behoudt hoge bruikbaarheid op behouden data door clusterbotsing te mitigeren via supervised learning.
• Generaliseerbaarheid: Het framework blijkt effectief te zijn over verschillende modelarchitecturen en vergeten-scenario's, en de kern CL-module kan dienen als plug-in om bestaande unlearning-methoden te verbeteren.

De auteurs concluderen dat, hoewel CoUn momenteel focust op visiegebaseerde classificatie op relatief kleine datasets, hun aanpak van het benutten van semantische gelijkenis en clusterbotsing een robuuste richting biedt voor toekomstig onderzoek in machine unlearning.