🤖 machine learning

Forgetting Has Neighbors: Localized Collateral Forgetting in Machine Unlearning

Dit artikel identificeert en adresseert "gelokaliseerd bijkomend vergeten", een fenomeen waarbij machine unlearning-methoden de voorspellingen voor trainingsvoorbeelden nabij de verwijderde gegevens onevenredig veel verslechteren door inconsistente surrogaatdoelen, en stelt "Local Teacher Distillation" voor als een effectieve mitigatiestrategie die ongeleerde modellen nauwer afstemt op volledige hertraining.

Oorspronkelijke auteurs: Polina Dolgova, Sebastian U. Stich

Gepubliceerd 2026-06-01

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Polina Dolgova, Sebastian U. Stich

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer intelligente student hebt die een enorm tekstboek met duizenden voorbeelden heeft bestudeerd. Op een dag komt er een wet die zegt dat je een specifiek hoofdstuk uit dat tekstboek moet verwijderen en ervoor moet zorgen dat de student dat hoofdstuk volledig "vergeet".

Het Doel: Je wilt de student leren om dat hoofdstuk te vergeten zonder dat hij het hele boek opnieuw hoeft door te lezen (wat te lang zou duren). Je wilt dat de student even goed presteert op de rest van het boek als wanneer hij dat hoofdstuk tijdens het eerste studeren simpelweg had overgeslagen.

Het Probleem: "Bijkomende Schade"
De paper ontdekt een verborgen gebrek in de manier waarop we gewoonlijk proberen een student te laten "vergeten".

Wanneer onderzoekers proberen een student te dwingen een specifiek onderwerp te vergeten, gebruiken ze vaak een bot instrument: ze vertellen de student ofwel om dat onderwerp "niet te bestuderen" (de kennis wegduwen) of ze vertellen de student dat het onderwerp onzin is (het toewijzen van willekeurige, foute antwoorden).

De paper laat zien dat deze aanpak zorgt voor Gelokaliseerde Bijkomende Vergetelheid. Denk hierover als volgt:

Als je tegen een student zegt: "Vergeet alles over Banken", en je doet dit agressief, dan kan de student ook in de war raken over Fauteuils, Zitjes en Meubels in het algengemeen.
Hoewel deze andere items niet op de "verwijderlijst" stonden, raakt het begrip van de student over deze zaken verstoord omdat ze zo veel lijken op het ding dat men hen moest laten vergeten.
De student presteert uiteindelijk slechter op deze "nabijgelegen" onderwerpen dan wanneer hij het hoofdstक simpelweg had overgeslagen en de rest van het boek normaal was blijven bestuderen.

Waarom gebeurt dit?
De auteurs leggen uit dat het brein van de student (het AI-model) vergelijkbare ideeën aan elkaar koppelt. Wanneer je een student dwingt om één specifiek idee te vergeten door een "willekeurig" of "fout" antwoord te geven, verspreidt deze verwarring zich naar de naburige ideeën in hun mentale kaart. Het is als struikelen over een kleed: je valt niet alleen over het kleed, maar je kunt ook de lamp die er vlak naast staat omverstoten.

De Oplossing: De "Lokale Leraar"
In plaats van de student alleen te vertellen "dit is fout" of "vergeet dit", stellen de auteurs een slimmere strategie voor genaamd Local Teacher Distillation.

Hier is de analogie:

Het Probleem: Je kunt de student niet vragen om het hele boek opnieuw te lezen om te zien hoe hij de "Bank"-sectie had moeten behandelen als hij het hoofdstuk simpelweg had overgeslagen. Dat is te kostbaar.
De Oplossing: Je huurt een kleine, gespecialiseerde tutor in (een "Lokale Leraar").
Hoe het werkt: Deze tutor kijkt alleen naar de buren van het "Bank"-hoofdstuk — dingen zoals "Fauteuils" en "Zitjes" die de student nog wel onthoudt — en de zaken die nog veilig zijn. De tutor bestudeert deze veilige voorbeelden en begrijpt: "Oké, als we het 'Bank'-hoofdstuk niet hadden gehad, hoe zouden we dan logischerwijs antwoorden op vragen over Fauteuils?"
Het Resultaat: De tutor geeft de student een "zachte" hint (een milde, correcte voorspelling) over wat te doen met het "Bank"-hoofdstuk, gebaseerd op wat hij weet over de buren. Dit is veel beter dan de student willekeurig te laten gokken.

Wat ze vonden
De onderzoekers testten dit op een computersysteem dat leerde om afbeeldingen te herkennen (zoals katten, honden en banken).

Oude Methode (Willekeurig Gokken): Wanneer zij probeerden afbeeldingen van "banken" te verwijderen, raakte het systeem in de war over andere meubels in de buurt.
Nieuwe Methode (Lokale Leraar): Door de kleine tutor te gebruiken om milde hints te geven op basis van vergelijkbare, veilige afbeeldingen, vergat het systeem de "banken" net zo goed als de oude methode, maar raakte het niet in de war over de andere meubels. Het bleef veel dichter bij de prestaties van een student die het hoofdstuk vanaf het begin simpelweg had overgeslagen.

In Samenvatting
De paper betoogt dat wanneer we proberen AI te laten "vergeten", we vaak per ongeluk de kennis van vergelijkbare zaken beschadigen. Door een kleine, slimme helper te gebruiken die het vergeetproces begeleidt met milde, logische hints in plaats van willekeurige ruis, kunnen we de AI precies dat te laten vergeten wat nodig is, zonder de rest van de kennis te beschadigen.

Technische Samenvatting: Vergeten heeft buren: Gelokaliseerde collaterale vergetelheid in Machine Unlearning

Probleemstelling
Machine unlearning beoogt de invloed van specifieke trainingsvoorbeelden (de "forget set") te verwijderen uit een getraind model zonder de computationele kosten van volledige hertraining. Hoewel standaard evaluaties vertrouwen op geaggregeerde metrieken (bijv. retain accuracy, forget accuracy en privacy audit scores), stellen de auteurs dat deze samenvattingen lokale fouten kunnen maskeren. Specifiek kan een 'unlearned' model gemiddeld genomen dicht bij een hertraind referentiemodel liggen, terwijl het toch scherpe afwijkingen vertoont op specifieke behouden of testvoorbeelden.

De paper identificeert een foutmodus die wordt gedefinieerd als gelokaliseerde collaterale vergetelheid: onbedoelde degradatie in de voorspellingen van het model op niet-verwijderde voorbeelden die geometrisch dicht bij de forget set liggen in de representatieruimte. Dit gebeurt omdat voorbeelden gekoppeld zijn via gedeelde representaties; interventies die ontworpen zijn om het signaal van de forget set te onderdrukken (zoals gradient ascent of random labeling) verspreiden perturbaties naar nabijgelegen retain points.

Methodologie
De auteurs benaderen dit probleem via theoretische analyse, empirische observatie en een voorgestelde mitigatiestrategie.

Theoretische Analyse:
- Gradient Ascent (GA): In lineaire regressie bewijzen de auteurs dat de excess loss van een unlearned model ten opzichte van een hertraind model schaalt met de gekwadrateerde uitlijning ( $\langle x_q, x_f \rangle^2$ ) tussen een behouden query punt $x_q$ en het verwijderde punt $x_f$ .
- Random Labeling (RL): In logistische regressie wordt aangetoond dat de discrepantie tussen RL en hertraining wordt beheerst door de projectie van het query punt op de span van de forget set. De willekeurige labels die aan de forget set worden toegekend, creëren een "target mismatch" die conflicteert met de lokale voorspellingsstructuur die door hertraining wordt geïnduceerd. Deze mismatch plant zich voort naar nabijgelegen punten.
- Retain Fine-Tuning: De analyse laat zien dat hoewel fine-tuning op de retain set de overeenstemming op behouden trainingspunten kan herstellen, dit niet noodzakelijkerwijs de gedragingen van het model langs componenten die binnen de forget span liggen, corrigeert. Zo blijft target mismatch een onderliggende oorzaak.
Voorgestelde Methode: Local Teacher Distillation (LTD)
Gemotiveerd door de bevinding dat target mismatch gelokaliseerde fouten drijft, stellen de auteurs Local Teacher Distillation voor. In plaats van willekeurige of gecorrumpeerde labels aan de forget set toe te kennen, vervangt LTD deze door "soft labels" afgeleid van een kleine hulp-teacher model.
- Support Selectie: De teacher wordt alleen getraind op een subset van behouden voorbeelden ( $S_k$ ) die de dichtstbijzijnde buren zijn van de forget set in de representatieruimte (gemeten via cosine similarity van de penultimate-layer embeddings). Dit zorgt ervoor dat de teacher de lokale voorspellingsstructuur van het hertrainde model nabij de forget set benadert.
- Trainingsdoel: Het unlearning proces optimaliseert een loss functie die prestaties op de retain set behoudt (met hard labels) terwijl de cross-entropy tussen de voorspellingen van het model op de forget set en de soft voorspellingen van de teacher wordt geminimaliseerd.
- Efficiëntie: De teacher is een kleinere architectuur die alleen op de geselecteerde support set is getraind, waardoor de kosten van volledige hertraining worden vermeden.

Belangrijkste Bijdragen

Fenomeen Identificatie: De paper stelt vast dat collaterale vergetelheid niet uniform is, maar geconcentreerd is op niet-forget voorbeelden die dicht bij de forget set liggen in de representatieruimte.
Theoretische Karakterisering: De auteurs leveren theoretische bewijzen voor GA en RL methoden waaruit blijkt dat de afwijking van hertraining wordt beheerst door de uitlijning of projectie van behouden punten op de forget set. Zij identificeren target mismatch (inconsistente surrogaatdoelen versus de hertrainingsstructuur) als het onderliggende mechanisme.
Mitigatiestrategie: Zij introduceren Local Teacher Distillation, een eenvoudige methode die een lokale teacher gebruikt om consistente soft labels voor de forget set te genereren.
Empirische Validatie: Experimenten op CIFAR-100 (partiële klasse-verwijdering) tonen aan dat LTD de discrepantie met hertraining aanzienlijk vermindert, met name voor de getroffen klassen en voorbeelden met een hoge gelijkenis, terwijl competitieve geaggregeerde unlearning metrieken behouden blijven.

Resultaten

Geaggregeerde Metrieken: Op CIFAR-100 met 50% klasse-verwijdering bereikt LTD de laagste "Avg. Gap" (gemiddelde absolute afwijking van hertraining over accuratesse en privacy metrieken) vergeleken met de onderzochte baselines (GA, RL, FT, SalUn, IU, AMUN).
Gelokaliseerde Prestaties: Hoewel geaggregeerde metrieken misleidend kunnen zijn, presteert LTD significant beter dan de baselines op affected-class subsets (behouden en testpunten die tot de verwijderde klasse behoren). Terwijl andere methoden grote dalingen in accuratesse lieten zien voor deze specifieke punten ten opzichte van hertraining, behield LTD stabiliteit.
Gelijkenis Analyse: De paper demonstreert dat concurrerende methoden scherpe dalingen in accuratesse vertonen naarmate de gelijkenis met de forget set toeneemt. In contrast hiermee behoudt LTD een lage afwijking over alle similarity bins.
Ablatie Studies: De resultaten bevestigen dat het gebruik van nearest-neighbor support voor de teacher cruciaal is; willekeurige of verre support faalt in het vastleggen van de relevante voorspellingsstructuur, wat leidt tot een slechte uitlijning met hertraining.

Significantie en Claims
De paper claimt dat standaard unlearning evaluaties onvoldoende zijn omdat ze gestructureerde fouten nabij de forget set verbergen. De significantie van dit werk ligt in:

Het onthullen dat target mismatch een fundamentele oorzaak is van gelokaliseerde collaterale vergetelheid, die zelfs persisteert met retain-set fine-tuning.
Het aantonen dat het verbeteren van de lokale consistentie van de forget-set targets (via een lokale teacher) een effectievere mitigatiestrategie is dan enkel vertrouwen op retain-set herstel.
Het bieden van een praktische, goedkope methode (LTD) die unlearned modellen substantieel dichter bij de hertraining-referentie brengt, met name in de kritieke buurt van de verwijderde data, zonder de privacy of bruikbaarheid op te offeren.

De auteurs blijven bescheiden over de generaliseerbaarheid en merken op dat hun methode afhankelijk is van de kwaliteit van de lokale support set en representatie. Zij erkennen dat zeer heterogene forget sets clustering of meerdere lokale teachers kunnen vereisen, en dat uitbreiding naar bredere architecturen en datasets toekomstig werk blijft.

Meer zoals dit