Benchmarking Unlearning for Vision Transformers

Dit artikel introduceert het eerste benchmark voor machine unlearning op Vision Transformers, waarbij verschillende algoritmes, datasets en protocollen worden geëvalueerd om de prestaties te vergelijken met CNN's en een reproduceerbare basis te bieden voor toekomstig onderzoek.

De kern

Stel je voor dat je een zeer slimme kunstleraar hebt die duizenden schilderijen heeft bekeken om te leren hoe je een "hond" tekent. Maar op een dag realiseer je je: "Oh nee, die ene foto van mijn hond die ik heb gebruikt, is eigenlijk een foto van mijn buurman's hond, en die wil ik niet dat mijn leraar onthoudt." Of misschien is die foto gewoon te privé.

Je wilt dat je kunstleraar die ene foto vergeet, maar zonder dat hij de rest van zijn kennis over honden verliest. Dit noemen onderzoekers "machine unlearning" (machinewiskundig vergeten).

Tot nu toe hebben wetenschappers vooral gekeken naar hoe dit werkt bij de "oude stijl" van kunstleraren (die we CNN's noemen, ofwel Convolutional Neural Networks). Maar de nieuwste, superkrachtige leraars zijn Vision Transformers (VTs). Deze zijn heel anders gebouwd: ze kijken naar het hele plaatje tegelijk in plaats van stukje bij beetje.

Deze paper is het eerste grote onderzoek dat zich afvraagt: "Hoe goed kunnen we deze nieuwe, moderne kunstleraren laten vergeten?"

Hier is wat ze hebben ontdekt, vertaald naar alledaagse taal:

1. Het Grote Misverstand: "Zijn ze anders?"

De onderzoekers dachten eerst: "Misschien onthouden deze nieuwe leraars (VTs) dingen heel anders dan de oude (CNN's), dus moeten we ook heel nieuwe manieren bedenken om ze te laten vergeten."

Het verrassende nieuws: Nee, eigenlijk niet.
Of het nu een oude CNN is of een nieuwe Vision Transformer: ze onthouden allemaal op dezelfde manier. Ze hebben allemaal een "lange staart" van dingen die ze heel goed onthouden en dingen die ze maar vaag weten.

• Analogie: Of je nu een oude schoolboek-leerder bent of een moderne AI-leerder, als je iets heel vaak ziet, onthoud je het. Als je het maar één keer ziet, vergeet je het snel. De manier waarop ze onthouden is hetzelfde, dus de oude methoden om te "vergeten" werken vaak ook op de nieuwe.

2. De "Gedachtenlees"-Test (Memorization Proxies)

Om een leraar te laten vergeten, moet je eerst weten wat hij precies onthoudt. Het is te duur om elke keer een nieuwe leraar te trainen om te zien wat hij onthoudt. Dus gebruiken onderzoekers "slimme schattingen" (proxies).

• De Analogie: Stel je wilt weten of een student de les heeft geleerd. Je kunt 100 nieuwe examens geven (duur en langzaam), of je kijkt gewoon naar hoe zeker hij is van zijn antwoord op de oude vragen (snel en makkelijk).
• De bevinding: De snelle methoden die voor de oude leraars werkten, werken ook perfect voor de nieuwe Vision Transformers. Je hoeft dus niet te wachten op dure, nieuwe tests; je kunt de oude "snelle tests" gebruiken.

3. Welke "Vergeten-Strategie" werkt het beste?

De onderzoekers hebben verschillende methoden getest om de leraar te laten vergeten. Het was een beetje zoals het testen van verschillende manieren om een vlek uit een tapijt te krijgen.

• Methode A: "Gewoon opnieuw oefenen" (Fine-tuning)

  • Hoe het werkt: Je neemt de leraar en laat hem alleen nog maar oefenen met de goede voorbeelden, zonder de slechte foto's.
  • Resultaat: Dit werkt verrassend goed, vooral bij de ViT-modellen (de "globale kijkers"). Het is als een simpele herhalingsoefening die wonderen doet.

• Methode B: "De NegGrad+ methode"

  • Hoe het werkt: Dit is een slimme truc. Je zegt tegen de leraar: "Kijk naar die slechte foto's, en doe precies het omgekeerde van wat je zou doen om ze te herkennen." Je duwt zijn kennis dus actief weg.
  • Resultaat: Dit was de sterkste winnaar, vooral bij de Swin-modellen (die meer lijken op de oude CNN's) en bij moeilijke taken. Het is alsof je de leraar een duw geeft in de tegenovergestelde richting.

• Methode C: "De SalUn methode"

  • Hoe het werkt: Je zoekt precies uit welke hersenonderdelen van de leraar die ene foto hebben onthouden, en je schakelt die stukjes uit.
  • Resultaat: Dit werkt goed om de leraar "slim" te houden, maar gevaarlijk als het gaat om privacy. De leraar vergeet de foto wel, maar als iemand vraagt: "Heb jij deze foto ooit gezien?", kan de leraar het nog steeds raden. Het is alsof je de vlek uit het tapijt verwijdert, maar de geur nog steeds blijft hangen.

4. De Grootte van de Leraar telt

Hoe groter de leraar (meer parameters), hoe beter hij kan leren, maar hoe moeilijker het is om hem te laten vergeten zonder zijn geheugen te beschadigen.

• De bevinding: Er is een "gouden middenweg". Een leraar die net groot genoeg is om de taak te doen, maar niet te groot, werkt het beste. Als je een te grote leraar gebruikt, wordt het vergeten lastig.

5. Blijven ze stabiel als je vaak moet vergeten?

In het echte leven moet je misschien niet één foto vergeten, maar elke week een nieuwe.

• De bevinding: Ja! De nieuwe Vision Transformers zijn heel stabiel. Je kunt ze keer op keer laten vergeten, en ze worden niet "verward" of verliezen hun kennis over de rest. Ze zijn als een veerkrachtige rubberen bal die steeds weer zijn vorm aanneemt.

Samenvatting voor de praktijk

Als je een Vision Transformer (zoals ViT of Swin) hebt en je moet data vergeten:

1. Gebruik de NegGrad+ methode (de "duw-methode") als je zekerheid wilt over privacy.
2. Gebruik Fine-tuning (gewoon opnieuw oefenen) als je een ViT-model hebt en het niet te ingewikkeld is.
3. Gebruik de Holdout Retraining test (een specifieke manier om te meten) om te zien of het werkt; die werkt het beste.
4. Vermijd de SalUn methode als privacy je belangrijkste doel is, want die laat nog steeds sporen achter.

Kortom: De nieuwe Vision Transformers zijn niet zo raar als we dachten. We kunnen de bewezen methoden van de oude wereld gebruiken om ze veilig en eerlijk te houden.

Technische samenvatting

Titel: Benchmarking Unlearning for Vision Transformers

Auteurs: Kairan Zhao, Iurie Luca, Peter Triantafillou (Universiteit van Warwick)

---

1. Het Probleem

Machine Unlearning (MU) is de capaciteit om de invloed van specifieke "problematische" data (bijv. biased, foutief, verouderd of privacy-gevoelig) uit een getraind model te verwijderen zonder het model volledig opnieuw te hoeven trainen. Hoewel onderzoek naar MU sterk is gegroeid voor Large Language Models (LLMs), Diffusiemodellen en Convolutional Neural Networks (CNNs), ontbreekt er een systematische benchmark voor Vision Transformers (VTs).

VTs (zoals ViT en Swin-T) worden steeds populairder als alternatief voor CNNs in computer vision, maar hun unieke architecturale eigenschappen (zoals globale zelf-attention en het ontbreken van sterke ruimtelijke inductieve biases) maken het onzeker of bestaande MU-algoritmen die voor CNNs zijn ontworpen, even effectief werken. Er is een dringend behoefte aan inzicht in hoe VTs training data "memoriseren" en hoe dit de prestaties van unlearning beïnvloedt.

2. Methodologie

De auteurs hebben de eerste uitgebreide benchmark ontwikkeld om MU-algoritmen te evalueren op Vision Transformers. De methodologie omvat de volgende kerncomponenten:

• Architecturen: Er zijn twee families van VTs getest: ViT (Vision Transformer, met globale zelf-attention) en Swin-T (Swin Transformer, met hiërarchische structuur en verschoven vensters). Verschillende modelgroottes (capaciteiten) werden gebruikt, variërend van Tiny tot Base/Small, om het effect van schaal te onderzoeken.
• Datasets: Vier datasets met verschillende complexiteit en schaal werden gebruikt:
  • CIFAR-10 en CIFAR-100 (gecontroleerde omgevingen).
  • SVHN (groot maar semantisch eenvoudiger).
  • ImageNet-1K (groot, complex, gebruikt voor pre-training).
• Algoritmen: Drie fundamenteel verschillende benaderingen voor MU werden getest, zowel als standalone als geïntegreerd in het RUM-framework (Reinforced Unlearning Meta-algorithm), dat gebruikmaakt van memorisatie-scores om het unlearning te verfijnen:
  1. Fine-tune (FT): Hertraining alleen op de behouden data.
  2. NegGrad+: Een gradient-based methode die parameters van de te vergeten data wegdrukt.
  3. SalUn: Parameter-selectief unlearning gebaseerd op salience (belangrijkheid).
• Memorisatie en Proxies: Het paper onderzoekt of VTs data op dezelfde manier memoriseren als CNNs. Er worden verschillende "proxies" (schattingsmethoden) gebruikt om memorisatie te meten zonder de dure berekening van de ware Feldman-score:
  • Confidence, MaxConf, Entropy, Binary Accuracy.
  • Holdout Retraining (HR): Een methode waarbij een model opnieuw wordt getraind op een subset om de verandering in voorspelling te meten.
• Evaluatiemetrics: Twee gecombineerde metrics worden gebruikt om de kwaliteit van het vergeten te meten:
  • ToW (Time to Forget): Combineert nauwkeurigheid op vergeten data, behouden data en testdata.
  • ToW-MIA: Voegt kwetsbaarheid voor Membership Inference Attacks (MIA) toe aan de evaluatie.
• Protocollen: Er zijn zowel single-shot (één keer een grote set vergeten) als continual (opeenvolgende kleine sets vergeten) scenario's getest.

3. Belangrijkste Bijdragen

1. Eerste Benchmark voor VTs: Dit werk is de eerste systematische evaluatie van MU op Vision Transformers, wat een gat in de literatuur dicht.
2. Memorisatie-analyse: Het bewijst dat VTs fundamenteel vergelijkbare "long-tail" memorisatiepatronen vertonen als CNNs, ondanks architecturale verschillen.
3. Validatie van Proxies: Het toont aan dat CNN-gebaseerde memorisatie-proxies (zoals Confidence en Holdout Retraining) ook betrouwbaar zijn voor VTs, waardoor schaalbaar unlearning mogelijk is zonder extreme rekenkosten.
4. Architectuur-Afhangelijkheid: Het identificeert dat de keuze van het MU-algoritme sterk afhankelijk is van de architectuur (ViT vs. Swin) en de complexiteit van de dataset.
5. Continual Unlearning: Het demonstreert dat VTs stabiel blijven tijdens opeenvolgende unlearning-operaties zonder significante prestatiedegradatie.

4. Resultaten en Analyse

De resultaten bieden enkele verrassende inzichten:

• Prestaties van Algoritmen:
  • NegGrad+ blijkt de meest robuuste methode voor VTs, vooral op complexere datasets (zoals CIFAR-100 en ImageNet).
  • Fine-tune verrast door goed te presteren, vooral op ViT-modellen en eenvoudigere datasets.
  • SalUn presteert goed op de ToW-metric (nauwkeurigheid), maar faalt vaak op ToW-MIA (privacy), wat betekent dat het model kwetsbaar blijft voor inferentie-aanvallen, vooral bij ViT.
• Architectuur-effecten:
  • ViT (globale attention) profiteert meer van Fine-tuning.
  • Swin-T (lokale/hiërarchische attention) presteert beter met gradient-based methoden zoals NegGrad+, waarschijnlijk omdat de lokale structuur meer lijkt op CNNs.
• Invloed van Pre-training: Op eenvoudigere datasets (CIFAR-10) profiteren VTs van pre-training, wat leidt tot een hoge baseline-prestatie (het model "vergeet" minder snel omdat het al robuuste features heeft geleerd). Op complexere datasets (ImageNet) neemt dit voordeel af.
• Proxies: Holdout Retraining (HR) levert over het algemeen de meest stabiele en sterke resultaten op complexe datasets en bij continual unlearning, terwijl Confidence goed werkt op eenvoudigere taken.
• Continual Unlearning: Er is geen significante degradatie van prestaties waargenomen na 5 of zelfs 10 opeenvolgende unlearning-stappen, wat aangeeft dat VTs geschikt zijn voor dynamische privacy-scenario's.

5. Significantie en Conclusie

Dit paper legt de basis voor verantwoord en veilig gebruik van Vision Transformers in privacy-gevoelige toepassingen. De belangrijkste conclusies voor de praktijk zijn:

• Bestaande CNN-algoritmen kunnen direct worden toegepast op VTs, maar de keuze moet zorgvuldig worden gemaakt op basis van de architectuur (ViT vs. Swin) en de dataset-complexiteit.
• Voor complexe taken en strenge privacy-eisen is de combinatie van Swin-T + NegGrad+ + Holdout Retraining de aanbevolen strategie.
• Voor ViT-modellen op minder complexe taken is Fine-tune vaak voldoende en efficiënter.
• Het werk biedt een herproduceerbare codebase en benchmark die toekomstig onderzoek naar MU voor VTs zal stimuleren en zal helpen bij het ontwikkelen van specifieke algoritmen die beter aansluiten bij de unieke eigenschappen van Transformers.

Kortom, dit onderzoek toont aan dat Vision Transformers, hoewel anders dan CNNs, even goed (of zelfs beter) kunnen worden "geleerd" (unlearned) als ze de juiste methoden en proxies krijgen, wat cruciaal is voor de implementatie van "Right to be Forgotten" in moderne AI-systemen.