ERASE -- A Real-World Aligned Benchmark for Unlearning in Recommender Systems

Dit paper introduceert ERASE, een realistisch en grootschalig benchmark voor machine unlearning in aanbevelingssystemen dat bestaande beperkingen overbrugt door diverse real-world scenario's, algoritmen en datasets te evalueren om de effectiviteit en robuustheid van bestaande methoden systematisch in kaart te brengen.

De kern

Stel je voor dat je een zeer slimme, persoonlijke assistent hebt die alles over je doet: wat je koopt, welke films je kijkt, en welke muziek je luistert. Deze assistent leert van al je gedrag om je precies te vertellen wat je leuk zou vinden.

Maar wat als je die assistent vraagt: "Stop met onthouden dat ik gisteren een fles wijn kocht, want ik wil nu stoppen met drinken" of "Vergeet die gekke spam-berichten die een hacker op mijn account heeft geplaatst"?

In de wereld van computers is dit lastig. Als je een model (zoals die assistent) eenmaal hebt getraind, is het alsof je een cake hebt gebakken. Je kunt de suiker er niet zomaar weer uit halen zonder de hele cake te verprutten. Meestal moet je de hele cake opnieuw bakken (het model opnieuw trainen), wat heel lang duurt en veel energie kost.

Machine Unlearning is de techniek om die specifieke suiker (je data) eruit te halen zonder de hele cake opnieuw te bakken.

Het Probleem: De Oude Testkaarten

Aan deze techniek wordt al veel onderzoek gedaan, maar de tests die tot nu toe zijn gedaan, waren een beetje onrealistisch. Het was alsof je een auto testte door hem alleen maar op een rechte, lege weg te laten rijden, terwijl je in het echte leven door drukke steden moet navigeren.

De oude tests:

• Vraagten om het vergeten van enorme hoeveelheden data in één keer (alsof je 5% van je hele leven in één seconde wilt wissen).
• Kijkten alleen naar simpele situaties, niet naar de complexe, dagelijkse dingen die echte apps doen.
• Waren te traag voor de echte wereld.

De Oplossing: ERASE (De Nieuwe Testbaan)

De auteurs van dit paper hebben ERASE bedacht. Dit is een nieuwe, realistische testomgeving om te zien welke methoden echt werken in de praktijk.

Je kunt ERASE zien als een groot, realistisch trainingscentrum voor deze "vergeet-assistenten". In plaats van simpele vragen, gooien ze de assistenten voor met echte, lastige scenario's:

1. Drie soorten taken:

   • Collaborative Filtering: "Mensen die X kochten, kochten ook Y." (De klassieke aanbeveling).
   • Session-based: "Je bent nu in de winkel, wat ga je als volgende kopen?" (Bijvoorbeeld in een supermarkt).
   • Next-basket: "Wat staat er morgen in je boodschappenmandje?" (Het plannen van een hele week).

2. Twee echte scenario's:

   • Gevoelige items: Iemand wil stoppen met alcohol of vlees eten. De assistent moet die specifieke items uit het geheugen wissen, maar wel blijven aanraden wat ze wél kunnen eten.
   • Spam verwijderen: Iemand probeert het systeem te manipuleren met nep-berichten. De assistent moet die nep-berichten snel "uitwissen" zodat de aanbevelingen weer eerlijk zijn.

3. De test:
   Ze hebben 7 verschillende methoden (algoritmen) getest op 9 verschillende datasets (zoals filmratings, supermarktdata, muziekstreams). Ze hebben gekeken naar drie dingen:

   • Effectiviteit: Vergeet de assistent echt wat hij moest vergeten?
   • Nuttigheid: Is de assistent nog steeds slim voor de rest van de data? (Hij mag niet dom worden).
   • Snelheid: Is het snel genoeg om in de echte wereld te gebruiken?

De Resultaten: Wat hebben ze ontdekt?

• Soms werkt het, soms niet: Sommige methoden werken net zo goed als het opnieuw bakken van de hele cake, maar dan in een fractie van de tijd. Andere methoden maken de assistent juist heel dom of vergeten ze niet genoeg.
• De "Speciale" methoden winnen: De methoden die speciaal zijn ontworpen voor aanbevelingssystemen (zoals SCIF) werken het meest betrouwbaar. De "algemene" methoden (die voor alles gebruikt zouden moeten worden) haperen vaak, vooral bij complexe modellen die op neurale netwerken lijken.
• Herhaald vergeten is lastig: Als je de assistent blijft vragen om dingen te vergeten (eerst wijn, dan sigaretten, dan snoep), beginnen sommige methoden te haperen. Ze worden onstabiel.
• Snelheid is cruciaal: Veel methoden zijn nog te traag voor de echte wereld. Ze zijn misschien 10 keer sneller dan opnieuw trainen, maar dat is niet genoeg. We zoeken methoden die 1000 keer sneller zijn, zodat het binnen enkele minuten gebeurt in plaats van dagen.

Waarom is dit belangrijk?

Dit paper is een enorme stap voorwaarts omdat het eindelijk eerlijke tests biedt. Het geeft ontwikkelaars een gereedschapskist om te zien welke "vergeet-methode" ze kunnen gebruiken om aan de privacywetten (zoals het recht op vergeten) te voldoen, zonder hun hele systeem te moeten slopen.

Kortom: ERASE is de testbaan die ons leert hoe we onze digitale assistenten kunnen dwingen om hun geheugen te wissen, zodat we onze privacy terugkrijgen, zonder dat de assistent zijn verstand verliest.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "ERASE – A Real-World Aligned Benchmark for Unlearning in Recommender Systems" in het Nederlands.

Probleemstelling

Machine Unlearning (MU) is het proces waarbij de invloed van specifieke trainingsdata uit een getraind machine learning-model wordt verwijderd. Dit is cruciaal voor naleving van privacywetgeving (zoals het "recht om vergeten te worden" onder de GDPR), beveiliging (bijv. het verwijderen van spam-interacties) en aansprakelijkheid.

Hoewel er veel onderzoek naar MU is gedaan, missen bestaande benchmarks voor aanbevelingssystemen (Recommender Systems) de realiteit van de praktijk. De huidige benchmarks (zoals CURE4Rec) hebben de volgende tekortkomingen:

1. Beperkte taakdekking: Ze focussen bijna uitsluitend op Collaborative Filtering (CF) en negeren belangrijke taken zoals sessie-gebaseerde aanbevelingen (SBR) en "next-basket" aanbevelingen (NBR).
2. Onrealistische scenario's: Ze simuleren vaak één grote verwijderingsaanvraag (bijv. 5% van de data) in plaats van continue, kleine, sequentiële verzoeken zoals die in de praktijk voorkomen.
3. Gebrek aan domeinspecifieke patronen: Ze negeren specifieke redenen voor verwijdering, zoals het verwijderen van interacties met gevoelige items (bijv. alcohol voor verslaafden) of spam.
4. Efficiëntie: Bestaande methoden zijn vaak niet snel genoeg voor productieomgevingen; ze zijn slechts een orde van grootte sneller dan volledig hertrainen, terwijl de praktijk een snelheidswinst van drie ordes van grootte vereist (van dagen naar minuten).

Methodologie: Het ERASE Benchmark

De auteurs introduceren ERASE, een benchmark die is ontworpen om de kloof tussen theoretisch MU-onderzoek en real-world toepassing te overbruggen.

1. Ontwerp en Schaal:

• Taken: ERASE dekt drie kerntaken: Collaborative Filtering (CF), Session-Based Recommendation (SBR) en Next-Basket Recommendation (NBR).
• Datasets: Er worden 9 publieke datasets gebruikt (bijv. MovieLens, Instacart, TaFeng, RSC15) die variëren in grootte en domein.
• Modellen: 9 state-of-the-art modellen worden getest, variërend van klassieke matrixfactorisatie (BPR) tot Graph Neural Networks (LightGCN, SR-GNN) en Attention-based modellen (SASRec, Sets2Sets).
• Algoritmen: 7 unlearning-algoritmen worden geëvalueerd, waaronder:
  • RecSys-specifiek: SCIF (Selectieve en Collaboratieve Invloedfunctie), GIF, CEU, IDEA.
  • Algemeen (NeurIPS 2023 winnaars): Fanchuan, Kookmin, Seif.
  • Baseline: Volledig hertrainen (Retrain).

2. Unlearning Scenario's:
In tegenstelling tot eerdere benchmarks die één grote "forget set" verwijderen, voert ERASE sequentiële, kleine batch-verwijderingen uit. Twee realistische scenario's worden getest:

• Gevoelige items: Het sequentieel verwijderen van interacties met specifieke items voor individuele gebruikers (bijv. alcohol voor een gebruiker met een verslaving).
• Spam-verwijdering: Het verwijderen van kwaadaardig gegenereerde interacties (poisoning) van spam-accounts.

3. Evaluatiemetrics:
De prestaties worden gemeten op drie assen:

• Utility: Behoud van aanbevelingskwaliteit (nDCG, Recall, Hit Ratio) op de resterende data.
• Effectiviteit: Hoe goed is de data vergeten?
  • Voor gevoelige items: RelItems@k (percentage gebruikers dat nog steeds gevoelige items krijgt).
  • Voor spam: RelEff@k (herstel van de modelprestatie vergeleken met een hergetraind model).
• Efficiëntie: Latentie van het unlearning-proces vergeleken met volledig hertrainen.

4. Artifacts:
De auteurs hebben een enorme hoeveelheid herbruikbare artifacts gegenereerd (>600 GB), waaronder 1.069 model checkpoints (getraind, hergetraind en unlearned), zodat onderzoekers nieuwe algoritmen kunnen testen zonder de dure trainingsstap opnieuw uit te voeren.

Belangrijkste Resultaten

De uitvoering van ERASE leverde de volgende inzichten op:

1. Robuustheid varieert sterk: Geen enkel algoritme presteert consistent goed over alle taken, datasets en architecturen.

   • SCIF (een aanbevelingsspecifieke methode) bleek de meest robuuste en consistente methode, met name voor CF en SBR.
   • Algemene methoden (zoals Kookmin en Seif) vertonen vaak degradatie bij herhaalde verzoeken, vooral bij attention-based en recurrente modellen.
   • GNN-specifieke methoden (GIF, CEU, IDEA) zijn soms effectief maar lijden vaak onder numerieke instabiliteit en divergeren bij sequentiële unlearning.

2. Architectuur-invloed: De modelarchitectuur heeft een grote invloed op de unlearning-effectiviteit. Recurrente modellen (zoals GRU4Rec) en attention-modellen (zoals SASRec) zijn gevoeliger voor degradatie door algemene unlearning-methoden dan CF-modellen.

3. Efficiëntie vs. Effectiviteit:

   • De meeste huidige methoden voldoen niet aan de eisen voor productie-implementatie. Ze zijn vaak niet snel genoeg (niet 3 ordes van grootte sneller dan hertrainen) of verliezen te veel aanbevelingskwaliteit.
   • Alleen een paar methoden (zoals SCIF in bepaalde scenario's) benaderen de snelheid van hertrainen met behoud van effectiviteit, maar zelfs dan is de snelheidswinst vaak beperkt tot één orde van grootte in plaats van de gewenste drie.

4. Unlearning kan beter zijn dan hertrainen: In sommige gevallen (bijv. CF met gevoelige items) presteert het unlearned model beter dan het hergetrainde model binnen een vast tijdsbestek. Dit komt doordat hertraining start vanaf een koude start, terwijl unlearning start vanaf een goed geoptimaliseerd model en slechts een gerichte correctie uitvoert.

Bijdragen

1. Ontwerp van ERASE: Een realistisch uitgelijnde benchmark die de beperkingen van bestaande benchmarks oplost door sequentiële, kleine verzoeken en diverse taken (CF, SBR, NBR) te omvatten.
2. Uitgebreide Artifacts: Publicatie van een enorme dataset van checkpoints en logs (>600 GB) die de community in staat stelt nieuwe algoritmen te evalueren zonder de computatiekosten van training.
3. Empirisch Onderzoek: Een systematische analyse van de huidige staat van de kunst, die aantoont dat hoewel MU mogelijk is, er nog grote uitdagingen zijn in robuustheid en snelheid voor complexe neurale netwerken.
4. Open Source: Beschikbaarstelling van code en tools onder een open licentie om herhaalbaarheid en extensie te bevorderen.

Betekenis en Impact

Het paper is van groot belang voor het veld van Responsible AI en Recommender Systems. Het verschuift de focus van theoretische garanties naar praktische bruikbaarheid.

• Het identificeert dat algoritme-selectie cruciaal is: er is geen "one-size-fits-all" oplossing; de keuze hangt af van de taak, het model en het type data dat moet worden verwijderd.
• Het benadrukt de noodzaak van stabilisatie bij herhaald unlearning, wat een nieuwe onderzoeksrichting opent (bijv. ensemble-methoden).
• Het biedt een solide empirische basis voor toekomstig onderzoek om de snelheid en effectiviteit van MU te verbeteren, met als doel daadwerkelijke implementatie in productie-systemen waar privacy en beveiliging centraal staan.

Kortom, ERASE fungeert als een cruciaal testbed om de kloof te overbruggen tussen academische machine unlearning-methoden en de harde eisen van de industrie.