🤖 machine learning

On the importance of multiple training seeds for evaluating machine unlearning

Dit artikel betoogt dat het evalueren van machine unlearning-algoritmen met slechts één enkele trainingsseed niet-representatieve resultaten kan opleveren vanwege de gevoeligheid voor trainingsinitialisatie, en demonstreert dat het verhogen van het aantal unlearning-seeds dit tekort niet kan compenseren, waardoor het gebruik van meerdere trainingsseeds noodzakelijk is voor een robuuste empirische beoordeling.

Oorspronkelijke auteurs: Jamie Lanyon, Axel Finke, Petros Andreou, Georgina Cosma

Gepubliceerd 2026-06-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jamie Lanyon, Axel Finke, Petros Andreou, Georgina Cosma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Vergeten" Recept

Stel je voor dat je een meesterkok hebt (het Machine Learning Model) die heeft geleerd om een complex gerecht te bereiden met behulp van een enorme kookboek (Trainingsdata). Plotseling eist een klant dat een specifkel ingrediënt (een specifieke Datapunt) uit het recept wordt verwijderd omdat het over datum is of aanstootgevend is.

Het doel van Machine Unlearning is om de kok dat ingrediënt te laten "vergeten", zodat hij het niet meer kan gebruiken, zonder dat hij het hele kookboek weg hoeft te gooien en opnieuw moet beginnen met koken (wat te duur en te traag is).

Het probleem? De meeste "unlearning"-trucs zijn slechts benaderingen. Ze proberen het recept een klein beetje aan te passen om het slechte ingrediënt te verwijderen, maar we weten niet 100% zeker of ze echt hebben gewerkt of dat de kok gewoon geluk had. Om zeker te zijn, voeren wetenschappers deze trucs veel keren uit om te zien of ze consistent werken.

De Fout: Slechts Eén Keer Met het Lot Werpen

Het artikel betoogt dat wetenschappers een cruciale fout maken in de manier waarop ze deze "vergetelheids"-trucs testen.

De Oude Manier (De Gebrekkige Test):
Stel je voor dat je wilt testen of een nieuwe "vergetelheid"-techniek werkt.

Je bakt één taart met een specifieke set willekeurige ingrediënten en een specifieke oven temperatuur (dit is de Training Seed).
Je probeert vervolgens een specifieke smaak te "ontbakken" of te verwijderen uit die taart door tien verschillende keren een specifieke smaak te verwijderen met tien verschillende willekeurige toverstaven (dit zijn de Unlearning Seeds).
Je middelt de resultaten van die tien toverstaven en zegt: "Kijk, de techniek werkt!"

De Bevinding van het Papier:
De auteurs zeggen dat dit is alsof je een loterijticket beoordeelt door tien tickets te kopen op dezelfde dag met dezelfde gelukkige nummers. Als de trekking van die specifieke dag een gelukstreffer was, zullen je tien tickets er allemaal geweldig uitzien, maar vertellen ze je niet of de loterij eigenlijk eerlijk is.

Het papier laat zien dat het startpunt (de taart die je eerst hebt gebakken) veel belangrijker is dan het gereedschap dat je gebruikt om de smaak te verwijderen.

Als je de taart bakt met een iets andere oventemperatuur of een andere partij bloem (een andere Training Seed), kan de "vergetelheid"-truc volledig falen, zelfs als hij perfect werkte op de eerste taart.
Door alleen op één begintaart te testen, krijgen onderzoekers een "niet-representatief" resultaat. Ze kunnen denken dat een methode geweldig is, terwijl die eigenlijk gewoon geluk had.

De Analogie: De Tuinier en de Grond

Beschouw de Training Seed als de grond en de Unlearning Seed als het gereedschap van de tuinier.

De Oude Praktijk: Een tuinier test een nieuw "onkruidverdelger"-gereedschap op één specifieke stukje grond. Hij gebruikt het gereedschap 10 keer op datzelfde stukje grond. Als het onkruid eruit komt, verklaart hij het gereedschap tot een succes.
De Realiteit: Wat als dat specifieke stukje grond uitzonderlijk zacht was? Het gereedschap kan rampzalig falen op een stukje harde klei.
Het Advies van het Papier: Om te weten of het gereedschap echt werkt, moet je het testen op veel verschillende stukjes grond (veel Training Seeds). Zelfs als je het gereedschap slechts één keer op elk stukje grond gebruikt, krijg je een veel eerlijker beeld van de prestaties dan wanneer je het 100 keer op slechts één stukje grond gebruikt.

Waarom Kunnen We Niet Gewoon Meer "Toverstaven" Gebruiken?

Je vraagt misschien: "Als ik niet 75 verschillende taarten kan bakken, kan ik dan niet gewoon 75 verschillende toverstaven gebruiken op de ene taart die ik heb?"

Het papier zegt nee.

De "wiebelingen" of variaties veroorzaakt door het gebruik van verschillende toverstaven (Unlearning Seeds) zijn meestal klein.
De "wiebelingen" veroorzaakt door het gebruik van verschillende begin-taarten (Training Seeds) zijn enorm.
Als je maar één taart hebt, zal geen enkele hoeveelheid wiebelen met verschillende toverstaven het feit oplossen dat de taart zelf misschien een gelukstreffer was. Je hebt meer taarten nodig (Training Seeds) om een echt antwoord te krijgen.

De Oplossing: Hoe Besteed Je Je Tijd Slim?

De auteurs bieden een gids over hoe je je computertijd (budget) verstandig besteedt:

Besteed geen tijd aan het 10 keer uitvoeren van de unlearning-truc op één model.
Besteed wel je tijd aan het trainen van 10 verschillende modellen (met verschillende begin-seeds) en het uitvoeren van de unlearning-truc slechts één of twee keer op elk.

Deze aanpak geeft een veel eerlijker en betrouwbaarder antwoord over of het machine learning model echt iets is vergeten.

Geldt Dit Overal?

Het papier heeft dit idee getest in drie verschillende werelden:

Beeldclassificatie: Het herkennen van plaatjes (zoals katten versus honden).
Federated Learning-to-Rank: Het sorteren van zoekresultaten op basis van gebruikersklikken.
Grote Taalmodellen (LLM's): Chatbots die tekst schrijven.

In alle drie de gevallen was het resultaat hetzelfde: de begin-seed is belangrijker dan de unlearning-seed. Of je nu een robot leert om te zien, zoekresultaten rangschikt of een verhaal schrijft, je kunt de resultaten niet vertrouwen als je ze slechts op één specifiek beginmodel test.

Samenvatting

Om te weten of een machine learning model echt iets heeft "vergeten", kun je de vergetelheid-truk niet simpelweg testen op één specifieke versie van het model. Je moet het testen op veel verschillende versies van het model. Anders vier je misschien een succes dat slechts een gelukkig toeval was.

Technische Samenvatting: Over het belang van meerdere trainings-seeds voor de evaluatie van Machine Unlearning

Probleemstelling

Machine unlearning beoogt de invloed van specifieke datapunten uit een getraind model te verwijderen zonder de prohibitieve kosten van volledige hertraining. Hoewel exacte unlearning (hertraining vanaf nul) de "gouden standaard" is, is dit vaak onhaalbaar. Daarom vertrouwen onderzoekers op benaderde unlearning-algoritmen (bijv. Random Labels, UNSIR, Bad Teacher, SSD, LFSSD). Omdat deze algoritmen vaak moeilijk wiskundig te analyseren zijn, moet hun prestatie empirisch worden beoordeeld.

Een veelvoorkomende praktijk in de literatuur is het evalueren van deze unlearning-methoden door de unlearning-algoritmen meerdere keren onafhankelijk uit te voeren (met behulp van meerdere unlearning seeds) uitgaande van een enkel vooraf getraind model (met behulp van slechts één training seed). Dit artikel betoogt dat deze evaluatiestrategie gebrekkig is. Specifiek kan de prestatie van unlearning zeer gevoelig zijn voor de initiële training seed. Het vertrouwen op een enkele training seed kan leiden tot niet-representatieve resultaten, wat leidt tot onbetrouwbare conclusies over de effectiviteit of robuustheid van een algoritme. Dit probleem is bijzonder acuut voor deterministische unlearning-methoden, die identieke resultaten produceren wanneer ze vanaf hetzelfde model worden gestart, waardoor meerdere unlearning seeds redundant zijn in dergelijke gevallen.

Methodologie

De auteurs stellen een rigoureus empirisch evaluatiekader voor dat rekening houdt met de variabiliteit in zowel de trainingsfase als de unlearning-fase.

1. Generieke Evaluatieprocedure

Het artikel formaliseert een evaluatieprocedure (Algoritme 1) bestaande uit:

$I$ Training Seeds: Het trainen van $I$ onafhankelijke modellen vanaf nul met behulp van verschillende random seeds.
$J$ Unlearning Seeds: Voor elk getraind model het $J$ keer uitvoeren van het unlearning-algoritme met behulp van verschillende unlearning seeds.
Metriek Aggregatie: Het berekenen van de gemiddelde waarde van unlearning-metrieken (bijv. forget accuracy, retain accuracy) over alle $I \times J$ resulterende modellen.

2. Variantie-decompositie Analyse

De kern van de theoretische bijdrage is een variantie-decompositie van de unlearning-metriek $Z$ :
$\text{Var}[Z] = \frac{1}{I} \left( \sigma^2_{\text{train}} + \frac{1}{J} \sigma^2_{\text{unlearn}} \right)$
Waarbij:

$\sigma^2_{\text{train}}$ de variantie is die toe te schrijven is aan de keuze van de training seed.
$\sigma^2_{\text{unlearn}}$ de variantie is die toe te schrijven is aan de keuze van de unlearning seed.
$ICC$ (Intraclass Correlation Coefficient) wordt gedefinieerd als $\sigma^2_{\text{train}} / \sigma^2_{\text{overall}}$ .

De analyse toont aan dat als $\sigma^2_{\text{train}} > 0$ (d.w.z. $ICC > 0$), het verhogen van het aantal unlearning seeds ( $J$ ) de unlearning-prestaties niet consistent kan schatten; het aantal training seeds ( $I$ ) moet worden verhoogd. Het artikel leidt optimale allocatiestrategieën af voor computationele budgetten om de variantie te minimaliseren of een doelstelling voor de breedte van het betrouwbaarheidsinterval te bereiken, waarbij wordt aangetoond dat het prioriteren van $I$ over het algemeen effectiever is dan het prioriteren van $J$ wanneer de trainingsvariantie significant is.

3. Implementatiecorrecties

De auteurs hebben een implementatiefout geïdentificeerd en gecorrigeerd in de referentiecode voor SSD en LFSSD. De oorspronkelijke implementatie gebruikte gemiddelden op batch-niveau vóór het kwadrateren, wat de parameters belangrijkheidsscores vertekende en niet-determinisme introduceerde over unlearning seeds. De auteurs hebben een "deterministische" (det.) versie geïntroduceerd die gebruikmaakt van de onbevooroordeelde, sample-niveau belangrijkheidsberekening, waardoor deze methoden identieke resultaten produceren voor een vaste training seed.

Experimentele Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd in drie domeinen: Beeldclassificatie, Federated Online Learning-to-Rank (FOLTR) en Large Language Models (LLMs).

Beeldclassificatie (CIFAR-100, CIFAR-20)

Variantie-analyse: Bij het gebruik van 75 training seeds en 10 unlearning seeds, stelde de studie vast dat voor de meeste methoden (inclusief SSD, LFSSD, Bad Teacher, en UNSIR), de variantie toe te schrijven aan training seeds ( $\sigma^2_{\text{train}}$ ) aanzienlijk groter was dan de variantie van unlearning seeds ( $\sigma^2_{\text{unlearn}}$ ).
Deterministische Methoden: Voor de gecorrigeerde SSD (det.) en LFSSD (det.) implementaties was $\sigma^2_{\text{unlearn}}$ effectief nul, wat bevestigt dat meerdere unlearning seeds geen extra inzicht bieden als de training seed vaststaat.
Betrouwbaarheidsintervallen: Berekeningen op basis van Vergelijking 2 geven aan dat het bereiken van smalle betrouwbaarheidsintervallen (bijv. breedte $W=1$ ) vaak honderden of duizenden training seeds vereist, terwijl het verhogen van unlearning seeds een afnemend rendement oplevert.

Federated Learning-to-Rank (FOLTR)

Experimenten op de MQ2007-dataset met 10 clients toonden aan dat evaluatie met een enkele training seed ( $I=1, J=10$ ) trajecten produceerde die niet representatief waren voor de werkelijke cross-seed variabiliteit.
Evaluatie over meerdere training seeds ( $I=10, J=1$ ) onthulde aanzienlijk grotere variantie in de prestaties na unlearning, wat bevestigt dat het probleem zich uitstrekt tot federated ranking taken.

Large Language Models (LLMs)

Bij het gebruik van Llama-3.2-1B-Instruct op de TOFU-dataset observeerde de studie aanzienlijke cross-seed variantie in zowel Model Utility als Forget Quality voor methoden zoals GradAscent en Runlearning.
Individuele training seeds besloegen bijna het volledige bereik van mogelijke uitkomsten, wat de stelling versterkt dat evaluaties met een enkele seed onvoldoende zijn om het gedrag van LLM unlearning te karakteriseren.

Belangrijkste Bijdragen

Empirische Demonstratie van Training Seed Gevoeligheid: Het artikel demonstreert numeriek dat evaluaties met een enkele training seed niet-representatieve resultaten kunnen opleveren in beeldclassificatie, een bevinding die zich uitstrekt naar FOLTR en LLMs.
Theoretische Rechtvaardiging: Het biedt een variantie-decompositie analyse die bewijst dat het verhogen van unlearning seeds de afwezigheid van training seeds niet kan compenseren wanneer $\sigma^2_{\text{train}} > 0$ .
Praktische Richtlijnen: De auteurs bieden formules en tabellen (Tabellen 1 en 2) om onderzoekers te begeleiden bij het alloceren van computationele middelen tussen training en unlearning herhalingen om de gewenste statistische betrouwbaarheid te bereiken.
Implementatiecorrecties: Het artikel corrigeert het niet-deterministische gedrag in de referentie-implementaties van SSD en LFSSD, waarbij onderscheid wordt gemaakt tussen de originele ("orig.") en de bijgewerkte deterministische ("det.") versies.

Betekenis en Claims

Het artikel claimt dat de gangbare praktijk van het gebruiken van een enkele training seed met meerdere unlearning seeds leidt tot onbetrouwbare evaluaties van machine unlearning-methoden. De auteurs stellen dat:

Betrouwbaarheid: Nauwkeurige evaluatie vereist het middelen over meerdere training seeds, aangezien de variabiliteit geïntroduceerd door training initialisatie vaak de variabiliteit geïntroduceerd door het unlearning-proces domineert.
Generaliseerbaarheid: Deze beperking is niet specifiek voor beeldclassificatie, maar is een algemene eigenschap van het evaluatiekader, waargenomen in federated learning en LLMs.
Haalbaarheid: Ondanks de hoge kosten van training, blijft het gebruik van meerdere training seeds haalbaar zelfs voor LLMs (bijv. het trainen van een Llama-3.2-1B model duurt ongeveer tien minuten), wat de voorgestelde rigoureuze evaluatie praktisch maakt.

Het werk breidt eerdere bevindingen (bijv. Cadet et al., Triantafillou et al.) uit door de schaal van gebruikte training seeds te vergroten (75 vs. 10), expliciet uit te leggen waarom meerdere unlearning seeds niet kunnen compenseren voor enkele training seeds, en concrete richtlijnen te bieden voor experimenteel ontwerp.