🔬 materials science

Bounding Retraining Equivalence and the Deletion Floor in Materials Machine Unlearning

Dit artikel behandelt de ambiguïteit van nauwkeurigheid na verwijdering in machine learning voor materialen door een "verwijderingsvloer" te definiëren op basis van hertrainingsequivalentie, theoretische grenzen vast te stellen die lage verwijderingsvloeren koppelen aan behouden dataredundantie, en empirisch aan te tonen dat evaluaties van unlearning op verzoekniveau gezamenlijk referentieverlies, predictieverandering en behouden nut moeten rapporteren om onderscheid te maken tussen effectieve unlearning en louter datSuppressie.

Oorspronkelijke auteurs: Can Polat, Mustafa Kurban, Erchin Serpedin, Hasan Kurban

Gepubliceerd 2026-09-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Can Polat, Mustafa Kurban, Erchin Serpedin, Hasan Kurban

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van materiaalkunde gebruiken onderzoekers krachtige computermodellen om de eigenschappen van nieuwe stoffen te voorspellen voordat ze daadwerkelijk in een laboratorium worden vervaardigd. Deze modellen leren van enorme databases met bekende chemische structuren, waarbij de rangschikking van atomen wordt gekoppeld aan uitkomsten zoals hoeveel energie een materiaal opslaat of hoe stabiel het is. Omdat de wetten van de fysica consistent zijn, kunnen veel verschillende chemische formules bijna identieke kristalstructuren producer de. Dit creëert een natuurlijke redundantie in de data: als één specifiek record van een kristal wordt verwijderd uit de trainingsset, kan het model de eigenschappen ervan vaak nog steeds nauwkeurig voorspellen omdat het dezelfde fysieke patronen heeft geleerd van andere, zeer vergelijkbare records die overblijven. Dit vormt een unieke uitdaging voor een veld genaamd machine unlearning (machine-vergeten), dat tot doel heeft kunstmatige intelligentiesystemen specifieke datapunten te laten "vergeten", vaak om te voldoen aan privacywetgeving. Als een systeem een verwijderd item perfect kan voorspellen vanwege zijn buren, heeft het dan werkelijk vergeten, of gebruikt het gewoon een andere weg naar hetzelfde antwoord?

Een team van onderzoekers zette zich in om deze ambiguïteit op te lossen door een nieuwe standaard te definiëren voor wat het succesvol ontleren van een stuk data in de materiaalkunde betekent. Ze introduceerden een concept genaamd de "deletion floor" (verwijderingsvloer), die de laagst mogelijke fout vertegenwoordigt die een model op een verwijderd item zou hebben als het simpelweg opnieuw getraind zou worden vanaf nul zonder dat item. Hun werk laat zien dat in veel gevallen de beste hertraining nog steeds het verwijderde item met hoge nauwkeurigheid voorspelt, simpelweg omdat de overige data zo vergelijkbaar is. Ze ontdekten dat het succes van een poging tot ontleren niet alleen aan de hand van nauwkeurigheid kan worden beoordeeld; het moet worden gemeten door de nieuwe voorspellingen van het model te vergelijken met deze specifieke baseline van wat een hertraining van nature zou produceren.

De onderzoekers testten deze ideeën met behulp van een enorme collectie van meer dan 44.000 kristalstructuren uit een publieke database die bekend staat als de Materials Project. Ze richtten zich op het voorspellen van vormingsenergie, een maatstaf voor hoeveel energie er nodig is om een kristal uit zijn elementen op te bouwen. Om te begrijpen hoe redundantie het vergeten beïnvloedt, bouwden ze eerst een gecontroleerd experiment met synthetische data. Ze creëerden groepen van bijna identieke items, verwijderden vervolgens één lid uit elke groep en trainden het model opnieuw. Wanneer ze een item verwijderden dat geen nauwe verwanten had, bleef de fout van het model op dat item hoger dan wanneer ze een item verwijderden dat vergelijkbare verwanten overliet. Sterker nog, de mediane fout daalde met bijna acht keer wanneer er slechts één vergelijkbaar record achterbleef. Dit toonde aan dat het model de fysieke gedragingen van het verwijderde kristal niet echt "vergat"; het vertrouwde simpelweg op de overlevende verwanten om het gat op te vullen.

Om te zien of dit ook standhield in realistische scenario's, paste het team hun methoden toe op duizenden echte kristalstructuren. Ze vergeleken twee verschillende manieren om de modellen te trainen: één met een eenvoudigere opzet en een andere met een complexere opzet die veel meer kenmerken gebruikte om de kristallen te beschikken. Ze ontdekten een verrassende afruil. Het complexere model was over het algemeen nauwkeuriger in zijn geheel, maar was ook veel gevoeliger voor de verwijdering van een enkel record. Wanneer een record werd verwijderd, verschoof de voorspelling van het complexe model voor dat specifieke item veel meer dan de voorspelling van het eenvoudigere model. Toch was het complexe model paradoxaal genoeg nog steeds in staat om een lagere foutmarge op het verwijderde item te behalen na hertraining. Dit betekent dat het model zeer gevoelig was voor de verandering in zijn trainingsdata, maar het verwijderde item nog steeds bijna perfect kon voorspellen omdat de omliggende data zo informatief was.

De studie onderzocht ook diverse methoden om het ontleerproces te benaderen zonder het model daadwerkelijk vanaf nul opnieuw te trainen, een taak die computationeel zeer kostbaar is. Ze ontdekten dat sommige methoden erin slaagden de fout op het specifieke verwijderde item te vergroten, maar vaak ten koste van de prestaties van het model op andere, ongerelateerde items. Anderen hielden de algehele prestaties van het model hoog, maar faalden erin de voorspelling voor het verwijderde item significant te veranderen, waardoor de "herinnering" aan dat record feitelijk intact bleef. De onderzoekers concludeerden dat het simpelweg controleren of een model minder nauwkeurig is op een verwijderd item niet voldoende is. Een succesvol ontleerproces moet worden geëvalueerd door naar drie zaken samen te kijken: hoeveel de voorspelling voor het verwijderde item is veranderd, hoe die verandering zich verhoudt tot wat een volledige hertraining zou hebben geproduceerd, en of het vermogen van het model om andere materialen te voorspellen behouden is gebleven.

Door deze "deletion floor" vast te stellen, boden de onderzoekers een duidelijk referentiepunt voor de wetenschappelijke gemeenschap. Ze toonden aan dat in velden zoals de materiaalkunde, waar natuurwetten sterke verbindingen tussen verschillende datapunten creëren, een model een record kan lijken te vergeten terwijl het nog steeds het item accuraat voorspelt. Dit is geen falen van het ontleerproces, maar een reflectie van de onderliggende fysica. Het artikel betoogt dat toekomstige evaluaties moeten stoppen met het behandelen van de nauwkeurigheid na verwijdering als een simpele pass/fail-metriek. In plaats daarvan zouden ze de specifieke baseline-fout rapporteren die door hertraining achterblijft, de werkelijke verschuiving in de voorspelling van het model, en de algehele gezondheid van het model. Deze aanpak zorgt ervoor dat wanneer een systeem wordt gevraagd te vergeten, we precies weten wat het heeft losgelaten en wat het heeft behouden, geworteld in de realiteit van de data in plaats van in een vaag begrip van privacy.

Technische Samenvatting: Bounding Retraining Equivalence en de Deletion Floor in Materials Machine Unlearning

1. Probleemstelling

In machine learning voor materiaalkunde mappen datasets chemische composities en kristalstructuren naar thermodynamische doelen (bijv. vormingsenergie). Een fundamentele uitdaging ontstaat omdat nauw verwante behouden structuren (door ionische substituties die kristalroosters behouden) accurate eigenschapsvoorspellingen kunnen ondersteunen, zelfs nadat een specifiek record is verwijderd. Bijgevolg worden standaard metrieken voor voorspellingsfouten na verwijdering ambigu; een model kan lijken te "vergeten" dat een record heeft simpelweg omdat gerelateerde records in de dataset het model in staat stellen om de doelwaarde accuraat te voorspellen via hertraining.

Huidige evaluatieframeworks vertrouwen vaak op het vergelijken van bijgewerkte modellen met referenties die zijn getraind zonder de verwijderde records. Echter, zonder vast te stellen wat exacte hertraining zelf zou voorspellen voor een verwijderd doel, kan voortgezette voorspellingsnauwkeurigheid na verwijdering niet dienen als een definitief signaal voor unlearning-prestaties. Bovendien conflicteren eenvoudige nauwkeurigheidsverschillen vaak met distributiegebaseerde forgetting scores, en kunnen membership inference attacks de privacygaranties overschatten. Het kernprobleem is het onderscheiden tussen de verwijdering van de specifieke bijdrage van een record en de eliminatie van het bredere fysieke gedrag dat door dat record wordt gerepresenteerd.

2. Methodologie

De Deletion Floor en Retraining Equivalence

De auteurs definiëren de deletion floor ( $\Phi$ ) als de verwachte target loss onder een gespecificeerde hertrainingsprocedure bij het verwijderde verzoek. Dit dient als een baselinerelatie voor wat exacte hertraining inherent voorspelt voor een verwijderd doel.

Om updates te evalueren die beperkt zijn door retraining equivalence, gebruikt het artikel symmetrische $(\epsilon, \delta)$ retraining equivalence, waarbij vereist wordt dat de outputdistributie van een update-algoritme ( $P$ ) statistisch ononderscheidbaar is van de hertrainde distributie ( $Q$ ).

Sharp Bounded-Loss Transfer (Theorem 1): De auteurs leiden een scherp interval af dat de verwachte target loss van een update relatief aan de deletion floor begrenst. Dit interval hangt af van de equivalence-parameters $(\epsilon, \delta)$ en de loss-bound $B$ . Naarmate $(\epsilon, \delta) \to (0,0)$ , convergeren de bounds naar de deletion floor $\Phi$ .
Target-Suppression Thresholds: Het artikel stelt noodzakelijke voorwaarden (Vergelijking 1) vast voor een unlearning-doelstelling die de target error verhoogt naar een specifieke drempel $\tau$ terwijl de equivalence behouden blijft, waarbij de vereiste "equivalence budget" wordt gekwantificeerd.

Mechanismen van Behoud van Voorspelbaarheid

Het artikel onderzoekt waarom hertraining vaak verwijderde doelen voorspelbaar laat:

Conditional Neighbor Bound: De auteurs bewijzen dat als een behouden buur nauwkeurig past, voorspellingen vloeiend variëren en labels overeenkomen, het behouden voorbeeld de voorspellingsfout op het verwijderde doel beperkt. Dit koppelt de deletion floor direct aan behouden structurele ondersteuning, lokale labelovereenkomst en voorspellingsregulariteit.
FloorScore: Een empirische diagnostische methode wordt geconstrueerd als een request-niveau surrogaat voor de theoretische bound, die de floor schat op basis van de fit en de variatie in voorspelling van de dichtstbijzijnde behouden buur.

Exacte Ridge Decompositie

Met behulp van ridge regressie leiden de auteurs een exacte ridge identiteit af die de residuele model-fit ontkoppelt van de verwijderings-geïnduceerde voorspellingsveranderingen.

Retraining Residuals: Een exacte closed-form expressie (Vergelijking 4) berekent het retrained residu en de deletion floor met behulp van de Sherman-Morrison identiteit. Dit onthult dat de hertraining-error wordt beheerst door het aangepaste volledige-data residu en de leverage van het verwijderde punt.
Prediction Change: De totale voorspellingsverandering bij verwijdering wordt gedecomposeerd in een "penalty rescaling" component en een "removing the row" component (Vergelijking 5). Dit demonstreert dat een zeer accurate model-fit nog steeds een sterke voorspellingsgevoeligheid kan vertonen bij het verwijderen van een record.

Experimenteel Protocol

De studie maakt gebruik van 44.344 kristalstructuren van de Materials Project (MP) en synthetische datasets met gecontroleerde redundantie.

Metrieken: Het protocol volgt de gekwadrateerde target loss relatief aan de retraining floor, genormaliseerde error ratio's en voorspellingsveranderingen (getekende residuen) tussen de originele, de retrained en de bijgewerkte modellen.
Vergelijkingen: De studie vergelijkt benaderde updates (bijv. NegGrad+, SCRUB-stijl, Newton-stijl, gradient ascent) met exacte hertraining en een ongeëditeerde "no-update" controle.

3. Belangrijkste Bijdragen

Afleiding van een Request-Level Referentie-interval: Het artikel formuleert een scherp bounded-loss interval dat precies identificeert welke target losses compatibel zijn met benaderde retraining equivalence, waarbij men verder gaat dan scalaire overeenstemming naar distributionele restricties.
Theoretisch Mechanisme voor Behoud van Voorspelbaarheid: Het bewijst een conditional neighbor bound die de deletion floor koppelt aan behouden ondersteuning en leidt een exacte ridge decompositie af die residuele fit scheidt van verwijderings-geïnduceerde sensitiviteit.
Robuust Evaluatieprotocol: De auteurs stellen een protocol voor dat vereist dat de referentie-loss (deletion floor), de voorspellingsverandering en de behouden model-utility onafhankelijk worden gerapporteerd. Ze demonstreren dat deze metrieken verschillende eigenschappen meten en dat post-verwijdering nauwkeurigheid geïnterpreteerd moet worden tegen wat de hertraining zelf achterlaat.

4. Resultaten

Impact van Redundantie: In gecontroleerde synthetische sweeps resulteert de overgang van een dataset waar een verwijderd record het enige familielid is ( $k=1$ ) naar een dataset waar een behouden relatieve bestaat ( $k=2$ ), in een ongeveer 8× daling van de mediane genormaliseerde retraining loss. Dit bevestigt dat behouden relatieveven accurate voorspellingen kunnen ondersteunen, zelfs na exacte hertraining.
Afhankelijkheid van Fitting Regime: In de Materials Project studie toonden twee verschillende ridge regimes (2.048 features versus 8.192 features) aan dat de deletion floor systematisch varieert met modelcapaciteit en regularisatie. Het regime met hogere capaciteit bereikte lagere retraining floors (betere nauwkeurigheid) maar vertoonde grotere voorspellingsveranderingen bij verwijdering.
Ontkoppeling van Nauwkeurigheid en Sensitiviteit: Op een gedeelde set van 200 requests bereikte het model met hogere capaciteit een lagere retraining floor op 132 requests, terwijl het een grotere voorspellingsverandering vertoonde op 172 requests. Dit bevestigt dat hogere post-verwijdering nauwkeurigheid niet impliceert dat de verwijderingssensitiviteit lager is.
Benaderde Updates versus Utility: Systematische vergelijkingen toonden aan dat hoewel sommige updates (bijv. NegGrad+, Gradient Ascent) succesvol de target loss verhoogden (suppressie), ze vaak de algehele model-utility verslechterden (verhoogde test MSE). Daarentegen bleven methoden zoals retain fine-tuning en Newton-stijl updates nabij de "no-update" controle wat betres utility, wat benadrukt dat target suppressie alleen niet duidt op succesvolle unlearning zonder de referentie-overeenstemming en utility te overwegen.

5. Betekenis en Claims

Het artikel claimt dat de deletion floor een expliciete baseline vormt voor het evalueren van regressie unlearning, waarbij de residuele target error wordt gemeten die overblijft na exacte hertraining. De auteurs stellen dat:

Ambiguïteit Resolutie: Voortgezette post-verwijdering nauwkeurigheid is een ambigue signaal tenzij het geïnterpreteerd wordt relatief aan de deletion floor. Als de hertraining zelf het doel accuraat voorspelt vanwege behouden structurele ondersteuning, dan is een update die die nauwkeurigheid evenaart niet noodzakelijkerwijs een "falen" om te vergeten; het komt overeen met de hertraining-referentie.
Standaardisatie van Evaluatie: Het standaardiseren van unlearning-evaluatie vereist het gezamenlijk rapporteren van hertraining-voorspellingen, de verschuiving bij recordverwijdering en de behouden model-utility. Het artikel benadrukt dat het bewijzen van formele retraining equivalence vereist dat men verder gaat dan scalaire punt-overeenstemming naar distributionele certificering.
Scope Beperking: De auteurs geven bescheiden aan dat hun bevindingen een specifieke experimentele en theoretische scope reflecteren (bijv. specifieke fitting regimes, ridge leverage). Zij onderscheiden hun werk van bredere doelstellingen zoals "bredere gedragsverwijdering" of "distributionele unlearning", waarbij zij opmerken dat hun protocol transparante verantwoording biedt voor request-level unlearning, maar dat bredere kennisverwijdering een apart doel is dat uitgebreidere frameworks vereist.

Het werk concludeert dat request-level unlearning evaluaties de post-verwijdering nauwkeurigheid moeten interpreteren tegen de "deletion floor" om de bewuste target suppressie te ontkoppelen van de behouden algemene model-utility.