🤖 machine learning

Forgettable Federated Linear Learning with Certified Data Unlearning

Dit artikel introduceert Vergetelijke Federatieve Lineaire Leer, een raamwerk dat diepe neurale netwerken benadert met lineaire modellen om gecertificeerd, efficiënt en veilig federatief vergeten mogelijk te maken zonder extra clientcommunicatie of opslag van historische modellen.

Oorspronkelijke auteurs: Ruinan Jin, Minghui Chen, Qiong Zhang, Xiaoxiao Li

Gepubliceerd 2026-05-26

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ruinan Jin, Minghui Chen, Qiong Zhang, Xiaoxiao Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat jij en een groep vrienden een gigantische, gezamenlijke puzzel bouwen om een mysterie op te lossen. Dit is Federated Learning (FL). In plaats dat iedereen hun puzzelstukken naar een centrale tafel stuurt (wat een nachtmerrie voor privacy zou zijn), houdt iedereen hun stukken thuis. Ze sturen alleen de instructies over hoe hun stukken passen naar een centrale leider. De leider combineert deze instructies om een beter beeld te maken, en stuurt de bijgewerkte instructies vervolgens terug. Iedereen leert samen zonder ooit hun privé-stukken te tonen.

Maar wat gebeurt er als een vriend een vergiftigd stuk meebrengt? Misschien hebben ze in het geheim een verborgen symbool op hun stuk geschilderd dat het hele puzzelbeeld verkeerd laat lijken zodra dat symbool verschijnt. Of misschien wil die vriend gewoon de groep verlaten en hun stuk volledig laten wissen uit het eindbeeld (het "Recht om vergeten te worden").

Hier komt Federated Unlearning (FU) in beeld. Het is het proces om de bijdrage van een vriend te verwijderen zonder het hele puzzelbeeld weg te gooien en opnieuw te beginnen.

Het probleem met huidige methoden

Op dit moment is het proberen om de bijdrage van een vriend te verwijderen een nachtmerrie:

De "Opnieuw" methode: Je kunt iedereen vragen het puzzelbeeld vanaf nul opnieuw te bouwen zonder die ene vriend. Dit kost eeuwen en veel energie (rekenkracht).
De "Vraag de vriend" methode: Sommige methoden vragen de vriend die weg wil, om extra berekeningen op hun eigen computer uit te voeren en deze terug te sturen. Maar wat als die vriend degene is die het puzzelbeeld heeft vergiftigd? Ze kunnen liegen of weigeren mee te werken.
De "Voorraad" methode: Sommige methoden vereisen dat de leider een kopie bewaart van elke enkele versie van het puzzelbeeld zoals het stap voor stap is opgebouwd. Dit vult de opslagruimte direct vol.

De nieuwe oplossing: F2L2

De auteurs van dit artikel stellen een slimme nieuwe manier voor genaamd Forgettable Federated Linear Learning (F2L2). Ze gebruiken twee hoofdtrekkers om unlearning makkelijk, snel en veilig te maken.

Trekkers 1: De "Lineaire Schets" (Federated Lineaire Training)

Diepe neurale netwerken (de complexe AI-modellen die vandaag de dag worden gebruikt) zijn als ingewikkeld verwarde knopen. Het ontwarren van één specifiek draadje (het verwijderen van de data van één persoon) is bijna onmogelijk zonder de hele knoop te ontwarren.

De eerste trekkers van de auteurs is om te stoppen met proberen de knoop te ontwarren. In plaats daarvan gebruiken ze een voorgetraind model (een model dat al is getraind op publieke data) als startpunt. Ze behandelen het complexe model vervolgens als een rechte lijn (een "lineaire benadering") rond dat startpunt.

De Analogie: Stel je voor dat je een complex berglandschap tekent. Het is moeilijk om slechts één heuvel uit te wissen. Maar als je heel dicht bij de top inzoomt, lijkt de berg op een eenvoudige, rechte helling. Als je een specifiek deel van die helling wilt verwijderen, kun je gewoon een eenvoudige wiskundige aanpassing berekenen. Je hoeft het hele berglandschap niet opnieuw te tekenen; je past alleen de hoek van de helling aan.

Deze "lineaire helling" is wiskundig makkelijk om mee te werken. Het verandert een rommelig, complex probleem in een eenvoudig probleem waarbij je gewoon een snelle berekening kunt doen om de data van iemand te verwijderen.

Trekkers 2: De "Magische Gum" (FedRemoval)

Zodra het model als een eenvoudige "helling" wordt behandeld, kan de server (de leider) een Newton-stap uitvoeren.

De Analogie: Denk aan het model als een bal die in een dal ligt. De positie van de bal vertegenwoordigt het eindmodel. Als je de data van een vriend wilt verwijderen, hoef je niet te vragen om de bal te duwen of naar oude foto's van de bal te kijken. Je hoeft alleen te weten hoe hard ze de bal in eerste instantie hebben geduwd (hun eindgradiënt, die ze al tijdens de training hebben verzonden).
De server neemt die "duw"-informatie en berekent precies hoe de bal terug moet worden bewogen naar waar hij zou zijn geweest als die vriend hem nooit had geduwd. Het is als een magische gum die direct aan de serverkant werkt.

Waarom dit een groot nieuws is

Het artikel beweert dat deze nieuwe methode, F2L2, de drie grootste hoofdpijndrukken van huidige unlearning oplost:

Geen "Vraag de vriend" nodig: De server doet al het werk. Het hoeft de persoon die weggaat niet te contacteren, zelfs niet als ze kwaadaardig of offline zijn.
Geen "Voorraad" nodig: De server hoeft geen versie van het model op te slaan. Het heeft alleen de laatste wiskunde van de training nodig. Dit bespaart enorme hoeveelheden geheugen.
Het is gecertificeerd: De auteurs hebben niet alleen geraden dat dit werkt; ze hebben het bewezen met wiskunde. Ze hebben aangetoond dat het resultaat van hun "Magische Gum" bijna identiek is aan wat je zou krijgen als je het hele puzzelbeeld weg zou gooien en opnieuw zou bouwen zonder die vriend.

De resultaten

Het team testte dit op alles, van eenvoudige cijferherkenning (MNIST) tot complexe beeldherkenning (zoals het identificeren van bloemen of auto's). Ze testten het zelfs op "Foundation Modellen" (de enorme, krachtige AI-modellen waar iedereen momenteel over praat).

De uitkomst: In elke test slaagde F2L2 erin om de "vergiftigde" data (de backdoor-aanvallen) te verwijderen, zodat het model stopte met verkeerd gedrag.
De afweging: Cruciaal is dat het verwijderen van de slechte data de vaardigheid van het model om zijn werk te doen niet verpestte. Het model bleef net zo slim als voorheen, maar zonder de slechte invloed.

Samenvatting

Kortom, dit artikel introduceert een manier om te vergeten in een groep AI-omgeving die:

Snel is: Geen behoefte om het hele model opnieuw te trainen.
Veilig is: Vertrouwt niet op de medewerking van de persoon die weggaat.
Efficiënt is: Vereist geen opslag van terabytes aan oude data.
Bewezen is: Wiskundig gegarandeerd om bijna net zo goed te werken als opnieuw beginnen.

Het verandert de onmogelijke taak van "een specifiek geheugen uit een complexe AI wissen" in een eenvoudige, één-staps berekening aan de serverkant.

Technische Samenvatting: Vergeetbare Federale Lineaire Lering met Gecertificeerde Data-Verwijdering (F2L2)

Probleemstelling
Federated Learning (FL) maakt collaboratieve modeltraining mogelijk terwijl het gegevensprivacy behoudt, maar het staat voor aanzienlijke uitdagingen met betrekking tot het "recht om vergeten te worden" en het verwijderen van kwaadaardige bijdragen (bijvoorbeeld vergiftigde data van backdoor-aanvallen). Bestaande methoden voor Federale Verwijdering (FU) lijden onder kritieke beperkingen die de adoptie in de praktijk belemmeren:

Client-afhankelijkheid: Veel methoden vereisen de samenwerking van ofwel behouden clients (voor hertraining of fine-tuning) of doelclients (voor gradiëntascentie of aangepaste optimalisatie), wat communicatie-overhead en veiligheidsrisico's introduceert als clients kwaadaardig of niet-beschikbaar zijn.
Opslaginefficiëntie: Benaderingen zoals FedEraser vereisen het opslaan van alle historische globale modellen, wat prohibitieve geheugenkosten met zich meebrengt voor grootschalige Deep Neural Networks (DNN's).
Gebrek aan Certificering: Vanwege de nonlineariteit van DNN's ontberen de meeste bestaande FU-methoden theoretische garanties dat het verwijderde model niet te onderscheiden is van een model dat vanaf nul is hergetraind.

De kernvraag van het onderzoek is: Hoe kunnen we een praktische FU-framework ontwerpen dat gecertificeerde verwijdering garandeert zonder samenwerking van behouden clients, deelname van doelclients of opslag van historische modellen?

Methodologie: Het F2L2-framework
De auteurs stellen Forgettable Federated Linear Learning (F2L2) voor, een framework dat een nieuw trainingsproces integreert met een verwijderingsmechanisme aan de serverzijde.

Federale Lineaire Training (FLT):
- Linearisatie: Geïnspireerd door de Neural Tangent Kernel (NTK) en diens uitbreidingen tot voorgeïntegreerde modellen, benadert FLT een DNN lineair rond een voorgeïntegreerd gewichtsvector $w_p^*$ . De modelfunctie wordt benaderd als $f(x; w) \approx f(x; w_p^*) + \langle \nabla_w f(x; w_p^*), w - w_p^* \rangle$ .
- Kwadratisch Verlies: Deze linearisatie transformeert de verliesfunctie naar een kwadratische vorm (Mean Squared Error), waardoor convexiteit wordt gewaarborgd.
- Trainingsproces: De server initialiseert het model met een voorgeïntegreerd fundamenteel model (FM) of een model getraind op een klein, vertrouwd publiek dataset ( $D_p$ ). Clients voeren vervolgens standaard Federated Averaging (FedAvg)-updates uit op dit gelineariseerde model. Cruciaal blijven de parameters van de voorgeïntegreerde encoder vast (in het geval van FMs), en worden alleen de gewichten van de lineaire laag bijgewerkt.
FedRemoval (Gecertificeerde Verwijdering):
- Newton-stap: Omdat het verlies kwadratisch is, kunnen de optimale gewichten na het verwijderen van de data van een doelclient ( $D_c$ ) worden berekend via een gesloten-formule Newton-stap: $w^- = w^* - [\nabla^2 L(w^*; D_-)]^{-1} \nabla L(w^*; D_-)$ .
- Uitvoering aan de serverzijde: Om de rekenkosten van het inverteren van de Hessiaan over het gedistribueerde resterende dataset ( $D_-$ ) te vermijden, benadert FedRemoval de Hessiaan met behulp van het voorgeïntegreerde dataset $D_p$ (dat op de server beschikbaar is).
- Efficiëntie: Het verwijderingsproces vereist alleen de laatste gradiënten van de doelclient (reeds gedeeld tijdens training) en de lokale data van de server. Het behelst nul extra communicatie met clients en nul opslag van historische modellen. De update wordt volledig op de server berekend.

Belangrijkste Bijdragen

Nieuw Framework: F2L2 is de eerste federale verwijderingsoplossing die gedistribueerde gemengd-lineaire training (FLT) combineert met een puur serverzijdig verwijderingsmechanisme (FedRemoval). Het elimineert de behoefte aan client-samenwerking tijdens verwijdering en opslag van historische modellen.
Gecertificeerde Garanties: De auteurs leiden een theoretische bovengrens af voor de $L_2$ -norm-discrepantie tussen de gewichten verkregen via FedRemoval en die verkregen door volledige hertraining. Dit biedt een rigoureuze certificering dat het verwijderingsproces effectief is.
Uitgebreide Evaluatie: Uitgebreide experimenten zijn uitgevoerd op zes datasets (MNIST, FashionMNIST, CIFAR10, ImageNet, DomainNet, Flowers) en vier modelarchitecturen, inclusief fundamentele modellen (CLIP, BLIP2) met lineaire probing.

Experimentele Resultaten

Effectiviteit van Verwijdering: F2L2 verwijdert backdoor-aanvallen succesvol, waardoor het Backdoor Success Rate (BSR) wordt verlaagd tot niveaus vergelijkbaar met raden (bijv. ~5-10% op verschillende datasets), terwijl de Test Accuracy (TA) dicht bij de hergetrainde grondwaarheid blijft.
Vergelijking met Baselines: F2L2 presteert beter dan bestaande baselines (FedEraser, EWSGA, SGA, Flipping, CF, enz.) door een betere afweging te bereiken tussen TA en BSR. In tegenstelling tot baselines die vaak extra communicatie of opslag vereisen, bereikt F2L2 prestaties dicht bij de grondwaarheid met nul extra overhead.
Fundamentele Modellen: De methode is effectief wanneer toegepast op grootschalige fundamentele modellen (bijv. CLIP op ImageNet/DomainNet), waarbij een hoge TA (~90-95%) wordt behouden terwijl vergiftigde clients effectief worden verwijderd.
Schaalbaarheid en Stabiliteit: De methode blijft stabiel over variërende aantallen clients (5 tot 20) en verschillende data-heterogeniteitsinstellingen (Non-IID-verdelingen), hoewel BSR licht toeneemt bij hogere heterogeniteit, maar dicht bij niveaus van raden blijft.
Efficiëntie: De Hessiaan-benadering vermindert de rekenkosten (FLOPs) aanzienlijk en elimineert communicatie-overhead tijdens de verwijderingsfase.

Betekenis en Claims
Het artikel beweert dat F2L2 een veelbelovend proces voorstelt voor efficiënte en betrouwbare Federale Verwijdering. Door gebruik te maken van de wiskundige eigenschappen van gelineariseerde modellen rond voorgeïntegreerde gewichten, tonen de auteurs aan dat het mogelijk is om gecertificeerde verwijdering te bereiken zonder de traditionele afwegingen van communicatie-overhead, client-samenwerking of enorme opslageisen. Het werk suggereert dat lineaire benaderingen van DNN's, met name in de context van fundamentele modellen, een levensvatbaar pad bieden naar schaalbare en veilige federale systemen die gebruikersprivacy-rechten kunnen respecteren en beveiligingsbedreigingen zoals backdoor-aanvallen kunnen mitigeren.

De auteurs merken op dat hoewel de lineaire benadering effectief is, het uitbreiden van het framework naar bredere FL-instellingen buiten classificatie, generatieve taken of sterk niet-lineaire regimes een richting blijft voor toekomstig onderzoek.