🤖 machine learning

Rethinking Federated Unlearning via the Lens of Memorization

Dieser Artikel stellt Federated Memorization Pruning (FedMemPrune) vor, einen neuartigen Ansatz für das federierte Vergessen, der eine neue Metrik zur gruppierten Auswertung des Auswendiglernens nutzt, um einzigartige auswendig gelernte Informationen zu unterscheiden und zu entfernen, während überlappende Muster erhalten bleiben, wodurch ein effektives Vergessen erreicht wird, ohne die Nützlichkeit des Modells zu beeinträchtigen.

Ursprüngliche Autoren: Jiaheng Wei, Yanjun Zhang, He Zhang, Leo Yu Zhang, Chao Chen, Kok-Leong Ong, Jun Zhang, Yang Xiang

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jiaheng Wei, Yanjun Zhang, He Zhang, Leo Yu Zhang, Chao Chen, Kok-Leong Ong, Jun Zhang, Yang Xiang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Recht auf Vergessenwerden" in einer Gruppenchat

Stellen Sie sich eine Gruppe von Freunden (Clients) vor, die gemeinsam einen einzigen, superschlauen Lernleitfaden (ein maschinelles Lernmodell) erstellen möchten. Sie können ihre privaten Notizen nicht teilen, da diese zu persönlich sind, und geben daher stattdessen nur ihre „Aha!"-Momente und Zusammenfassungen (Modell-Updates) an einen zentralen Lehrer (den Server) weiter. Dies ist Federated Learning.

Aber was passiert, wenn sich ein Freund, nennen wir ihn „Alex", entscheidet, die Gruppe zu verlassen und verlangt, dass der Lernleitfaden alles, was Alex jemals beigetragen hat, vergisst? Dies ist Federated Unlearning.

Das Gesetz (wie die DSGVO) besagt, dass Alex ein „Recht auf Vergessenwerden" hat. Der einfache Weg, dies zu tun, besteht darin, den gesamten Lernleitfaden wegzuwerfen und mit den verbleibenden Freunden ganz von vorne zu beginnen. Das dauert jedoch ewig und kostet viel Energie. Das Papier argumentiert, dass die aktuellen „Quick-Fix"-Methoden tatsächlich Fehler machen.

Das Problem: Das Kind mit dem Bad ausschütten

Die Autoren argumentieren, dass bestehende Methoden zu aggressiv sind. Sie versuchen, alles im Zusammenhang mit Alex zu löschen, sogar Dinge, die Alex gelernt hat, die aber eigentlich von allen anderen geteilt wurden.

Die Analogie:
Stellen Sie sich vor, die Gruppe lernt, einen Kuchen zu backen.

Geteiltes Wissen: Alle sind sich einig, dass man Mehl und Eier benötigt. Dies ist allgemeines Wissen.
Alex' einzigartiges Gedächtnis: Alex hat einen spezifischen, seltsamen Trick zum Aufschlagen von Eiern, den niemand sonst verwendet. Dies ist „Auswendiglernen" (Memorization).

Wenn Alex geht, versuchen die aktuellen Methoden, alle Kenntnisse über Eier zu entfernen, sogar die Tatsache, dass man sie benötigt. Das schadet den verbleibenden Freunden, da sie immer noch Eier brauchen, um den Kuchen zu backen. Das Modell wird für alle anderen schlechter beim Backen.

Das Papier fragt: Sollten wir das geteilte Wissen nur entfernen, weil Alex weg ist? Die Antwort ist Nein. Wir sollten nur Alex' einzigartige Tricks (Memorization) entfernen, während wir die gemeinsamen Regeln (überlappende Informationen) beibehalten.

Die Lösung: „Memorization Pruning" (FedMemPrune)

Die Autoren schlagen eine neue Methode namens FedMemPrune vor. Stellen Sie sich dies als einen intelligenten Redakteur für den Lernleitfaden vor.

Anstatt ganze Seiten zu löschen, sucht der Redakteur nach den spezifischen Sätzen, die nur Alex geschrieben hat, und löscht nur diese.

Wie es funktioniert (Die drei Schritte):

Finden der „redundanten" Notizen:
Das System betrachtet die Notizen der verbleibenden Freunde. Es fragt: „Welche Teile des Lernleitfadens werden von den verbleibenden Freunden nicht genutzt oder aktualisiert?"
- Analogie: Wenn die verbleibenden Freunde alle über „Mehl" schreiben, aber ein Absatz nur über „Alex' seltsamen Eiertrick" handelt, ist dieser Absatz für die Gruppe „redundant". Es ist wahrscheinlich, dass dort Alex' einzigartiges Gedächtnis lebt.
Zurücksetzen des Gedächtnisses:
Das System nimmt diese spezifischen „redundanten" Teile des Lernleitfadens und wischt sie sauber (initialisiert sie neu). Es löscht sie nicht einfach; es setzt sie auf einen leeren Zustand zurück, wie das Auswischen einer Whiteboard.
Feinabstimmung:
Die verbleibenden Freunde überprüfen den Leitfaden schnell gemeinsam, um sicherzustellen, dass die Abschnitte „Mehl" und „Eier" immer noch perfekt sind. Da das geteilte Wissen nie berührt wurde, bleibt der Leitfaden für alle anderen hervorragend.

Warum dies besser ist

Das Papier testete dies gegen andere Methoden und fand drei große Vorteile:

Besseres „Vergessen": Es entfernt Alex' einzigartige Tricks tatsächlich besser als andere Methoden.
Besseres „Erinnern": Es bewahrt das geteilte Wissen der Gruppe, sodass der Lernleitfaden für die anderen Freunde nicht schlechter wird.
Fairness: Es behandelt die verbleibenden Freunde gleich. Einige Methoden verletzen versehentlich die Freunde, die die ähnlichsten Notizen zu Alex hatten, aber diese Methode schützt sie.
Geschwindigkeit: Es ist viel schneller als das Neustarten von Grund auf (Neu-Training) und spart etwa 50 % der Zeit.

Der „Gruppiertes Auswendiglernen"-Scorecard

Die Autoren erkannten auch, dass wir einen besseren Weg benötigen, um zu prüfen, ob das Vergessen funktioniert hat. Man kann nicht nur auf die Endnote schauen; man muss spezifische Fragen prüfen.

Sie schufen einen neuen Test namens Grouped Memorization Evaluation.

Sie nehmen die Fragen, die Alex gestellt wurden, und sortieren sie danach, wie „einzigartig" oder „auswendig gelernt" sie waren.
Sie prüfen, ob der neue Lernleitfaden bei den einzigartigen Fragen versagt (gut!) aber immer noch bei den gemeinsamen Fragen besteht (auch gut!).
Dies beweist, dass das System nicht nur rät; es vergisst spezifisch die richtigen Dinge.

Zusammenfassung

Kurz gesagt sagt dieses Papier: Seien Sie kein Brute, wenn Sie etwas vergessen müssen.

Wenn Sie den Beitrag einer Person aus einem Gruppenprojekt entfernen möchten, verbrennen Sie nicht das ganze Projekt. Identifizieren Sie stattdessen die spezifischen, einzigartigen Teile, die nur diese Person kannte, löschen Sie diese und lassen Sie den Rest des Teams die gemeinsamen Teile polieren. Dies hält das Projekt stark, fair und schnell.

Technische Zusammenfassung: Neukonzeption des Federated Unlearning unter dem Aspekt der Memorization

Problemstellung
Federated Learning (FL) wird zunehmend gefordert, maschinelles Unlearning zu unterstützen, um Datenschutzvorschriften wie der DSGVO und der CCPA (dem „Recht auf Vergessenwerden") nachzukommen. Während das vollständige Neutraining eines Modells nach dem Entfernen der Daten eines Clients der Goldstandard für Unlearning ist, verursacht dies prohibitiv hohe Rechen- und Kommunikationskosten. Bestehende Ansätze für federiertes Unlearning (FU) versuchen, dieses Neutraining durch Störung von Repräsentationen, Nutzung historischer Updates oder Anwendung von Gradientenanstieg zu approximieren. Die Autoren argumentieren jedoch, dass diese Methoden oft die kritische Unterscheidung zwischen überlappenden Informationen (gemeinsame generalisierbare Muster zwischen dem zu entfernenden Client und den verbleibenden Clients) und einzigartiger Memorization-Information (clientspezifische Details) übersehen. Aktuelle Algorithmen versuchen häufig, den Einfluss des gesamten zu entfernenden Datensatzes zu eliminieren, wodurch unbeabsichtigt auch überlappende Muster entfernt werden. Dies führt zu ineffektivem Unlearning (das Versäumnis, spezifisch memorisierte Daten zu entfernen) und zu Ungerechtigkeit (eine unverhältnismäßige Verschlechterung der Leistung verbleibender Clients, die ähnliche Muster mit dem zu entfernenden Client teilen).

Methodik
Die Arbeit schlägt einen Rahmen vor, der auf Informationstheorie und dem Konzept der Memorization basiert, was zur Entwicklung von Federated Memorization Pruning (FedMemPrune) führt.

Theoretische Grundlage (Informationsdekomposition):
Die Autoren formalisieren Unlearning mittels Partial Information Decomposition. Sie definieren die Information, die ein Modell aus der Vereinigung von zu entfernenden Daten ( $D_u$ ) und verbleibenden Daten ( $D_r$ ) lernt, als bestehend aus:
- Synergetische Information: Gemeinsam bereitgestellt durch $D_u$ und $D_r$ .
- Redundante/Überlappende Information ( $F_g$ ): Geteilt zwischen $D_u$ und $D_r$ .
- Einzigartige/Memorization-Information ( $F_m$ ): Spezifisch für $D_u$ .
Die Autoren argumentieren, dass die synergetische Komponente in allgemeinen Unlearning-Szenarien vernachlässigbar ist. Daher sollte das Ziel des Unlearnings nicht darin bestehen, alle Informationen aus $D_u$ zu löschen, sondern spezifisch die einzigartige Memorization-Information ( $F_m$ ) zu entfernen, während die überlappende Information ( $F_g$ ) erhalten bleibt. Das Entfernen von $F_g$ schadet der Generalisierung und der Fairness, während das Entfernen von $F_m$ das gewünschte „Vergessen" erreicht, ohne die Nutzbarkeit zu beeinträchtigen.
Bewertungsmetrik: Grouped Memorization Evaluation (GME):
Um das Fehlen feinabgestufter Bewertungsmetriken zu adressieren, führen die Autoren GME ein. Diese Metrik berechnet einen Memorization-Score für jedes Beispiel im zu entfernenden Datensatz, definiert als die Differenz der Wahrscheinlichkeit korrekter Klassifizierung zwischen einem auf $D_u \cup D_r$ trainierten Modell und einem nur auf $D_r$ trainierten Modell. Beispiele werden dann nach diesen Scores gruppiert (z. B. hoch-memorisiert vs. niedrig-memorisiert). Die Wirksamkeit des Unlearnings wird gemessen daran, wie stark die Leistung des ungelernnten Modells in diesen Untergruppen mit dem neu trainierten Baseline-Modell übereinstimmt, wobei speziell die Entfernung hoch-memorisierter Beispiele angestrebt wird.
Algorithmus: FedMemPrune:
FedMemPrune ist ein dreistufiger, auf Pruning basierender Ansatz:
- Stufe 1 (Lokalisierung von Memorization-Parametern): Der Algorithmus identifiziert redundante Parameter im globalen Modell. Diese werden als Parameter definiert, die minimale Gradienten-Updates von den verbleibenden Clients ( $D_r$ ) erhalten. Die Hypothese besagt, dass Parameter, die für $D_r$ kritisch sind, überlappendes/generalisierbares Wissen kodieren, während redundante Parameter die einzigartige Memorization kodieren, die spezifisch für $D_u$ ist.
- Stufe 2 (Reset): Die identifizierten redundanten Parameter werden unter Verwendung der ursprünglichen Initialisierungsstrategie (z. B. Kaiming Uniform) neu initialisiert, wodurch die memorisierte Information effektiv gelöscht wird.
- Stufe 3 (Fine-Tuning): Das Modell wird auf den verbleibenden Clients ( $D_r$ ) feinabgestimmt, um die Generalisierungsleistung wiederherzustellen und die überlappenden Repräsentationen neu aufzubauen.

Hauptbeiträge

Konzeptioneller Wandel: Die Arbeit definiert federiertes Unlearning neu als Prozess der Entfernung clientspezifischer Memorization anstatt der Löschung aller Dateneinflüsse und argumentiert, dass überlappende Informationen erhalten bleiben sollten, um die Modellnutzbarkeit und Fairness zu gewährleisten.
Neuartige Metrik: Die Einführung der Grouped Memorization Evaluation (GME), die eine Bewertung der Unlearning-Wirksamkeit auf Ebene einzelner Beispiele ermöglicht und zwischen dem Vergessen memorisierter Tail-Daten und der Bewahrung generalisierbarer Head-Daten unterscheidet.
Vorgeschlagener Algorithmus: Die Entwicklung von FedMemPrune, das Parameterredundanz relativ zu verbleibenden Daten nutzt, um Memorization-Information selektiv zu beschneiden.

Experimentelle Ergebnisse
Umfangreiche Experimente wurden auf CIFAR-10, CIFAR-100 und EMNIST unter sowohl IID- als auch Non-IID-Bedingungen durchgeführt, wobei FedMemPrune mit Baselines wie Halimi et al. (Gradientenanstieg), Liu et al. (Fisher-Information-Matrix), FedRecovery, FedAU, FedOSD und NoT verglichen wurde.

Unlearning-Wirksamkeit: FedMemPrune entspricht in der Leistung eng dem neu trainierten Baseline-Modell, insbesondere innerhalb hoch-memorisierter Untergruppen. Beispielsweise erzielte die Methode auf CIFAR-100 (Non-IID) Klassifizierungsgenauigkeiten in hoch-memorisierten Gruppen (z. B. 27,25 % vs. 21,74 % für die Baseline), die dem neu trainierten Modell deutlich näher kamen als andere Baselines, die oft versagten, hoch-memorisierte Daten zu vergessen, oder zu stark vergaßen.
Generalisierungsleistung: Durch die Bewahrung überlappender Informationen behält FedMemPrune eine hohe Testgenauigkeit auf dem verbleibenden Datensatz bei und übertrifft oft andere Unlearning-Baselines, wobei es sich dem neu trainierten Baseline-Modell annähert (z. B. 63,33 % auf CIFAR-100 IID).
Fairness: Die Methode zeigt überlegene lokale Fairness und minimiert die Varianz der Leistungsänderungen über die verbleibenden Clients hinweg. Dies bestätigt, dass die Bewahrung überlappender Informationen eine unverhältnismäßige Verschlechterung für Clients verhindert, die Daten mit dem zu entfernenden Client teilen.
Effizienz: FedMemPrune erreicht die Zielperformance in etwa 50 % weniger Zeit im Vergleich zum vollständigen Neutraining, da es die Notwendigkeit vermeidet, das gesamte Modell von Grund auf neu zu trainieren.

Bedeutung und Behauptungen
Die Autoren behaupten, dass ihre Arbeit sowohl theoretische Erkenntnisse als auch praktische Strategien zur Stärkung des federierten Unlearnings liefert. Durch die Unterscheidung zwischen Memorization und überlappenden Informationen argumentieren sie, dass effektives Unlearning nur die erstere Zielgruppe haben sollte. Die Arbeit stellt fest, dass FedMemPrune erfolgreich robustes und effizientes Unlearning erreicht, ohne die Nutzbarkeit des erhaltenen Wissens oder die Fairness unter den Clients zu beeinträchtigen. Die Arbeit hebt hervor, dass aktuelle Bewertungsprotokolle unzureichend sind und eine memorization-bewusste Perspektive notwendig ist, um federierte Unlearning-Mechanismen rigoros zu bewerten und zu verbessern. Die Autoren betonen, dass ihr Ansatz besonders für Szenarien geeignet ist, in denen der zu entfernende Datensatz während der Unlearning-Phase nicht verfügbar ist, da er auf den Gradienten der verbleibenden Clients zur Identifizierung dessen, was zu beschneiden ist, zurückgreift.