🤖 machine learning

Forgettable Federated Linear Learning with Certified Data Unlearning

Dieser Beitrag stellt das vergessliche federierte lineare Lernen vor, ein Framework, das tiefe neuronale Netze durch lineare Modelle approximiert, um zertifiziertes, effizientes und sicheres federiertes Vergessen zu ermöglichen, ohne zusätzliche Client-Kommunikation oder die Speicherung historischer Modelle zu erfordern.

Ursprüngliche Autoren: Ruinan Jin, Minghui Chen, Qiong Zhang, Xiaoxiao Li

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ruinan Jin, Minghui Chen, Qiong Zhang, Xiaoxiao Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie und eine Gruppe von Freunden bauen ein riesiges, kollaboratives Puzzle, um ein Rätsel zu lösen. Dies ist Federated Learning (FL). Anstatt dass alle ihre Puzzleteile an einen zentralen Tisch senden (was ein Albtraum für die Privatsphäre wäre), behält jeder seine Teile zu Hause. Sie senden lediglich die Anweisungen, wie ihre Teile zusammenpassen, an eine zentrale Leitstelle. Die Leitstelle kombiniert diese Anweisungen, um ein besseres Bild zu erstellen, und sendet die aktualisierten Anweisungen zurück. Alle lernen gemeinsam, ohne jemals ihre privaten Teile zu zeigen.

Aber was passiert, wenn ein Freund ein vergiftetes Teil bringt? Vielleicht hat er heimlich ein verstecktes Symbol auf sein Teil gemalt, das das gesamte Puzzle falsch erscheinen lässt, sobald dieses Symbol auftaucht. Oder vielleicht möchte dieser Freund einfach die Gruppe verlassen und sein Teil vollständig aus dem endgültigen Bild löschen lassen (das „Recht auf Vergessenwerden").

Hier kommt Federated Unlearning (FU) ins Spiel. Es ist der Prozess, den Beitrag eines Freundes zu entfernen, ohne das gesamte Puzzle wegzuwerfen und von vorne zu beginnen.

Das Problem mit aktuellen Methoden

Derzeit ist der Versuch, das Teil eines Freundes zu entfernen, ein Albtraum:

Die „Noch-einmal"-Methode: Sie könnten alle bitten, das Puzzle ohne diesen einen Freund von Grund auf neu zu bauen. Das dauert ewig und kostet viel Energie (Rechenleistung).
Die „Frage den Freund"-Methode: Einige Methoden bitten den Freund, der gehen möchte, zusätzliche Mathematik auf seinem eigenen Computer durchzuführen und sie zurückzusenden. Aber was, wenn dieser Freund derjenige ist, der das Puzzle vergiftet hat? Er könnte lügen oder die Zusammenarbeit verweigern.
Die „Hortungs"-Methode: Einige Methoden verlangen von der Leitstelle, eine Kopie jeder einzelnen Version des Puzzles zu speichern, wie es schrittweise aufgebaut wurde. Dies füllt den Speicherplatz sofort voll.

Die neue Lösung: F2L2

Die Autoren dieses Papiers schlagen einen cleveren neuen Weg vor, der Forgettable Federated Linear Learning (F2L2) genannt wird. Sie verwenden zwei Haupttricks, um das Unlearning einfach, schnell und sicher zu machen.

Trick 1: Der „Lineare Skizze" (Federated Linear Training)

Tiefe neuronale Netze (die komplexen KI-Modelle, die heute verwendet werden) sind wie extrem verwickelte Knoten. Einen bestimmten Faden zu entwirren (die Daten einer Person zu entfernen) ist fast unmöglich, ohne den gesamten Knoten zu lösen.

Der erste Trick der Autoren besteht darin, aufzuhören zu versuchen, den Knoten zu entwirren. Stattdessen verwenden sie ein vortrainiertes Modell (ein Modell, das bereits auf öffentlichen Daten trainiert wurde) als Ausgangspunkt. Sie behandeln dann das komplexe Modell wie eine gerade Linie (eine „lineare Approximation") um diesen Ausgangspunkt herum.

Die Analogie: Stellen Sie sich vor, Sie zeichnen eine komplexe Bergkette. Es ist schwierig, nur einen Hügel auszuwischen. Aber wenn Sie ganz nah auf den Gipfel heranzoomen, sieht der Berg wie eine einfache, gerade Rampe aus. Wenn Sie einen bestimmten Teil dieser Rampe entfernen möchten, können Sie einfach eine einfache mathematische Anpassung berechnen. Sie müssen nicht den ganzen Berg neu zeichnen; Sie justieren nur den Winkel der Rampe.

Diese „lineare Rampe" ist mathematisch einfach zu handhaben. Sie verwandelt ein chaotisches, komplexes Problem in ein einfaches, bei dem Sie einfach eine schnelle Berechnung durchführen können, um die Daten einer Person zu entfernen.

Trick 2: Der „Magische Radiergummi" (FedRemoval)

Sobald das Modell als einfache „Rampe" behandelt wird, kann der Server (die Leitstelle) einen Newton-Schritt durchführen.

Die Analogie: Denken Sie an das Modell als eine Kugel, die in einem Tal sitzt. Die Position der Kugel repräsentiert das endgültige Modell. Wenn Sie die Daten eines Freundes entfernen möchten, müssen Sie nicht bitten, dass er die Kugel schiebt oder alte Fotos der Kugel betrachtet. Sie müssen nur wissen, wie stark er sie ursprünglich geschoben hat (sein finaler Gradient, den er bereits während des Trainings gesendet hat).
Der Server nimmt diese „Schub"-Information und berechnet genau, wie er die Kugel dorthin bewegen kann, wo sie gewesen wäre, wenn dieser Freund sie nie geschoben hätte. Es ist wie ein magischer Radiergummi, der sofort auf der Serverseite funktioniert.

Warum das eine große Sache ist

Das Papier behauptet, dass diese neue Methode, F2L2, die drei größten Kopfschmerzen des aktuellen Unlearnings löst:

Kein „Frage den Freund" nötig: Der Server erledigt die gesamte Arbeit. Er muss nicht die Person kontaktieren, die geht, selbst wenn diese böswillig oder offline ist.
Kein „Hortungs" nötig: Der Server muss nicht jede Version des Modells speichern. Er benötigt nur die finale Mathematik des Trainings. Dies spart enorme Mengen an Speicherplatz.
Es ist zertifiziert: Die Autoren haben nicht nur geraten, dass dies funktioniert; sie haben es mathematisch bewiesen. Sie zeigten, dass das Ergebnis ihres „Magischen Radiergummis" fast identisch ist mit dem, was Sie erhalten würden, wenn Sie das gesamte Puzzle wegwerfen und ohne diesen Freund von Grund auf neu bauen würden.

Die Ergebnisse

Das Team testete dies an allem, von einfacher Zahlenerkennung (MNIST) bis hin zu komplexer Bilderkennung (wie das Identifizieren von Blumen oder Autos). Sie testeten es sogar an „Foundation Models" (den riesigen, leistungsstarken KI-Modellen, über die alle gerade sprechen).

Das Ergebnis: Bei jedem Test entfernte F2L2 erfolgreich die „vergifteten" Daten (die Backdoor-Angriffe), sodass das Modell aufhörte, sich falsch zu verhalten.
Der Kompromiss: Entscheidend ist, dass das Entfernen der schlechten Daten die Fähigkeit des Modells, seine Arbeit zu erledigen, nicht zerstörte. Das Modell blieb genauso intelligent wie zuvor, aber ohne den schlechten Einfluss.

Zusammenfassung

Kurz gesagt, stellt dieses Papier eine Möglichkeit vor, in einem KI-Gruppensetting zu unlernen, die:

Schnell ist: Kein Neutrainieren des gesamten Modells nötig.
Sicher ist: Verlässt sich nicht darauf, dass die gehende Person kooperiert.
Effizient ist: Erfordert nicht das Speichern von Terabytes alter Daten.
Bewiesen ist: Mathematisch garantiert, fast so gut zu funktionieren wie ein kompletter Neustart.

Es verwandelt die unmögliche Aufgabe, „ein spezifisches Gedächtnis aus einer komplexen KI zu löschen", in eine einfache, einstufige Berechnung auf dem Server.

Technische Zusammenfassung: Vergessliches Federated Linear Learning mit zertifiziertem Datenvergessen (F2L2)

Problemstellung
Federated Learning (FL) ermöglicht ein kollaboratives Modelltraining unter Wahrung der Datenschutzprivatsphäre, steht jedoch vor erheblichen Herausforderungen hinsichtlich des „Rechts auf Vergessenwerden" und der Entfernung schädlicher Beiträge (z. B. vergifteter Daten aus Backdoor-Angriffen). Bestehende Methoden für Federated Unlearning (FU) leiden unter kritischen Einschränkungen, die eine praktische Anwendung behindern:

Client-Abhängigkeit: Viele Methoden erfordern die Kooperation entweder der verbleibenden Clients (für Neutrainieren oder Feinabstimmung) oder der Ziel-Clients (für Gradientenaufstieg oder maßgeschneiderte Optimierung), was Kommunikationsaufwand und Sicherheitsrisiken mit sich bringt, falls Clients bösartig oder nicht verfügbar sind.
Speichereffizienz: Ansätze wie FedEraser erfordern die Speicherung aller historischen globalen Modelle, was bei großen Deep Neural Networks (DNNs) prohibitiv hohe Speicherkosten verursacht.
Fehlende Zertifizierung: Aufgrund der Nichtlinearität von DNNs fehlt den meisten bestehenden FU-Methoden eine theoretische Garantie, dass das vergessene Modell von einem von Grund auf neu trainierten Modell nicht unterscheidbar ist.

Die zentrale Forschungsfrage lautet: Wie können wir ein praktisches FU-Rahmenwerk entwerfen, das zertifiziertes Vergessen gewährleistet, ohne die Kooperation verbleibender Clients, die Teilnahme von Ziel-Clients oder die Speicherung historischer Modelle zu erfordern?

Methodik: Das F2L2-Rahmenwerk
Die Autoren schlagen Forgettable Federated Linear Learning (F2L2) vor, ein Rahmenwerk, das eine neuartige Trainingspipeline mit einem serverseitigen Vergessungsmechanismus integriert.

Federated Linear Training (FLT):
- Linearisierung: Inspiriert vom Neural Tangent Kernel (NTK) und dessen Erweiterungen auf vortrainierte Modelle, approximiert FLT ein DNN linear um einen vortrainierten Gewichtsvektor $w_p^*$ . Die Modellfunktion wird approximiert als $f(x; w) \approx f(x; w_p^*) + \langle \nabla_w f(x; w_p^*), w - w_p^* \rangle$ .
- Quadratische Verlustfunktion: Diese Linearisierung transformiert die Verlustfunktion in eine quadratische Form (Mean Squared Error), was Konvexität sicherstellt.
- Trainingsprozess: Der Server initialisiert das Modell unter Verwendung eines vortrainierten Foundation Model (FM) oder eines Modells, das auf einem kleinen, vertrauenswürdigen öffentlichen Datensatz ( $D_p$ ) trainiert wurde. Clients führen dann standardmäßige Federated Averaging (FedAvg)-Updates an diesem linearisierten Modell durch. Entscheidend bleibt dabei, dass die Parameter des vortrainierten Encoders (im Fall von FMs) fixiert bleiben und nur die Gewichte der linearen Schicht aktualisiert werden.
FedRemoval (Zertifiziertes Vergessen):
- Newton-Schritt: Da die Verlustfunktion quadratisch ist, können die optimalen Gewichte nach der Entfernung der Daten eines Ziel-Clients ( $D_c$ ) über einen geschlossenen Newton-Schritt berechnet werden: $w^- = w^* - [\nabla^2 L(w^*; D_-)]^{-1} \nabla L(w^*; D_-)$ .
- Serverseitige Ausführung: Um die Rechenkosten für die Invertierung der Hesse-Matrix über den verteilten verbleibenden Datensatz ( $D_-$ ) zu vermeiden, approximiert FedRemoval die Hesse-Matrix unter Verwendung des vortrainierten Datensatzes $D_p$ (der auf dem Server verfügbar ist).
- Effizienz: Der Vergessungsprozess erfordert nur die finalen Gradienten des Ziel-Clients (die bereits während des Trainings geteilt wurden) und die lokalen Daten des Servers. Er beinhaltet keine zusätzliche Kommunikation mit Clients und keine Speicherung historischer Modelle. Die Aktualisierung wird vollständig auf dem Server berechnet.

Hauptbeiträge

Neuartiges Rahmenwerk: F2L2 ist die erste Federated-Unlearning-Lösung, die verteiltes gemischt-lineares Training (FLT) mit einem rein serverseitigen Vergessungsmechanismus (FedRemoval) kombiniert. Sie eliminiert die Notwendigkeit von Client-Kooperation während des Vergessens und die Speicherung historischer Modelle.
Zertifizierte Garantien: Die Autoren leiten eine theoretische Obergrenze für die $L_2$ -Norm-Abweichung zwischen den durch FedRemoval erzielten Gewichten und denen her, die durch vollständiges Neutrainieren erhalten werden. Dies bietet eine strenge Zertifizierung der Wirksamkeit des Vergessungsprozesses.
Umfassende Evaluierung: Umfassende Experimente wurden an sechs Datensätzen (MNIST, FashionMNIST, CIFAR10, ImageNet, DomainNet, Flowers) und vier Modellarchitekturen durchgeführt, einschließlich Foundation Models (CLIP, BLIP2) unter Verwendung von Linear Probing.

Experimentelle Ergebnisse

Wirksamkeit des Vergessens: F2L2 entfernt Backdoor-Angriffe erfolgreich und reduziert die Backdoor-Erfolgsrate (BSR) auf Niveaus, die mit zufälligem Raten vergleichbar sind (z. B. ~5–10 % auf verschiedenen Datensätzen), während die Testgenauigkeit (TA) nahe an der durch Neutrainieren erzielten Grundwahrheit bleibt.
Vergleich mit Baselines: F2L2 übertrifft bestehende Baselines (FedEraser, EWSGA, SGA, Flipping, CF usw.) durch einen besseren Kompromiss zwischen TA und BSR. Im Gegensatz zu Baselines, die oft zusätzliche Kommunikation oder Speicherung erfordern, erreicht F2L2 eine Leistung nahe der Grundwahrheit ohne zusätzlichen Overhead.
Foundation Models: Die Methode ist effektiv, wenn sie auf große Foundation Models angewendet wird (z. B. CLIP auf ImageNet/DomainNet), wobei eine hohe TA (~90–95 %) beibehalten wird, während vergiftete Clients effektiv vergessen werden.
Skalierbarkeit und Stabilität: Die Methode bleibt über unterschiedliche Anzahlen von Clients (5 bis 20) und verschiedene Daten-Heterogenitätseinstellungen (Non-IID-Verteilungen) stabil, obwohl die BSR bei höherer Heterogenität leicht ansteigt, jedoch weiterhin auf Niveaus nahe dem zufälligen Raten bleibt.
Effizienz: Die Approximation der Hesse-Matrix reduziert die Rechenkosten (FLOPs) erheblich und eliminiert den Kommunikationsaufwand während der Vergessensphase.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass F2L2 eine vielversprechende Pipeline für effizientes und vertrauenswürdiges Federated Unlearning darstellt. Durch die Nutzung der mathematischen Eigenschaften linearisierter Modelle um vortrainierte Gewichte herum zeigen die Autoren, dass es möglich ist, zertifiziertes Vergessen zu erreichen, ohne die traditionellen Kompromisse bei Kommunikationsaufwand, Client-Kooperation oder massiven Speicheranforderungen eingehen zu müssen. Die Arbeit legt nahe, dass lineare Approximationen von DNNs, insbesondere im Kontext von Foundation Models, einen gangbaren Weg zu skalierbaren und sicheren Federated-Systemen bieten, die die Datenschutzrechte der Nutzer respektieren und Sicherheitsbedrohungen wie Backdoor-Angriffe mindern können.

Die Autoren weisen darauf hin, dass die lineare Approximation zwar effektiv ist, die Erweiterung des Rahmenwerks auf breitere FL-Szenarien jenseits von Klassifizierung, generativen Aufgaben oder stark nichtlinearen Regimen jedoch eine Richtung für zukünftige Forschung bleibt.