Towards Privacy-Guaranteed Label Unlearning in Vertical Federated Learning: Few-Shot Forgetting without Disclosure

Diese Arbeit stellt die erste Methode für das Label-Unlearning im Vertical Federated Learning vor, die durch eine manifold-mixup-basierte Synthese von Embeddings und einen darauf folgenden Gradienten-basierten Vergessens- sowie Wiederherstellungsprozess eine effiziente und datenschutzgarantierte Entfernung sensibler Labelinformationen ohne Offenlegung der Daten ermöglicht.

Das Wesentliche

Das große Problem: Das "Vergessen" in der gemeinsamen Welt

Stell dir vor, du und deine Nachbarn wollen gemeinsam ein Kochbuch erstellen.

• Du hast die besten Rezepte (die Labels, also die Antworten: "Ist das ein Burger oder Pizza?").
• Deine Nachbarn haben die Zutatenlisten und Fotos der Zutaten (die Features, also die Rohdaten).

Niemand möchte seine Rezepte oder seine privaten Fotos einfach so hergeben. Also arbeiten ihr zusammen, ohne die Daten zu teilen. Das nennt man Vertikales Federated Learning (VFL). Jeder behält seine Daten bei sich, aber ihr trainiert gemeinsam ein Modell.

Das Problem:
Stell dir vor, einer der Nachbarn sagt: "Hey, ich will, dass mein Foto von einem bestimmten Burger aus dem gemeinsamen Kochbuch sofort gelöscht wird, weil ich mich schäme." Das ist das "Recht auf Vergessenwerden" (wie in der DSGVO).

In der normalen Welt ist das einfach: Man nimmt das Foto raus und kocht das Buch neu. Aber in dieser gemeinsamen Welt ist das ein Albtraum:

1. Wenn ihr das Buch neu kocht, dauert es ewig und kostet viel Energie.
2. Wenn ihr einfach nur das eine Foto löscht, könnte der Nachbar, der die Rezepte hat (die Labels), merken, welches Foto genau gelöscht wurde, nur weil die anderen Nachbarn plötzlich andere Fragen stellen. Das ist ein Datenschutz-Leck.

Die Lösung: "Few-Shot Unlearning" (Das schnelle Vergessen mit wenig Hilfe)

Die Autoren dieses Papers haben eine clevere Methode entwickelt, um dieses Problem zu lösen. Sie nennen es "Few-Shot Label Unlearning".

Stell dir vor, ihr müsst nicht das ganze Kochbuch neu schreiben, sondern nur eine kleine Korrektur vornehmen. Aber wie macht man das, ohne die anderen Rezepte zu verderben?

Hier sind die drei Schritte ihrer Methode, erklärt mit Analogien:

1. Der "Kleber"-Trick (Manifold Mixup)

Normalerweise braucht man viele Beispiele, um zu lernen, was man vergessen soll. Aber die Autoren sagen: "Wir brauchen nur ein paar wenige Beispiele!"
Statt diese wenigen Beispiele einfach nur zu nutzen, mischen sie sie wie einen Cocktail.

• Sie nehmen zwei Bilder (z. B. ein Burger und eine Pizza) und mischen sie im "Gehirn" des Modells zu einem neuen, künstlichen Bild.
• Der Clou: Sie tun das nicht mit den rohen Fotos, sondern mit den "Gedanken" des Modells (den Embeddings).
• Warum? Das ist wie wenn man aus zwei wenigen Zutaten tausende neue Variationen eines Rezepts erfindet. Dadurch hat das Modell plötzlich genug "Material", um zu verstehen, was es vergessen soll, ohne dass man die echten, sensiblen Daten aller Nachbarn braucht.

2. Das "Rückwärts-Laufen" (Gradient Ascent)

Jetzt kommt der spannende Teil: Wie löscht man die Erinnerung?

• Normalerweise lernt ein Modell, indem es versucht, Fehler zu minimieren (es läuft bergab).
• Um etwas zu vergessen, muss das Modell genau das Gegenteil tun: Es muss den Fehler für das zu löschende Bild maximieren.
• Die Analogie: Stell dir vor, du hast eine Erinnerung an einen Ort. Um sie zu löschen, stellst du dir vor, du läufst so schnell wie möglich weg von diesem Ort, bis du ihn gar nicht mehr findest.
• In diesem System macht der "Rezept-Nachbar" (der die Labels hat) diesen Schritt. Er sagt dem Modell: "Vergiss dieses Bild!" und schickt eine Nachricht an die anderen Nachbarn, die dann ihre Teile des Modells ebenfalls anpassen, damit das Bild im Gedächtnis verschwindet.

3. Die "Reparatur-Station" (Remained Accuracy Recovery)

Das Problem beim "Rückwärts-Laufen" ist: Wenn man zu stark wegrennt, vergisst man vielleicht auch andere Dinge, die man behalten wollte (z. B. wie man einen normalen Burger erkennt).

• Deshalb gibt es einen letzten Schritt: Ein kleines "Aufräumen".
• Das Modell nimmt ein paar wenige Beispiele von den Bildern, die es behalten soll, und sagt: "Okay, vergiss den Burger, aber denk daran, wie eine Pizza aussieht!"
• So wird das Modell wieder stabil, ohne die sensiblen Daten des gelöschten Bildes zu verraten.

Warum ist das so besonders?

1. Es ist schnell: Statt das ganze Kochbuch neu zu schreiben (was Tage dauern würde), passiert das alles in Sekunden.
2. Es ist sicher: Die Nachbarn, die die Fotos haben, merken gar nicht, welches Foto genau gelöscht wurde. Sie sehen nur, dass sich das Modell ein bisschen verändert hat. Das ist wie ein Zaubertrick, bei dem niemand sieht, woher die Taube kam.
3. Es funktioniert überall: Die Autoren haben es an Bildern (Gesichter, Röntgenbilder) und sogar an Texten getestet. Es funktioniert immer.

Zusammenfassung in einem Satz

Die Autoren haben einen Weg gefunden, wie eine Gruppe von Leuten gemeinsam ein KI-Modell trainieren kann, das schnell und sicher vergisst, was ein einzelner Nutzer löschen will, ohne dass dabei die Privatsphäre der anderen gefährdet wird oder das ganze System neu aufgebaut werden muss.

Es ist wie ein Gedächtnis-Trick, bei dem man eine Erinnerung löscht, ohne den Rest des Tagebuchs zu beschädigen oder den Nachbarn zu verraten, was man genau vergessen hat.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert die kritische Herausforderung des Machine Unlearning (Löschen von Trainingsdaten aus einem Modell) im Kontext des Vertical Federated Learning (VFL).

• Kontext VFL: Beim VFL arbeiten mehrere Parteien zusammen, die unterschiedliche Merkmale (Features) für dieselben Proben (IDs) besitzen. Typischerweise hält eine aktive Partei die Labels (Zielvariablen), während passive Parteien die Features bereitstellen. Dies ist in sensiblen Bereichen wie Gesundheitswesen oder Finanzwesen üblich.
• Das spezifische Problem: Während das Unlearning im horizontalen VFL (HFL) bereits erforscht wurde, gibt es kaum Lösungen für das Label-Unlearning im VFL. Dies ist jedoch essenziell, um das „Recht auf Vergessenwerden" (z. B. gemäß GDPR) umzusetzen. Ein Beispiel wäre das Löschen der Information, ob ein Patient HIV-positiv ist (Label), ohne die medizinischen Daten (Features) der anderen Parteien preiszugeben.
• Herausforderungen:
  1. Datenschutz: Das Löschen von Labels darf keine Informationen über die zu löschenden Daten an die passiven Parteien verraten (z. B. durch Gradienten oder Embeddings).
  2. Effizienz: Eine vollständige Neuentwicklung (Retraining) des Modells ist in VFL-Architekturen aufgrund der notwendigen Synchronisation aller Parteien extrem rechenintensiv und langsam.
  3. Datenknappheit: Oft stehen nur wenige öffentliche Daten zur Verfügung, um den Unlearning-Prozess zu steuern.

2. Methodik: Few-Shot Label Unlearning Framework

Die Autoren schlagen einen neuartigen Rahmen vor, der auf Few-Shot Learning basiert und nur eine kleine Menge öffentlicher Daten benötigt. Der Prozess besteht aus drei Hauptschritten (siehe Abbildung 1 im Paper):

A. Vertikale Manifold Mixup (Verstärkung der Embeddings)

Da nur wenige gelabelte Daten ($D_{p,u}$) für das Unlearning verfügbar sind, werden diese durch Manifold Mixup erweitert.

• Statt Features direkt zu mischen, werden die Embeddings (die versteckten Repräsentationen) der passiven Parteien interpoliert.
• Die aktive Partei generiert synthetische Embeddings durch lineare Kombinationen ($Mix_\lambda(a, b) = \lambda \cdot a + (1-\lambda) \cdot b$) der Embeddings derselben passiven Partei.
• Dies erzeugt eine reichhaltigere Verteilung von synthetischen Daten, die den Gradienten-Update-Prozess stabilisiert, ohne dass die passiven Parteien ihre Rohdaten austauschen müssen.

B. Gradientenbasiertes Label-Forgetting (Löschen)

Auf den verstärkten Embeddings wird ein Gradienten-Ascent (Gradientenaufstieg) durchgeführt, um das Modell dazu zu bringen, die Informationen der zu löschenden Labels zu „vergessen".

• Aktive Partei: Optimiert ihr Modell $F_\omega$ durch Maximierung des Verlusts bezüglich der synthetischen Labels und Embeddings. Dies entfernt die Assoziation zwischen den Embeddings und dem zu löschenden Label.
• Passive Parteien: Erhalten die Gradienten bezüglich ihrer Embeddings von der aktiven Partei und führen ebenfalls einen Gradienten-Ascent durch. Dies ermöglicht es ihnen, ihre lokalen Modelle so anzupassen, dass sie die Information über das gelöschte Label verlieren, ohne jemals Zugriff auf die eigentlichen Labels zu haben.
• Theoretische Garantie: Ein Theorem (Theorem 1) zeigt, dass die Gradientenrichtung, die nur mit den wenigen öffentlichen Daten berechnet wird, positiv mit der Richtung korreliert, die man bei Verwendung des gesamten zu löschenden Datensatzes erhalten würde.

C. Wiederherstellung der Genauigkeit (Recovery)

Nach dem Löschen kann die Leistung des Modells auf den verbleibenden Daten (Retain Data) leiden.

• Ein weiterer Optimierungsschritt wird durchgeführt, bei dem das Modell auf einer kleinen Menge verbleibender Daten ($D_{p,r}$) mittels Gradienten-Descent (Standard-Training) feinabgestimmt wird.
• Dies stellt sicher, dass die Genauigkeit für die nicht gelöschten Klassen erhalten bleibt.

3. Schlüsselbeiträge

1. Erste Lösung für Label-Unlearning in VFL: Das Paper ist die erste Arbeit, die sich spezifisch mit dem Löschen von Labels in vertikalen Federated-Learning-Szenarien befasst, wo Labels als sensible Informationen gelten.
2. Few-Shot Ansatz mit Manifold Mixup: Die Methode erreicht effektives Unlearning mit extrem wenigen Daten (z. B. 40 Samples pro Label), indem sie Manifold Mixup auf der Ebene der Embeddings nutzt, um die Varianz der Gradienten zu reduzieren.
3. Prozess-Privatsphäre (Process Privacy): Die Autoren führen das Konzept der „Prozess-Privatsphäre" ein. Sie zeigen, dass ihre Methode die Offenlegung der gelöschten Datensätze an die passiven Parteien minimiert. Im Gegensatz zum Retraining (100% Leakage) oder Boundary Unlearning reduziert ihre Methode die Mitgliedschafts-Leakage-Rate drastisch (z. B. auf 14,38% bei CIFAR-10).
4. Hohe Effizienz: Der Prozess ist sehr schnell (Sekundenbereich) und vermeidet das teure vollständige Retraining.

4. Experimentelle Ergebnisse

Die Methode wurde auf sieben verschiedenen Datensätzen getestet (MNIST, CIFAR-10/100, ModelNet, Brain Tumor MRI, COVID-19 Radiography, Yahoo Answers) und mit mehreren Baselines verglichen (Retrain, Fine-Tuning, Fisher Forgetting, Amnesiac, UNSIR, Boundary Unlearning, SSD).

• Erhaltung der Nützlichkeit (Utility): Die Genauigkeit auf den verbleibenden Daten ($D_r$) bleibt bei der vorgeschlagenen Methode nahezu unverändert (oft >98% der ursprünglichen Genauigkeit), während andere Methoden (wie Fisher Forgetting oder Amnesiac) signifikante Einbußen erleiden.
• Effektivität des Unlearnings: Die Genauigkeit auf den zu löschenden Daten ($y_u$) wird effektiv auf nahe 0% reduziert (z. B. von ~41% auf ~1,4% bei Yahoo Answers).
• Attack Success Rate (ASR): Die Methode zeigt eine niedrige ASR, was bedeutet, dass ein Angreifer (Membership Inference Attack) kaum feststellen kann, ob ein Datensatz zum Training gehörte. Sie vermeidet den „Streisand-Effekt" (wo das Modell alle gelöschten Daten falsch, aber einheitlich klassifiziert).
• Skalierbarkeit: Die Rechenzeit steigt nur linear mit der Anzahl der passiven Parteien und ist um den Faktor 16 bis 1200 schneller als andere Methoden.
• Robustheit: Die Methode funktioniert auch unter zusätzlichen Datenschutzmechanismen wie Differential Privacy und Gradient Compression.

5. Bedeutung und Fazit

Dieses Paper stellt einen bedeutenden Fortschritt im Bereich des privacy-preserving Machine Learning dar. Es schließt eine wichtige Lücke in der Federated-Learning-Forschung, indem es zeigt, dass Labels in VFL-Umgebungen effizient und sicher gelöscht werden können, ohne die Privatsphäre der beteiligten Parteien zu gefährden oder die Modellleistung zu beeinträchtigen.

Die Einführung des Konzepts der Prozess-Privatsphäre und die Demonstration, dass Few-Shot Unlearning mit Manifold Mixup in verteilten Umgebungen funktioniert, eröffnen neue Wege für die praktische Umsetzung des „Rechts auf Vergessenwerden" in sensiblen Sektoren wie Gesundheitswesen und Finanzen. Der Code ist öffentlich verfügbar, was die Reproduzierbarkeit und weitere Forschung fördert.