Privacy Leakage via Output Label Space and Differentially Private Continual Learning

Technische Zusammenfassung: Privacy Leakage via Output Label Space and Differentially Private Continual Learning

1. Problemstellung (The Problem)

Das Hauptproblem, das dieses Paper adressiert, ist eine bisher übersehene Privacy Side-Channel (Datenschutz-Nebenkanal) in Machine-Learning-Systemen, die mit Differential Privacy (DP) trainiert wurden.

Bisherige Forschung konzentrierte sich primär darauf, die Modellgewichte ($\theta$) durch Mechanismen wie DP-SGD zu schützen. Die Autoren zeigen jedoch, dass die bloße Veröffentlichung des Output Label Space (der Menge der Klassennamen, die das Modell vorhersagen kann) bereits massive Datenschutzverletzungen ermöglicht.

Besonders kritisch ist dies im Kontext des Continual Learning (CL): Da in CL neue Aufgaben mit neuen Labels über die Zeit hinweg hinzukommen, muss der Label-Raum ständig erweitert werden. Wenn ein neues Label in einem Datensatz $D_t$ erscheint, das in den vorherigen Datensätzen nicht vorhanden war, kann ein Angreifer allein durch die Beobachtung der Änderung im Label-Raum mit 100%iger Sicherheit feststellen, ob ein bestimmter Datensatz verwendet wurde. Dies verletzt die formalen DP-Garantien, selbst wenn die Modellgewichte perfekt geschützt sind.

2. Methodik (Methodology)

Die Autoren schlagen zwei primäre Ansätze vor, um diesen Nebenkanal zu eliminieren, und führen neue Methoden für DP-CL ein:

A. Schutz des Label-Raums (Eliminierung des Nebenkanals):

1. $S_{\text{learned}}$ (DP-Label-Release): Anstatt die echten Labels direkt zu veröffentlichen, wird ein separater DP-Mechanismus verwendet (inspiriert vom Private Partition Selection Problem), um zu entscheiden, welche Labels veröffentlicht werden. Hierbei wird ein Teil des Privacy-Budgets ($\epsilon$) auf die Auswahl der Labels aufgewendet, was zu einem Trade-off zwischen Label-Genauigkeit und Modell-Genauigkeit führt.
2. $S_{\text{prior}}$ (Data-Independent Prior Labels): Hierbei wird ein großer, öffentlicher Label-Raum verwendet, der unabhängig von den sensiblen Daten ist. Neue Labels aus den Trainingsdaten werden auf diesen öffentlichen Raum gemappt oder verworfen. Da dieser Raum nicht von den sensiblen Daten abhängt, entsteht kein Side-Channel.

B. Neue DP-CL-Methoden unter Nutzung von Pre-trained Models:
Um die Utility (Nützlichkeit) unter DP-Beschränkungen zu maximieren, adaptieren die Autoren zwei Ansätze:

1. Cosine Similarity Classifier: Ein Modell nutzt ein eingefrorenes Pre-trained Model als Feature-Extraktor. Es werden lediglich DP-verrauschte Summen der Feature-Vektoren pro Klasse gespeichert. Die Klassifizierung erfolgt über die Kosinus-Ähnlichkeit.
2. PEFT Ensemble (Parameter-Efficient Fine-Tuning): Es wird ein Ensemble aus task-spezifischen Adaptern (z. B. FiLM) erstellt. Jeder Adapter wird mittels DP-SGD auf die jeweilige Aufgabe trainiert. Dies minimiert das "Catastrophic Forgetting" und nutzt die Stärke von Pre-trained Models.

3. Kernbeiträge (Key Contributions)

• Identifikation eines neuen Side-Channels: Nachweis, dass der Output Label Space ein kritisches Datenschutzrisiko darstellt, insbesondere in sequenziellen Lernumgebungen.
• Formalisierung von DP für CL: Einführung einer formalen Definition für Task-wise Differential Privacy, die die sequentielle Natur des Lernens mathematisch korrekt abbildet.
• Neue Schutzmechanismen: Vorschlag von zwei validen Methoden ($S_{\text{learned}}$ und $S_{\text{prior}}$), um den Label-Raum DP-konform zu gestalten.
• Integration von Pre-training und DP-CL: Die erste Arbeit, die Pre-trained Models systematisch in einem DP-CL-Setting untersucht, um die drastischen Genauigkeitseinbußen von DP zu mildern.

4. Ergebnisse (Results)

Die Evaluierung erfolgte auf anspruchsvollen Benchmarks wie Split-CIFAR-100 und Split-ImageNet-R:

• Überlegenheit gegenüber Baselines: Die vorgeschlagenen Methoden (insbesondere das PEFT-Ensemble) übertreffen bestehende DP-CL-Ansätze (wie den von Desai et al.), ohne dass Speicherpuffer (Memory Buffers) benötigt werden.
• Trade-offs:
  • Bei $S_{\text{learned}}$ zeigt sich ein optimaler Split des Privacy-Budgets; zu viel Budget für Labels reduziert die Modellgenauigkeit, zu wenig führt zum Verlust von Klassen.
  • $S_{\text{prior}}$ ist sehr robust, wobei die Größe des öffentlichen Label-Raums kaum Einfluss auf die Genauigkeit hat.
• Robustheit gegenüber "Blurry Tasks": Die Autoren zeigen, dass ihre Methoden auch in realistischeren Szenarien (wo Klassen über mehrere Tasks verteilt sind) funktionieren, wobei der Cosine Classifier bei sehr strengen Privacy-Budgets ($\epsilon=1$) oft stabiler ist als PEFT.

5. Bedeutung (Significance)

Die Arbeit ist von hoher Bedeutung für die Praxis von Privacy-Preserving Machine Learning. Sie zeigt auf, dass ein System nur dann als "privat" gelten kann, wenn alle Komponenten (nicht nur die Gewichte) den DP-Anforderungen genügen. Für die Entwicklung von KI-Systemen, die kontinuierlich aus Nutzerdaten lernen (z. B. in der Medizin oder bei personalisierten Assistenten), liefert das Paper einen theoretisch fundierten und praktisch anwendbaren Rahmen, um sowohl den Datenschutz als auch die Modellleistung aufrechtzuerhalten.