Differentially Private Model Merging

1. Problemstellung

In vielen maschinellen Lernanwendungen können sich die Datenschutzanforderungen (Privacy Requirements) während der Inferenz- oder Bereitstellungsphase ändern, bedingt durch wechselnde Vorschriften, Richtlinien oder Nutzererwartungen. Das traditionelle Vorgehen, ein Modell bei neuen Anforderungen neu zu trainieren oder zu feinabstimmen (Fine-Tuning), ist oft mit erheblichen Kosten verbunden:

• Es erfordert zusätzliche Hyperparameter-Tuning-Schritte (z. B. für den Rauschmultiplikator und Gradienten-Clipping).
• Die Implementierung von pro-Gradienten-Clipping verursacht hohe Rechen- und Systemkosten.
• Der Zugriff auf Rohdaten ist oft nicht mehr möglich oder erlaubt.

Die Autoren stellen die Frage: Können wir eine Menge bereits existierender Modelle, die auf demselben Datensatz mit unterschiedlichen Datenschutz-Nutzen-Abwägungen (Privacy/Utility Tradeoffs) trainiert wurden, zusammenführen (merge), um ein neues Modell zu erzeugen, das eine beliebige Ziel-DP-Anforderung erfüllt, ohne Rohdaten zu berühren oder zusätzliche Trainingsschritte durchzuführen?

Bisherige Arbeiten zum „Model Merging" konzentrierten sich auf nicht-private Szenarien. Das Mischen privater Modelle unter strikten DP-Bedingungen und die genaue Berechnung der Privatsphäre-Garantien (Privacy Accounting) blieben offen.

2. Methodik

Die Autoren schlagen zwei datenunabhängige Nachbearbeitungstechniken (Post-Processing) vor, um aus $N$ vorhandenen Modellen $\theta_1, \dots, \theta_N$ ein neues Modell $\theta$ zu erzeugen:

A. Zufällige Auswahl (Random Selection - RS)

• Prinzip: Ein Modellindex $I$ wird gemäß einer Wahrscheinlichkeitsverteilung $\pi = (\pi_1, \dots, \pi_N)$ gezogen. Das Ausgabe-Modell ist einfach $\theta_I$.
• Vorteil: Benötigt nur die privaten Parameter (RDP/PLD) der einzelnen Modelle, nicht deren interne Trainingsstruktur.
• Privatsphäre-Berechnung:
  • RDP (Rényi Differential Privacy): Die Parameter werden durch eine Log-Sum-Exp-Funktion der einzelnen RDP-Parameter gewichtet.
  • PLD (Privacy Loss Distributions): Da die Ausgabe eine Mischung von Verteilungen ist, kann die Hockey-Stick-Divergenz durch eine gewichtete Summe der einzelnen Divergenzen nach oben abgeschätzt werden (Konvexitätseigenschaft).

B. Lineare Kombination (Linear Combination - LC)

• Prinzip: Die Modelle werden deterministisch gewichtet summiert: $\theta = \sum \lambda_i \theta_i$.
• Voraussetzung: Im Gegensatz zu RS erfordert LC stärkere Annahmen über die Trainingsalgorithmen (insbesondere DP-SGD), um engere Privatsphäre-Grenzen zu beweisen.
• Privatsphäre-Berechnung (unter DP-SGD):
  • Die Autoren nutzen die Struktur von DP-SGD (Subsampling, Clipping, Gaußsches Rauschen).
  • Sie leiten eine neue Formel für die RDP-Parameter pro Schritt her, die die Interaktion der gewichteten Updates und des aggregierten Rauschens berücksichtigt.
  • Für PLD wird eine „Surrogate"-Zufallsvariable für den Privacy Loss eingeführt, die über die Trainingsschritte hinweg per Faltung (Convolution) kombiniert wird.

Theoretische Erkenntnisse (Fallstudie: Mittelwertschätzung)

In einem vereinfachten Szenario (Gaußsche Mittelwertschätzung) wird bewiesen, dass LC RS immer dominiert.

• RS verwirft Information, indem es nur ein Modell auswählt.
• LC kann RS imitieren (indem es ein Gewicht auf 1 setzt) oder durch Mittelung die Varianz (und damit den Fehler) weiter reduzieren, ohne die Privatsphäre zu verschlechtern.
• Für allgemeine Probleme (nicht-konvexe Modelle) gilt dies nicht automatisch, aber LC bietet unter DP-SGD-Struktur potenziell bessere Ergebnisse als RS.

3. Wichtige Beiträge

1. Neues Problem-Feld: Erste systematische Untersuchung des Mischens privater Modelle zur Anpassung an flexible Datenschutzanforderungen zur Laufzeit.
2. Zwei Algorithmen: Einführung von RS und LC als leichte, datenunabhängige Mechanismen.
3. Präzises Privacy Accounting:
   • Entwicklung von maßgeschneiderten Accounting-Methoden basierend auf RDP und PLD für beide Mechanismen.
   • Beweis, dass LC ohne zusätzliche Strukturannahmen nicht besser sein kann als das gemeinsame Veröffentlichen aller Modelle (Joint Release), aber unter DP-SGD-Annahmen engere Grenzen erreicht.
   • Beweis der Überlegenheit von LC gegenüber RS im Fall der Mittelwertschätzung.
4. Praktische Algorithmen: Bereitstellung von Algorithmen (Algorithm 1-4) zur Berechnung der optimalen Gewichte ($\pi$ oder $\lambda$), die eine Ziel-Privatsphäre $(\epsilon, \delta)$ erfüllen und den Nutzen maximieren.

4. Ergebnisse und Evaluation

Die Methoden wurden synthetisch und auf realen Datensätzen (MNIST, CIFAR-10) evaluiert:

• Synthetische Daten (Mittelwertschätzung): LC übertraf RS konsistent in Bezug auf den Mean Squared Error (MSE) bei gleichem Privatsphäre-Budget, was die theoretischen Vorhersagen bestätigte.
• Echte Datensätze (MNIST & CIFAR-10):
  • Sowohl RS als auch LC ermöglichten eine flexible Anpassung an verschiedene Ziel-Privatsphäre-Budgets ohne Nachtraining.
  • PLD vs. RDP: Die auf PLD basierenden Schätzungen lieferten konsistent engere (bessere) Privatsphäre-Grenzen als die RDP-basierten Schätzungen.
  • Vergleich RS vs. LC: Bei konvexen Modellen (Logistic Regression) funktionierte LC gut. Bei nicht-konvexen Modellen (ResNet18) war die Leistung von LC oft nur dann gut, wenn ein Modell stark dominierte (die Mitte der Pareto-Front war dünn besetzt). RS zeigte hier eine robustere Anpassungsfähigkeit.
  • Pretraining-Szenario: Bei Verwendung eines vortrainierten Modells als Startpunkt zeigten beide Methoden, dass das gemischte Modell die einzelnen Kandidatenmodelle übertreffen kann (durch Glättung des DP-Rauschens und Bewahrung nützlicher Strukturen).

5. Bedeutung und Ausblick

• Praktische Relevanz: Die Arbeit bietet einen Weg, um Modelle dynamisch an sich ändernde regulatorische Anforderungen anzupassen, ohne teures Nachtraining oder Datenzugriff.
• Theoretischer Fortschritt: Sie schließt die Lücke zwischen Model Merging und Differential Privacy, indem sie zeigt, wie man Privatsphäre-Garantien für Mischungen präzise berechnet.
• Zukunftsaussichten:
  • Entwicklung besserer Mischregeln für nicht-konvexe Modelle.
  • Entwicklung privater Verfahren zur Optimierung der Mischparameter ($\lambda, \pi$) unter Einhaltung von DP.

Zusammenfassend demonstriert das Paper, dass durch intelligentes Mischen existierender Modelle eine effiziente und datenschutzkonforme Anpassung an neue Anforderungen möglich ist, wobei die Wahl zwischen zufälliger Auswahl und linearer Kombination vom Kontext (Modelltyp, verfügbare Strukturinformationen) abhängt.