Client-Cooperative Split Learning

Die Arbeit stellt CliCooper vor, ein kooperatives Split-Learning-Framework für heterogene Umgebungen, das durch differenzielle Privatsphäre und dynamische Wasserzeichen sowohl den Datenschutz als auch die Verifizierbarkeit der Modellintegrität und des Urheberrechts sicherstellt.

Das Wesentliche

Stellen Sie sich vor, Sie haben ein geheimes Familienrezept (Ihre Daten), das Sie gerne verkaufen möchten, um Geld zu verdienen. Aber Sie haben keine eigene große Küche (Rechenleistung), um es für viele Leute gleichzeitig zu kochen. Außerdem wollen Sie das Rezept niemals jemandem zeigen, der es stehlen oder kopieren könnte.

Die Lösung, die in diesem Papier vorgestellt wird, nennt sich CLICOOPER. Es ist wie eine mobile Kochbrigade, die aus vielen kleinen, unabhängigen Köchen besteht, die zusammenarbeiten, ohne dass einer von ihnen das geheime Originalrezept sieht.

Hier ist die einfache Erklärung, wie das funktioniert, mit ein paar lustigen Vergleichen:

1. Das Problem: Die "Halb-Vertrauens"-Situation

Normalerweise würde man das Rezept an einen riesigen, vertrauenswürdigen Koch (einen Server) geben. Aber in der modernen Welt gibt es keine riesigen Server mehr, sondern viele kleine Geräte (Handys, Laptops).
Das Problem: Diese kleinen Köche sind nicht zu 100% vertrauenswürdig. Sie sind ehrlich, aber neugierig ("honest-but-curious"). Sie wollen mitarbeiten, um Geld zu verdienen, aber sie könnten versuchen, aus dem, was sie sehen, das geheime Rezept zu erraten oder zu stehlen.

2. Die Lösung: CLICOOPER (Die Kochbrigade)

CLICOOPER ist ein System, das drei Dinge gleichzeitig löst:

1. Datenschutz: Niemand sieht Ihre echten Zutaten.
2. Urheberschutz: Jeder Koch bekommt einen Nachweis, dass er wirklich gekocht hat.
3. Diebstahlschutz: Niemand kann das fertige Gericht einfach kopieren und als eigenes verkaufen.

Hier sind die drei magischen Tricks, die CLICOOPER benutzt:

Trick 1: Der "Geheime Code" für die Zutaten (Label-Expansion)

Stellen Sie sich vor, Sie bereiten ein Gericht mit 10 verschiedenen Gemüsesorten vor.

• Normalerweise: Sie sagen den Köchen: "Das ist eine Karotte, das ist eine Zwiebel." -> Die Köche wissen sofort, was Sie kochen.
• Mit CLICOOPER: Sie sagen: "Das ist 'Sorte A1', das ist 'Sorte A2', das ist 'B1'..."
  • Sie nehmen jede echte Sorte und teilen sie in zwei oder mehr geheime Unter-Kategorien auf.
  • Die Köche sehen nur diese kryptischen Namen. Sie wissen nicht, dass "A1" und "A2" eigentlich beide Karotten sind.
  • Der Clou: Nur Sie (der Besitzer des Rezepts) haben den Schlüssel, um "A1" und "A2" wieder in "Karotte" umzuwandeln. Wenn ein Koch das fertige Gericht ohne Ihren Schlüssel verkauft, ist es für die Kunden wertlos, weil sie nicht wissen, was sie eigentlich essen.

Trick 2: Der "Milch-Schaum" auf den Daten (Differential Privacy)

Bevor die Köche mit dem Kochen beginnen, schicken Sie ihnen die vorbereiteten Zutaten. Aber Sie tun etwas Magisches: Sie werfen einen Schuss Milch in die Schüssel.

• In der Technik heißt das Differential Privacy. Es ist wie ein leichtes Rauschen oder ein Schleier über den Daten.
• Die Köche können die grobe Form des Gerichts erkennen (damit sie kochen können), aber wenn sie versuchen, genau zu sehen, welche spezifische Karotte in welchem Stück steckt, sehen sie nur noch Milch und Chaos.
• Selbst wenn ein böswilliger Koch versucht, das Originalrezept aus den Milch-Spuren zu rekonstruieren, scheitert er. Die Bilder werden so unscharf, dass sie unkenntlich sind.

Trick 3: Die unsichtbare, verbundene Signatur (Chained Watermarking)

Jetzt müssen wir sicherstellen, dass jeder Koch, der einen Teil des Gerichts zubereitet hat, auch bezahlt wird und dass niemand einfach ein fertiges Gericht von einem anderen Markt stiehlt.

• Stellen Sie sich vor, jeder Koch hat einen Stempel.
• Aber dieser Stempel ist nicht fest. Er wird dynamisch erstellt.
  • Koch 1 nimmt die Zutaten, kocht einen Teil und drückt seinen Stempel auf das Gericht.
  • Koch 2 nimmt das Gericht von Koch 1. Sein Stempel wird automatisch so gestaltet, dass er genau auf den Stempel von Koch 1 passt (wie ein Puzzleteil).
  • Koch 3 macht dasselbe mit Koch 2.
• Am Ende haben Sie ein Gericht, das eine lückenlose Kette von Stempeln hat.
• Wenn ein Koch versucht, zu lügen und zu sagen "Ich habe das ganze Gericht gekocht!", oder wenn jemand ein gestohlenes Gericht nimmt, passt die Kette der Stempel nicht zusammen. Der "Kontrolleur" (der Verifizierer) sieht sofort: "Aha! Hier fehlt ein Puzzleteil oder die Stempel passen nicht!"

Was bringt das alles? (Die Ergebnisse)

Die Forscher haben das System ausprobiert und es funktioniert erstaunlich gut:

• Geschmack: Das Gericht schmeckt fast genauso gut wie das Original (die Genauigkeit des Modells bleibt gleich oder wird sogar besser!).
• Sicherheit: Wenn ein Hacker versucht, die Zutaten zu erraten (Clustering-Angriff), hat er 0% Erfolg.
• Rekonstruktion: Wenn ein Hacker versucht, das Originalbild aus den Daten zu rekonstruieren, sieht das Ergebnis aus wie ein schneebedeckter Fernseher (nur noch 3% Ähnlichkeit zum Original).
• Diebstahl: Wenn jemand das fertige Modell kopieren will, um es nachzubauen, schafft er es nur mit 1% Genauigkeit – das ist so, als würde er blind raten.

Fazit

CLICOOPER ist wie eine sichere, mobile Küche, in der viele Leute zusammenarbeiten können, ohne dass jemand das geheime Rezept sieht oder stehlen kann. Es nutzt geheime Codes, Milch-Schaum (Rauschen) und verbundene Stempel, um sicherzustellen, dass alle fair bezahlt werden und die Daten sicher bleiben.

Es ist eine brillante Idee für eine Welt, in der wir Daten teilen wollen, aber niemandem trauen, der sie sieht.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Client-Cooperative Split Learning" (CLICOOPER) auf Deutsch:

1. Problemstellung und Motivation

Das Paper adressiert die Herausforderungen beim maschinellen Lernen in ressourcenbeschränkten Umgebungen unter strengen Datenschutz- und Souveränitätsbedingungen.

• Kontext: Herkömmliches Split Learning (SL) verlässt sich oft auf einen zentralen, vertrauenswürdigen Server, der die Rechenlast übernimmt. In der Praxis sind jedoch Edge-Geräte und dezentrale Ressourcen verfügbar, die jedoch einzeln nicht ausreichen.
• Das Szenario: Ein „Serverless"-Ansatz, bei dem ein Datenbesitzer (Client) Daten bereitstellt, während mehrere andere Clients (Trainer) ihre Rechenleistung bündeln, um gemeinsam ein Modell zu trainieren.
• Die Herausforderungen:
  1. Datenschutz (RQ1): Wie kann der Datenbesitzer die Privatsphäre der Rohdaten und Labels schützen, ohne die Trainingsfähigkeit zu beeinträchtigen?
  2. Eigentumsnachweis (RQ2): Wie können Trainer-Clients ihren Beitrag kryptografisch nachweisen, um eine faire Vergütung zu erhalten?
  3. Schutz vor unbefugter Nutzung (RQ3): Wie kann verhindert werden, dass das gemeinsam trainierte Modell von Unbefugten missbraucht oder extrahiert wird?
• Bedrohungsmodell: Die Trainer sind „honest-but-curious" (ehrlich, aber neugierig). Sie versuchen, aus den übermittelten Aktivierungen Rückschlüsse auf die Daten des Kunden zu ziehen (Clustering, Inversion) oder versuchen, ohne echte Leistung Vergütung zu erhalten (Free-Riding). Externe Angreifer haben nur Black-Box-Zugriff.

2. Methodik: Das CLICOOPER-Framework

CLICOOPER ist ein Framework für die kooperative Split-Learning-Umgebung, das zwei Hauptmechanismen integriert, um die oben genannten Fragen zu beantworten:

A. Datenschutz durch Geheimnis-Mapping und Differenzielle Privatsphäre (DP)

Um die Privatsphäre des Datenbesitzers zu schützen und unbefugte Nutzung zu verhindern:

• Geheimnis-Mapping Label-Erweiterung (Secret-mapping Label Expansion):
  • Der Datenbesitzer (Client C) gibt keine echten Labels ($Y$) heraus. Stattdessen wird eine geheime, eins-zu-viele-Mapping-Funktion ($G_Y$) verwendet, um jede echte Klasse in mehrere Pseudo-Labels ($Y^*$) zu zerlegen.
  • Dies verschleiert die Semantik der Aufgabe und die Anzahl der Klassen.
  • Die Daten werden entsprechend augmentiert, um den erweiterten Label-Raum zu füllen.
  • Nur autorisierte Parteien mit dem inversen Mapping ($G_Y^{-1}$) können die Vorhersagen wieder in echte Labels zurückführen. Ohne dieses Mapping ist das Modell für Unbefugte funktional unbrauchbar.
• DP-geschützte Aktivierungen:
  • Bevor die Aktivierungen (Smashed Activations) an die Trainer gesendet werden, fügt der Client kontrolliertes Rauschen hinzu.
  • Dies geschieht durch $L_1$-Clipping der Aktivierungen und Hinzufügen von Laplace-Rauschen basierend auf einem Differenziellen-Privatsphäre-Budget ($\epsilon$).
  • Dies verhindert Angriffe zur Rekonstruktion der Eingabedaten (Inversion Attacks) und erschwert das Clustering von Aktivierungen, um Klassen zu inferieren.

B. Verifizierbare Eigentumsnachweise durch Ketten-Wasserzeichen (Chained Watermarking)

Um die Integrität des Trainings und die Eigentumsrechte der Trainer zu sichern:

• Pipeline-Training: Die Trainer ($T_1$ bis $T_n$) arbeiten sequentiell. Jeder Trainer erhält nur die Aktivierung des Vorgängers, verarbeitet sie mit seinem lokalen Modellsegment und leitet das Ergebnis weiter.
• Ketten-Wasserzeichen:
  • Nach dem konvergenten Training (Epochen $1$bis$N$) wird in der$(N+1)$-ten Epoche ein Wasserzeichen in jedes Segment eingebettet.
  • Das Wasserzeichen $\Lambda_{T_i}$ für Trainer $i$ wird deterministisch aus dem Hash der Aktivierung des Vorgängers ($M_{T_{i-1}}$), einer Nonce und der Identität des Trainers abgeleitet.
  • Dies schafft eine kryptografische Kette: Ein Wasserzeichen ist nur gültig, wenn es im Kontext der spezifischen Trainingspipeline und der vorherigen Segmente generiert wurde.
  • Dies verhindert, dass Trainer vorgefertigte Modelle verwenden (Free-Riding), da diese keine korrekten, kettengerechten Wasserzeichen enthalten können.

C. Verifikation

Ein vertrauenswürdiger Verifizierer (V) prüft am Ende:

1. Die Genauigkeit des Gesamtmodells.
2. Die Integrität der Wasserzeichenkette, indem er die erwarteten Wasserzeichen basierend auf den Aktivierungen rekonstruiert und mit den im Modell eingebetteten vergleicht.

3. Wichtige Beiträge

1. Neues Framework für serverloses SL: CLICOOPER ermöglicht kooperative Modellbildung in heterogenen, teilweise vertrauenswürdigen Umgebungen ohne zentrale Server.
2. Kombinierte Datenschutzstrategie: Die Kopplung von Label-Erweiterung (zur Verschleierung von Semantik und Quantität) mit DP-geschützten Aktivierungen bietet einen mehrschichtigen Schutz gegen Inferenz- und Rekonstruktionsangriffe, ohne die Modellgenauigkeit signifikant zu mindern.
3. Kryptografisch verknüpfte Eigentumsnachweise: Das Ketten-Wasserzeichen-Schema stellt sicher, dass jeder Trainer seinen Beitrag nachweisen kann und verhindert Betrug durch vorgefertigte Modelle.
4. Skalierbare Validierung: Das System wurde auf verschiedenen Datensätzen (MNIST, CIFAR-10/100, AG News) und Architekturen (CNNs, Transformers) getestet.

4. Ergebnisse

Die Experimente zeigen, dass CLICOOPER sowohl die Privatsphäre als auch die Nutzbarkeit des Modells effektiv schützt:

• Modellgenauigkeit: Die Genauigkeit bleibt im Vergleich zur Basislinie (ohne Schutz) nahezu unverändert oder verbessert sich sogar leicht (bis zu +2%) in einigen Fällen, da das Rauschen als Regularisierer wirken kann.
• Abwehr von Clustering-Angriffen: Die Fähigkeit von Angreifern, Klassen durch Clustering der Aktivierungen zu identifizieren, wurde auf 0% reduziert (bei CIFAR-Datensätzen).
• Abwehr von Inversionsangriffen: Die Ähnlichkeit (SSIM) zwischen rekonstruierten und originalen Trainingsdaten sank drastisch von 0,50 auf 0,03, was eine erfolgreiche Rekonstruktion praktisch unmöglich macht.
• Abwehr von Modell-Extraktionsangriffen: Bei Black-Box-Attacken, bei denen Angreifer versuchen, ein Ersatzmodell (Surrogate) zu trainieren, erreichten diese nur eine Genauigkeit von ca. 1% (entspricht zufälligem Raten), da die Pseudo-Labels ohne das geheime Mapping unbrauchbar sind.
• Overhead: Der zusätzliche Aufwand für Wasserzeichen-Einbettung und -Verifikation liegt im Millisekundenbereich und ist vernachlässigbar im Vergleich zur Trainingszeit.

5. Bedeutung und Fazit

CLICOOPER löst das Dilemma zwischen Datenschutz, Recheneffizienz und Eigentumsschutz in dezentralen KI-Ökosystemen.

• Es ermöglicht Datenbesitzern, ihre Daten zu monetarisieren oder Dienste zu nutzen, ohne sensible Informationen preiszugeben.
• Es schafft Vertrauen zwischen nicht vollständig vertrauenswürdigen Partnern durch nachweisbare Beiträge.
• Es bietet einen robusten Schutz gegen die Missbrauch von KI-Modellen durch externe Angreifer.

Das Paper demonstriert, dass es möglich ist, hochleistungsfähige, kooperative KI-Modelle in einer serverlosen Umgebung zu trainieren, die sowohl datenschutzkonform als auch rechtlich und technisch abgesichert sind.