🤖 machine learning

LightSplit: Practical Privacy-Preserving Split Learning via Orthogonal Projections

LightSplit ist ein praktisches, privatsphäreschonendes Framework für Split Learning, das leichte, feste orthogonale Zufallsprojektionen an der Schnittschicht einsetzt, um gleichzeitig die Kommunikationskosten um bis zu das 32-Fache zu senken und Rekonstruktionsangriffe durch die Wirkung als Informationsengpass zu mindern, wobei über 95 % der Baseline-Genauigkeit beibehalten werden, ohne dass zusätzliche trainierbare Komponenten auf den Client-Geräten erforderlich sind.

Ursprüngliche Autoren: Mert Cihangiroglu, Alessandro Pegoraro, Phillip Rieger, Antonino Nocera, Ahmad-Reza Sadeghi

Veröffentlicht 2026-05-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mert Cihangiroglu, Alessandro Pegoraro, Phillip Rieger, Antonino Nocera, Ahmad-Reza Sadeghi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie und ein Team von Freunden versuchen gemeinsam, ein riesiges, komplexes Puzzle zu lösen. Jeder von Ihnen besitzt ein einzigartiges Stück des Bildes (Ihre privaten Daten), möchten dieses Stück aber niemandem zeigen, da es sensible Geheimnisse enthält.

In der Welt des Split Learning arbeiten Sie und ein leistungsstarker zentraler „Server" (ein Supercomputer) zusammen. Sie erledigen den ersten Teil des Puzzles auf Ihrem eigenen Gerät und erstellen eine „zertrümmerte" Zwischenversion des Bildes. Sie senden dieses zertrümmerte Stück an den Server, der den Rest des Puzzles fertigstellt und das Ergebnis zurücksendet.

Das Problem:
Das Senden dieses „zertrümmerten" Stückes hat zwei große Nachteile:

Es ist zu schwer: Das Stück ist riesig und verstopft bei jedem Senden die Internetverbindung.
Es ist zu aufschlussreich: Obwohl es „zertrümmert" ist, kann ein neugieriger Server die Details betrachten und Ihr ursprüngliches Geheimnisbild rekonstruieren. Es ist wie das Versenden eines zerrissenen Dokuments; wenn die Fetzen groß genug sind, kann jemand sie wieder zusammenkleben.

Bestehende Lösungen versuchen, ein Problem zu beheben, ignorieren aber das andere. Manche machen das Stück kleiner, lassen die Geheimnisse aber intakt. Andere verstecken die Geheimnisse, machen das Stück jedoch so schwer, dass alles verlangsamt wird.

Die Lösung: LightSplit
Die Autoren dieses Papiers schlagen eine neue Methode namens LightSplit vor. Stellen Sie es sich als einen cleveren Einmal-Zaubertrick vor, der auf Ihr Puzzle-Stück angewendet wird, bevor Sie es senden.

So funktioniert es, mit einfachen Analogien:

1. Die „Orthogonale Projektion" (Der Magische Filter)

Stellen Sie sich Ihr Puzzle-Stück als eine hochauflösende 3D-Skulptur vor. Das Senden des Ganzen ist teuer.

Der alte Weg: Sie senden die gesamte Skulptur.
Der LightSplit-Weg: Sie werfen ein bestimmtes, festes Licht auf die Skulptur und senden nur den Schatten, den sie an die Wand wirft.

Dieser Schatten ist viel kleiner (spart Internetbandbreite). Aber hier liegt der Haken: Der Schatten ist aus einem zufälligen Winkel. Er bewahrt die allgemeine Form (damit der Server das Puzzle immer noch lösen kann), verwirft aber die spezifischen Details, die es jemandem ermöglichen würden, die ursprüngliche 3D-Skulptur wiederherzustellen. Es ist wie das Betrachten des Schattens einer Person; man weiß, dass sie groß ist und einen Hut trägt, aber man kann ihr Gesicht oder ihre Kleidung nicht erkennen.

2. Die „Within-Class Compaction" (Die Gruppenumarmung)

Selbst der Schatten könnte winzige, einzigartige Falten aufweisen, die verraten, wer die Person ist.

Die Lösung: LightSplit fügt eine Regel hinzu, die besagt: „Jeder in der 'Katzen'-Gruppe muss in seinem Schatten exakt gleich aussehen, und jeder in der 'Hunde'-Gruppe muss in seinem Schatten exakt gleich aussehen."
Das Ergebnis: Der Server sieht einen perfekten „Katzen-Schatten" und einen perfekten „Hunde-Schatten". Er kann den Unterschied zwischen einer Katze und einem Hund erkennen (damit das Puzzle korrekt gelöst wird), kann aber nicht mehr unterscheiden zwischen Ihrem spezifischen Hund und dem spezifischen Hund Ihres Nachbarn. Es zerstört die „Individualität" der Daten, während die „Kategorie" intakt bleibt.

3. Das „Lift-Back" (Der Decoder-Ring des Servers)

Der Server empfängt diesen winzigen, generischen Schatten. Um das Puzzle zu vollenden, muss er diesen Schatten wieder in eine Form zurückverwandeln, die der Rest des Puzzles verstehen kann.

LightSplit-F (Der einfache Weg): Der Server verwendet einfach eine feste mathematische Regel, um den Schatten wieder auszudehnen. Es ist schnell und erfordert keine zusätzliche Rechenkraft.
LightSplit-L (Der intelligente Weg): Der Server verwendet eine kleine, trainierbare KI, um den Schatten so auszudehnen, dass es für das Puzzle am sinnvollsten ist. Dies ist etwas leistungsfähiger, erfordert aber vom Server etwas mehr Arbeit.

Warum ist das eine große Sache?

Das Papier testete diese Methode gegen die besten derzeit bekannten „Hacker"-Angriffe.

Privatsphäre: Als Hacker versuchten, die ursprünglichen Bilder aus den Schatten wiederherzustellen, scheiterten sie kläglich. Die Bilder kamen als unkenntliches Rauschen zurück. Das Papier behauptet, dass dies die Fähigkeit von Hackern, Daten zu stehlen, im Vergleich zu anderen Methoden um bis zu das 7-fache reduziert.
Geschwindigkeit: Da die Schatten so klein sind, sank die über das Internet gesendete Datenmenge um bis zu das 32-fache.
Genauigkeit: Trotz all dieses Versteckens und Verkleinerns wurde das finale Puzzle immer noch mit über 95 % Genauigkeit gelöst. Das System wurde nicht verwirrt; es wurde nur schlauer darin, was zu verstecken ist.

Das Fazit

LightSplit ist eine praktische Möglichkeit, Geräten die Zusammenarbeit beim KI-Training zu ermöglichen, ohne ihre privaten Daten zu teilen. Es fungiert als privatsphärewahrender Filter, der die Daten verkleinert, um Bandbreite zu sparen, und die Details durcheinanderwirbelt, um Hacker aufzuhalten, alles ohne dass das Gerät des Benutzers schwere Arbeit leisten muss. Es ist eine „leichte" Lösung für ein schweres Problem.

Technische Zusammenfassung: LightSplit

Problemstellung

Split Learning (SL) ermöglicht das kollaborative Training von Deep Neural Networks (DNN), indem ein Modell zwischen ressourcenbeschränkten Clients und einem leistungsfähigen Server partitioniert wird. Während dies die Lokalität der Rohdaten bewahrt, führt dies an der „Cut Layer", wo intermediäre Aktivierungen (zertrümmerte Daten) übertragen werden, zu zwei kritischen Herausforderungen:

Kommunikationsaufwand: Die Übertragung hochdimensionaler Aktivierungstensor (z. B. 4.096 Dimensionen für ResNet-18 auf CIFAR-10) erzeugt einen signifikanten Bandbreiten-Engpass, der sich linear mit der Aktivitätsdimensionalität und der Anzahl der Clients skaliert.
Verwundbarkeit der Privatsphäre: Die zertrümmerten Daten enthalten reichhaltige, instanzspezifische Informationen. Unter einem semi-ehrlichen (ehrlich-aber-neugierigen) Bedrohungsmodell kann ein Server diese Repräsentationen ausnutzen, um Rekonstruktionsangriffe (z. B. SDAR, UnSplit, FORA) durchzuführen und Client-Eingaben mit hoher Genauigkeit wiederherzustellen.

Bestehende Verteidigungsmaßnahmen behandeln diese Probleme typischerweise isoliert. Privatsphäre-fokussierte Methoden (z. B. Rauscheinbringung, Perturbation) versagen oft darin, Kommunikationsnutzlasten zu reduzieren, während Kompressionstechniken (z. B. Top-k-Verdünnung, gelernte Codecs) oft genau die instanzspezifischen Signale bewahren, die von Rekonstruktionsangriffen ausgenutzt werden, oder prohibitiven rechnerischen Aufwand auf Client-Seite verursachen.

Methodik: LightSplit

Die Autoren schlagen LightSplit vor, ein Framework, das gleichzeitig den Kommunikationsaufwand reduziert und die Informationspreisgabe durch eine leichte, feste orthogonale Zufallsprojektion an der Cut Layer begrenzt.

Kernmechanismus

Feste Orthogonale Projektion:
- Jeder Client projiziert seine $d$ -dimensionale zertrümmerte Aktivierung $z$ in einen niedrigerdimensionalen Unterraum $k$ ( $k \ll d$ ) unter Verwendung einer festen, zufälligen orthonormalen Matrix $R \in \mathbb{R}^{d \times k}$ .
- Die Projektion wird über die QR-Zerlegung einer Gaußschen Zufallsmatrix abgeleitet, wodurch $R^\top R = I_k$ sichergestellt wird.
- Diese Projektion ist nicht trainierbar und während des gesamten Trainings fest, sodass keine zusätzlichen lernbaren Parameter auf Client-Seite erforderlich sind.
- Theoretische Basis: Die Methode nutzt das Johnson-Lindenstrauss (JL)-Lemma, das garantiert, dass paarweise euklidische Abstände (und somit die Klassen-Trennbarkeit) im niedrigerdimensionalen Raum annähernd erhalten bleiben.
Serverseitiges Lift-Back:
Um die Kompatibilität mit bestehenden SL-Architekturen zu gewährleisten, muss der Server einen $d$ -dimensionalen Eingangsvektor für sein Backbone rekonstruieren. LightSplit bietet zwei Modi:
- LIGHTSPLIT-F (Fest): Verwendet eine parameterfreie lineare Lift-Back-Transformation ( $\hat{z} = R\tilde{z}$ ), die den empfangenen Vektor effektiv zurück auf den $k$ -dimensionalen Unterraum projiziert. Dies ist rechnerisch minimal.
- LIGHTSPLIT-L (Gelernt): Setzt ein kleines, trainierbares Multi-Layer Perceptron (MLP) ein, um die $k$ -dimensionale Projektion zurück auf $d$ Dimensionen abzubilden. Dies ermöglicht es dem Server, sich an die projizierte Verteilung anzupassen und den Informationsverlust auszugleichen, auf Kosten zusätzlicher serverseitiger Parameter.
Within-Class Compaction (WCC) Regularisierer:
Um die Einschränkung zu adressieren, dass eine reine Zufallsprojektion möglicherweise residuelle instanzspezifische Signale bewahrt, führt LightSplit einen regularisierenden Term auf Client-Seite ein.
- Ziel: Minimierung der Intra-Klassen-Varianz der projizierten Repräsentationen $\tilde{z}$ .
- Mechanismus: Der Client berechnet den Mittelwert $\mu_c$ der projizierten Proben für jede Klasse $c$ und minimiert den quadrierten euklidischen Abstand zwischen den Proben und ihrem Klassen-Zentroid: $L_{WCC} = \sum_c \frac{1}{|S_c|} \sum_{i \in S_c} \|\tilde{z}_i - \mu_c\|_2^2$ .
- Wirkung: Dies fördert die Bildung kompakter Cluster für Proben derselben Klasse, wirft effektiv instanzspezifische Variationen ab, auf die Rekonstruktionsangriffe angewiesen sind, und bewahrt gleichzeitig die klassen-diskriminierende Struktur.

Hauptbeiträge

Kombinierte Privatsphäre und Effizienz: LightSplit ist die erste Methode, die gleichzeitig die Nutzlast pro Probe (Kommunikation) reduziert und die Informationspreisgabe (Privatsphäre) begrenzt, ohne zusätzliche trainierbare Komponenten auf Client-Seite zu erfordern.
Irreversibler Informationsengpass: Durch das Verwerfen des orthogonalen Komplements der Projektion erzeugt die Methode eine unterbestimmte inverse Abbildung für den Server, wodurch die exakte Rekonstruktion des ursprünglichen Eingangsvektors mathematisch unmöglich wird.
Leichtes Client-Design: Der Client führt lediglich eine einzelne Matrixmultiplikation mit einer festen Matrix durch und bewahrt somit die Low-Compute-Prämisse von Split Learning für Edge-Geräte.
Erhaltung der Klassenstruktur: Die Kombination aus JL-Projektion und WCC-Regularisierung verschiebt die Repräsentation von einem Instanz-Deskriptor zu einem Klassen-Prototyp und erhöht so die Robustheit gegenüber Rekonstruktionsangriffen.

Experimentelle Ergebnisse

Die Autoren evaluierten LightSplit auf CIFAR-10, CIFAR-100, Fashion-MNIST und GTSRB unter sowohl IID- als auch Non-IID-Bedingungen und verglichen dies mit roher Übertragung und gelernten Kompressions-Baselines (Learned 1x1).

Privatsphäre-Leistung:
- LightSplit verschlechtert die Leistung von State-of-the-Art-Rekonstruktionsangriffen (SDAR, FORA, UnSplit) erheblich.
- Gegen SDAR sanken die SSIM-Werte um bis zu 58,3 % (bei 32-facher Kompression) im Vergleich zur rohen Übertragung.
- Gegen FORA stiegen die LPIPS-Werte um ~36 %, was auf eine geringere perceptuelle Ähnlichkeit zum Originalbild hinweist.
- Gegen UnSplit erhöhte LightSplit den Mean Squared Error (MSE) der Rekonstruktionen um bis zu 1,27-fach auf MNIST und verhinderte effektiv eine pixelgenaue Wiederherstellung.
- Die Methode reduziert die Rekonstruktionsfähigkeit von Angriffen um bis zu 7-fach im Vergleich zu Baselines.
Nützlichkeit und Effizienz:
- Genauigkeitserhalt: LightSplit behält in den meisten Szenarien >95 % der Baseline-Genauigkeit bei. Beispielsweise sank die Genauigkeit auf CIFAR-10 bei 32-facher Kompression nur um ~6 % (vs. ~13 % für einige Baselines).
- Kommunikationsreduktion: Die Methode erreicht eine Reduktion der übertragenen Dimensionalität um bis zu 32-fach.
- Stabilität: Die Trainingsdynamik bleibt über verschiedene Kompressionsraten und Client-Skalen (bis zu 100 Clients) hinweg stabil.
- Backdoor-Erkennung: Die Methode stört serverseitige Backdoor-Erkennungsmechanismen nicht; bösartige Clients bleiben über Cosine-Similarity-Signaturen identifizierbar.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass LightSplit eine kritische Lücke im Split Learning schließt, bei der bestehende Lösungen einen Kompromiss zwischen Privatsphäre und Effizienz erzwingen. Durch die Nutzung einer festen orthogonalen Projektion und eines varianzreduzierenden Regularisators erreicht LightSplit:

Minderung von Privatsphäre-Lecks: Es begrenzt die einem neugierigen Server verfügbaren Informationen auf Klassen-Prototypen anstelle spezifischer Eingabeinstanzen und erhöht effektiv die Schwierigkeit von Rekonstruktionsangriffen.
Reduktion des Aufwands: Es senkt die Kommunikationskosten drastisch, ohne den mit gelernten Codecs verbundenen Trainingsaufwand auf Client-Seite.
Erhaltung der Kompatibilität: Es integriert sich nahtlos in bestehende U-förmige Split-Learning-Architekturen, ohne die zugrunde liegende Netzwerkstruktur zu modifizieren oder Änderungen am Backbone des Servers zu erfordern (im festen Modus).

Die Autoren stellen ausdrücklich fest, dass LightSplit keine formalen Privatsphäre-Garantien (z. B. Differential Privacy) bietet, aber robuste empirische Resistenz gegen adaptive, State-of-the-Art-Rekonstruktionsangriffe unter einem semi-ehrlichen Bedrohungsmodell demonstriert. Sie positionieren die Methode als praktische, leichte Lösung für den Einsatz von Split Learning in privatsphärensensiblen und bandbreitenbeschränkten Edge-Umgebungen.