Technische Samenvatting: LightSplit

Probleemstelling

Split Learning (SL) maakt collaboratieve training van Deep Neural Networks (DNN's) mogelijk door een model te partitioneren tussen hulpbronnen-beperkte clients en een krachtige server. Hoewel dit de lokale opslag van ruwe data behoudt, introduceert het twee kritieke uitdagingen op de "cut layer" waar intermediaire activaties (verpletterde data) worden overgedragen:

1. Communicatie-Overhead: Het overdragen van hoogdimensionale activatietensors (bijvoorbeeld 4.096 dimensies voor ResNet-18 op CIFAR-10) creëert een aanzienlijke bandbreedte-bottleneck, die lineair schaalt met de activatiedimensionaliteit en het aantal clients.
2. Privacykwetsbaarheid: De verpletterde data bevat rijke, instantie-specifieke informatie. Onder een semi-eerlijk (eerlijk-maar-benieuwd) bedreigingsmodel kan een server deze representaties exploiteren om reconstructie-aanvallen uit te voeren (bijvoorbeeld SDAR, UnSplit, FORA), waarbij client-inputs met hoge fideliteit worden hersteld.

Bestaande verdedigingen behandelen deze problemen doorgaans geïsoleerd. Privacygerichte methoden (bijvoorbeeld ruisinjectie, perturbatie) falen vaak om communicatie-payloads te reduceren, terwijl compressietechnieken (bijvoorbeeld top-k sparsificatie, geleerde codecs) vaak juist de instantie-specifieke signalen behouden die door reconstructie-aanvallen worden uitgebuit, of onaanvaardbare client-zijde rekenoverhead introduceren.

Methodologie: LightSplit

De auteurs stellen LightSplit voor, een framework dat gelijktijdig de communicatie-overhead vermindert en de blootstelling van informatie beperkt via een lichtgewicht, vaste orthogonale willekeurige projectie toegepast op de cut layer.

Kernmechanisme

1. Vaste Orthogonale Projectie:

   • Elke client projecteert zijn $d$-dimensionale verpletterde activatie $z$ naar een lagerdimensionale deelruimte $k$ ($k \ll d$) met behulp van een vaste, willekeurige orthonormale matrix $R \in \mathbb{R}^{d \times k}$.
   • De projectie is afgeleid via de QR-decompositie van een Gaussische willekeurige matrix, waarbij wordt gegarandeerd dat $R^\top R = I_k$.
   • Deze projectie is niet-trainbaar en vaste gedurende de hele training, en vereist geen extra leerbare parameters aan de client-zijde.
   • Theoretische Basis: De methode maakt gebruik van het Johnson-Lindenstrauss (JL) lemma, dat garandeert dat paarsgewijze Eucledische afstanden (en dus scheidbaarheid van klassen) bij benadering behouden blijven in de lagerdimensionale ruimte.

2. Server-zijde Lift-Back:
   Om compatibiliteit te behouden met bestaande SL-architecturen, moet de server een $d$-dimensionale input reconstrueren voor zijn backbone. LightSplit biedt twee modi:

   • LIGHTSPLIT-F (Vast): Gebruikt een parameter-vrije lineaire lift-back ($\hat{z} = R\tilde{z}$), waarbij de ontvangen vector effectief terug wordt geprojecteerd op de $k$-dimensionale deelruimte. Dit is computationeel minimaal.
   • LIGHTSPLIT-L (Geleerd): Maakt gebruik van een kleine, trainbare Multi-Layer Perceptron (MLP) om de $k$-dimensionale projectie terug te mappen naar $d$ dimensies. Dit stelt de server in staat om zich aan te passen aan de geprojecteerde verdeling, waardoor informatieverlies wordt gecompenseerd, ten koste van extra server-zijde parameters.

3. Within-Class Compaction (WCC) Regularisator:
   Om de beperking aan te pakken dat een willekeurige projectie alleen nog steeds residuële instantie-specifieke signalen kan behouden, introduceert LightSplit een regularisatieterm aan de client-zijde.

   • Doel: Minimaliseer de intra-class variantie van de geprojecteerde representaties $\tilde{z}$.
   • Mechanisme: De client berekent het gemiddelde $\mu_c$ van geprojecteerde samples voor elke klasse $c$ en minimaliseert de gekwadrateerde Eucledische afstand tussen samples en hun klassencentrum: $L_{WCC} = \sum_c \frac{1}{|S_c|} \sum_{i \in S_c} \|\tilde{z}_i - \mu_c\|_2^2$.
   • Effect: Dit stimuleert dat samples van dezelfde klasse compacte clusters vormen, waardoor effectief instantie-specifieke variaties worden verwijderd waarop reconstructie-aanvallen vertrouwen, terwijl de klasse-discriminerende structuur behouden blijft.

Belangrijkste Bijdragen

1. Gecombineerde Privacy en Efficiëntie: LightSplit is de eerste methode die tegelijkertijd de payload per sample (communicatie) vermindert en de blootstelling van informatie (privacy) beperkt, zonder dat er extra trainbare componenten aan de client-zijde nodig zijn.
2. Irreversibele Informatie-Bottleneck: Door het orthogonale complement van de projectie te verwijderen, creëert de methode een onderbepaalde inverse mapping voor de server, waardoor exacte reconstructie van de originele input wiskundig onmogelijk wordt.
3. Lichtgewicht Client-ontwerp: De client voert slechts één matrixvermenigvuldiging uit met een vaste matrix, waardoor de laag-rekenpremissie van Split Learning voor randapparatuur behouden blijft.
4. Behoud van Klasse-niveau Structuur: De combinatie van JL-projectie en WCC-regularisatie verschuift de representatie van een instantie-beschrijver naar een klassen-prototype, wat de robuustheid tegen reconstructie-aanvallen versterkt.

Experimentele Resultaten

De auteurs hebben LightSplit geëvalueerd op CIFAR-10, CIFAR-100, Fashion-MNIST en GTSRB onder zowel IID- als Non-IID-instellingen, met vergelijkingen tegen ruwe transmissie en baselines voor geleerde compressie (Learned 1x1).

• Privacyprestaties:

  • LightSplit degradeert de prestaties van state-of-the-art reconstructie-aanvallen (SDAR, FORA, UnSplit) aanzienlijk.
  • Tegen SDAR daalden de SSIM-scores met maximaal 58,3% (bij 32× compressie) in vergelijking met ruwe transmissie.
  • Tegen FORA stegen de LPIPS-scores met ~36%, wat aangeeft dat de perceptuele gelijkenis met de originele afbeelding lager is.
  • Tegen UnSplit verhoogde LightSplit de Mean Squared Error (MSE) van reconstructies met maximaal 1,27× op MNIST, waardoor pixel-perfect herstel effectief wordt voorkomen.
  • De methode vermindert het reconstructievermogen van aanvallen met maximaal 7× in vergelijking met baselines.

• Utiliteit en Efficiëntie:

  • Behoud van Nauwkeurigheid: LightSplit behoudt >95% van de baseline-nauwkeurigheid in de meeste scenario's. Bijvoorbeeld, op CIFAR-10 met 32× compressie daalt de nauwkeurigheid slechts met ~6% (tegenover ~13% voor sommige baselines).
  • Communicatie-reductie: De methode bereikt een reductie in de overgedragen dimensionaliteit van maximaal 32×.
  • Stabiliteit: De trainingsdynamiek blijft stabiel over variërende compressieratio's en client-schalen (tot 100 clients).
  • Backdoor-detectie: De methode interfereert niet met server-zijde backdoor-detectiemechanismen; kwaadaardige clients blijven identificeerbaar via cosine-similariteits-handtekeningen.

Betekenis en Claims

Het artikel beweert dat LightSplit een kritieke kloof in Split Learning aanpakt waar bestaande oplossingen een afweging tussen privacy en efficiëntie opleggen. Door gebruik te maken van een vaste orthogonale projectie en een variantie-reducerende regularisator, doet LightSplit het volgende:

• Vermindert Privacylekken: Het beperkt de informatie die beschikbaar is voor een benieuwde server tot prototypes op klassen-niveau in plaats van specifieke input-instanties, waardoor de moeilijkheidsgraad van reconstructie-aanvallen effectief wordt verhoogd.
• Vermindert Overhead: Het verlaagt de communicatiekosten drastisch zonder de client-zijde trainingsoverhead die gepaard gaat met geleerde codecs.
• Behoudt Compatibiliteit: Het integreert naadloos in bestaande U-vormige Split Learning-architecturen zonder de onderliggende netwerkstructuur te wijzigen of wijzigingen aan de backbone van de server te vereisen (in de vaste modus).

De auteurs stellen expliciet dat LightSplit geen formele privacygaranties biedt (bijvoorbeeld Differentiële Privacy), maar wel robuuste empirische weerstand demonstreert tegen adaptieve, state-of-the-art reconstructie-aanvallen onder een semi-eerlijk bedreigingsmodel. Ze positioneren de methode als een praktische, lichtgewicht oplossing voor het implementeren van Split Learning in privacy-gevoelige en bandbreedte-beperkte randomgevingen.