Riepilogo Tecnico: LightSplit

Enunciato del Problema

L'Apprendimento Diviso (Split Learning - SL) abilita l'addestramento collaborativo di Reti Neurali Profonde (DNN) suddividendo un modello tra client con risorse limitate e un server potente. Sebbene ciò preservi la località dei dati grezzi, introduce due sfide critiche al "livello di taglio" dove vengono trasmesse le attivazioni intermedie (dati frantumati):

1. Sovraccarico di Comunicazione: La trasmissione di tensori di attivazione ad alta dimensionalità (ad esempio, 4.096 dimensioni per ResNet-18 su CIFAR-10) crea un collo di bottiglia significativo nella larghezza di banda, che scala linearmente con la dimensionalità delle attivazioni e il numero di client.
2. Vulnerabilità alla Privacy: I dati frantumati contengono informazioni ricche e specifiche dell'istanza. Sotto un modello di minaccia semi-onesto (onesto ma curioso), un server può sfruttare queste rappresentazioni per eseguire attacchi di ricostruzione (ad esempio, SDAR, UnSplit, FORA), recuperando gli input dei client con alta fedeltà.

Le difese esistenti affrontano tipicamente questi problemi in isolamento. I metodi focalizzati sulla privacy (ad esempio, iniezione di rumore, perturbazione) spesso non riescono a ridurre i payload di comunicazione, mentre le tecniche di compressione (ad esempio, sparsificazione top-k, codec appresi) spesso preservano proprio i segnali specifici dell'istanza sfruttati dagli attacchi di ricostruzione o introducono un onere computazionale proibitivo lato client.

Metodologia: LightSplit

Gli autori propongono LightSplit, un framework che riduce simultaneamente il sovraccarico di comunicazione e limita l'esposizione delle informazioni attraverso una proiezione ortogonale casuale leggera e fissa applicata al livello di taglio.

Meccanismo Principale

1. Proiezione Ortogonale Fissa:

   • Ogni client proietta la sua attivazione frantumata $d$-dimensionale $z$ in un sottospazio a dimensionalità inferiore $k$ ($k \ll d$) utilizzando una matrice ortonormale casuale fissa $R \in \mathbb{R}^{d \times k}$.
   • La proiezione è derivata tramite la decomposizione QR di una matrice casuale gaussiana, garantendo $R^\top R = I_k$.
   • Questa proiezione è non addestrabile e fissa per tutta la durata dell'addestramento, non richiedendo parametri apprendibili aggiuntivi lato client.
   • Base Teorica: Il metodo sfrutta il lemma di Johnson-Lindenstrauss (JL), che garantisce che le distanze euclidee pairwise (e quindi la separabilità delle classi) siano approssimativamente preservate nello spazio a dimensionalità inferiore.

2. Rialzo lato Server (Lift-Back):
   Per mantenere la compatibilità con le architetture SL esistenti, il server deve ricostruire un input $d$-dimensionale per il suo backbone. LightSplit offre due modalità:

   • LIGHTSPLIT-F (Fisso): Utilizza un rialzo lineare senza parametri ($\hat{z} = R\tilde{z}$), proiettando efficacemente il vettore ricevuto nuovamente sul sottospazio $k$-dimensionale. Questo è computazionalmente minimo.
   • LIGHTSPLIT-L (Appreso): Impiega una piccola Rete Perceptron Multistrato (MLP) addestrabile per mappare la proiezione $k$-dimensionale nuovamente a $d$ dimensioni. Ciò permette al server di adattarsi alla distribuzione proiettata, compensando la perdita di informazioni, a costo di parametri aggiuntivi lato server.

3. Regolarizzatore di Compattazione Intraclass (WCC):
   Per affrontare il limite secondo cui la proiezione casuale da sola potrebbe mantenere segnali residui specifici dell'istanza, LightSplit introduce un termine di regolarizzazione lato client.

   • Obiettivo: Minimizzare la varianza intraclass delle rappresentazioni proiettate $\tilde{z}$.
   • Meccanismo: Il client calcola la media $\mu_c$ dei campioni proiettati per ogni classe $c$ e minimizza la distanza euclidea quadrata tra i campioni e il loro centroide di classe: $L_{WCC} = \sum_c \frac{1}{|S_c|} \sum_{i \in S_c} \|\tilde{z}_i - \mu_c\|_2^2$.
   • Effetto: Ciò incoraggia i campioni della stessa classe a formare cluster compatti, scartando efficacemente le variazioni specifiche dell'istanza su cui si basano gli attacchi di ricostruzione, pur preservando la struttura discriminativa delle classi.

Contributi Chiave

1. Privacy ed Efficienza Congiunte: LightSplit è il primo metodo a ridurre simultaneamente il payload per campione (comunicazione) e limitare l'esposizione delle informazioni (privacy) senza richiedere componenti addestrabili aggiuntivi lato client.
2. Collo di Bottiglia Informativo Irreversibile: Scartando il complemento ortogonale della proiezione, il metodo crea una mappatura inversa sottodeterminata per il server, rendendo matematicamente impossibile la ricostruzione esatta dell'input originale.
3. Design Leggero lato Client: Il client esegue una singola moltiplicazione di matrice con una matrice fissa, preservando il presupposto di basso calcolo dell'Apprendimento Diviso per i dispositivi edge.
4. Preservazione della Struttura a Livello di Classe: La combinazione della proiezione JL e della regolarizzazione WCC sposta la rappresentazione da un descrittore di istanza a un prototipo di classe, migliorando la robustezza contro gli attacchi di ricostruzione.

Risultati Sperimentali

Gli autori hanno valutato LightSplit su CIFAR-10, CIFAR-100, Fashion-MNIST e GTSRB in configurazioni sia IID che Non-IID, confrontandolo con la trasmissione grezza e con baseline di compressione appresa (Learned 1x1).

• Prestazioni di Privacy:

  • LightSplit degrada significativamente le prestazioni degli attacchi di ricostruzione all'avanguardia (SDAR, FORA, UnSplit).
  • Contro SDAR, i punteggi SSIM sono diminuiti fino al 58,3% (a compressione 32×) rispetto alla trasmissione grezza.
  • Contro FORA, i punteggi LPIPS sono aumentati di ~36%, indicando una minore similarità percettiva con l'immagine originale.
  • Contro UnSplit, LightSplit ha aumentato l'Errore Quadratico Medio (MSE) delle ricostruzioni fino a 1,27× su MNIST, prevenendo efficacemente il recupero pixel-per-pixel.
  • Il metodo riduce la capacità di ricostruzione degli attacchi fino a 7× rispetto alle baseline.

• Utilità ed Efficienza:

  • Ritenzione dell'Accuratezza: LightSplit mantiene >95% dell'accuratezza di baseline nella maggior parte degli scenari. Ad esempio, su CIFAR-10 con compressione 32×, l'accuratezza scende solo di ~6% (vs. ~13% per alcune baseline).
  • Riduzione della Comunicazione: Il metodo ottiene una riduzione fino a 32× della dimensionalità trasmessa.
  • Stabilità: La dinamica di addestramento rimane stabile attraverso diversi rapporti di compressione e scale di client (fino a 100 client).
  • Rilevamento Backdoor: Il metodo non interferisce con i meccanismi di rilevamento backdoor lato server; i client maliziosi rimangono identificabili tramite firme di similarità coseno.

Significato e Affermazioni

Il documento afferma che LightSplit affronta un divario critico nell'Apprendimento Diviso dove le soluzioni esistenti costringono a un compromesso tra privacy ed efficienza. Utilizzando una proiezione ortogonale fissa e un regolarizzatore riduttore di varianza, LightSplit:

• Mitiga la Perdita di Privacy: Limita le informazioni disponibili a un server curioso a prototipi a livello di classe piuttosto che a istanze di input specifiche, aumentando efficacemente la difficoltà degli attacchi di ricostruzione.
• Riduce il Sovraccarico: Abbassa drasticamente i costi di comunicazione senza il sovraccarico di addestramento lato client associato ai codec appresi.
• Mantiene la Compatibilità: Si integra perfettamente nelle architetture di Apprendimento Diviso a forma di U esistenti senza modificare la struttura di rete sottostante o richiedere cambiamenti al backbone del server (nella modalità fissa).

Gli autori affermano esplicitamente che LightSplit non fornisce garanzie formali di privacy (ad esempio, Privacy Differenziale) ma dimostra una robusta resistenza empirica contro attacchi di ricostruzione adattivi e all'avanguardia sotto un modello di minaccia semi-onesto. Posizionano il metodo come una soluzione pratica e leggera per il dispiegamento dell'Apprendimento Diviso in ambienti edge sensibili alla privacy e con vincoli di larghezza di banda.