Towards Deep Encrypted Training: Low-Latency, Memory-Efficient, and High-Throughput Inference for Privacy-Preserving Neural Networks

Titolo del Lavoro

Verso un Addestramento Crittografato Profondo: Inferenza a Bassa Latenza, Efficiente in Memoria e ad Alta Throughput per Reti Neurali a Preservazione della Privacy

1. Il Problema

L'apprendimento automatico che preserva la privacy (PPML) è fondamentale per gestire dati sensibili (es. medici, finanziari) senza rivelarli. L'Omologazione Omomorfica (HE) permette di eseguire calcoli su dati cifrati, ma le implementazioni pratiche soffrono di enormi sovraccarichi computazionali e di memoria.
Il problema specifico affrontato in questo lavoro è il gap tra l'inferenza su singola immagine cifrata e l'elaborazione in batch (lotti).

• Limitazioni attuali: La maggior parte dei lavori precedenti si concentra sull'elaborazione di un singolo input cifrato alla volta. Sebbene l'elaborazione in batch possa migliorare drasticamente il throughput e ridurre la latenza ammortizzata, le implementazioni esistenti sono inefficienti.
• Colli di bottiglia: L'elaborazione in batch cifrata richiede un'ingente quantità di memoria (RAM) e operazioni omomorfiche costose (rotazioni, switching delle chiavi). Lo stato dell'arte (es. lavoro di Cheon et al.) richiede fino a 370 GB di RAM e tempi di esecuzione elevati, rendendo difficile l'adozione su hardware server standard e limitando l'uso pratico per scenari di addestramento o inferenza su larga scala.

2. Metodologia

Gli autori propongono un approccio sistemico che combina algoritmi ottimizzati a livello di layer e una nuova architettura di pipeline.

A. Rappresentazione e Codifica degli Input

• Codifica Channel-By-Channel (CBC): Adottano e estendono una strategia di packing dove i canali di diversi input del batch sono codificati all'interno di vettori SIMD (Single Instruction, Multiple Data) all'interno degli stessi cifrati. Questo permette di elaborare più immagini simultaneamente mantenendo l'allineamento spaziale.
• Codifica Dinamica dei Pesi: I pesi dei kernel di convoluzione e dei layer fully connected vengono replicati dinamicamente per allinearsi con la struttura del batch cifrato, permettendo una singola moltiplicazione cifrato-testo chiaro per l'intero batch.

B. Ottimizzazione dei Layer

• Layer di Convoluzione:
  • Introducono una strategia di rotazione ottimizzata che riduce il numero di chiavi di rotazione necessarie da 9 a sole 4 per ogni layer di convoluzione.
  • Utilizzano rotazioni di base (±1, ±W) per generare tutte le allineamenti spaziali necessari, eliminando le rotazioni intermedie costose tra i canali.
• Layer Fully Connected (FC):
  • Progettano un layer FC batched che esegue prodotti scalari su più input contemporaneamente.
  • Implementano una decomposizione degli offset di rotazione per riutilizzare le chiavi, riducendo il numero di chiavi di rotazione necessarie per l'allineamento dell'output.

C. Architettura della Pipeline e Accumulatori

• Pipeline Ottimizzata: Progettano una pipeline che mantiene i layer della rete neurali costantemente attivi per massimizzare l'utilizzo delle risorse HE.
• Accumulatori: Introducono un componente chiave chiamato "Accumulatore". Quando avviene il downsampling (riduzione delle dimensioni spaziali), si liberano slot nei cifrati. Invece di propagare cifrati parzialmente vuoti, l'accumulatore fonde (merge) più cifrati intermedi in un unico cifrato densamente impacchettato.
  • Questo permette di aumentare il batch size effettivo durante l'inferenza senza richiedere più cifrati di input.
  • Consente un controllo flessibile del batch size per bilanciare latenza e throughput.
• Riutilizzo delle Chiavi: Le chiavi di rotazione e bootstrapping vengono caricate e scaricate dinamicamente in base al gruppo di blocchi della rete, riducendo drasticamente l'uso di memoria.

D. Parallelizzazione Multi-thread

• Sfruttano l'indipendenza dei calcoli tra i diversi input del batch e tra i canali di output per parallelizzare le operazioni su CPU multi-core (fino a 32 thread), eliminando le dipendenze dei dati tra i thread fino all'aggregazione finale.

3. Contributi Chiave

1. Algoritmi Ottimizzati: Sviluppo di nuovi algoritmi per layer di reti neurali HE-friendly che migliorano l'efficienza del packing, riducono le rotazioni non necessarie e semplificano le operazioni a livello di layer.
2. Architettura di Pipeline con Accumulatori: Proposta di un design che massimizza il throughput mantenendo i layer attivi e riutilizzando gli slot liberi generati dal downsampling, permettendo batch size flessibili e grandi.
3. Valutazione Estensiva: Implementazione e test su modelli ResNet-20 e ResNet-34 con dataset CIFAR-10 e CIFAR-100, coprendo batch size da 16 a 512.
4. Riduzione delle Risorse: Dimostrazione che è possibile ottenere alte prestazioni su hardware server di fascia media (32 core, 256 GB RAM), evitando hardware di punta costoso.

4. Risultati

Gli esperimenti sono stati condotti su un server Intel Xeon Gold 5418Y (32 core, 256 GB RAM) utilizzando la libreria OpenFHE e il framework FHEON.

• ResNet-20 (CIFAR-10) con Batch Size 512:
  • Latenza Ammortizzata: 8.86 secondi per immagine.
  • Utilizzo di Memoria: 98.96 GB di RAM.
  • Confronto con lo Stato dell'Arte (Cheon et al.):
    • Miglioramento del tempo di esecuzione di 1.78x (da 15.76s a 8.86s).
    • Riduzione dell'uso di memoria di 3.74x (da 370.28 GB a 98.96 GB).
• ResNet-34 (CIFAR-100) con Batch Size 256:
  • Latenza Ammortizzata: 28.14 secondi per immagine.
  • Utilizzo di Memoria: 246.78 GB di RAM.
• Accuratezza: I modelli cifrati mantengono un'accuratezza quasi identica a quella dei modelli in chiaro (es. 92.2% vs 92.8% per ResNet-20).

5. Significato e Impatto

Questo lavoro rappresenta un passo significativo verso la fattibilità pratica dell'inferenza di reti neurali profonde su dati cifrati.

• Accessibilità: Riducendo i requisiti di memoria da centinaia di GB a livelli gestibili su server standard (sotto i 100 GB per batch grandi), rende la PPML accessibile a più organizzazioni senza bisogno di infrastrutture hardware estreme.
• Scalabilità: La capacità di gestire batch grandi in modo efficiente è un prerequisito fondamentale non solo per l'inferenza ad alto throughput, ma anche per il futuro addestramento di reti neurali su dati cifrati, che richiede l'elaborazione di grandi quantità di dati per il calcolo dei gradienti.
• Efficienza Economica: Dimostra che è possibile ottenere prestazioni superiori rispetto allo stato dell'arte utilizzando hardware più economico e comune, abbattendo le barriere all'ingresso per l'adozione di tecnologie di privacy-preserving.

In sintesi, gli autori colmano il divario tra la ricerca teorica sull'HE e le applicazioni pratiche, fornendo un framework scalabile ed efficiente per l'inferenza di reti neurali profonde su dati sensibili.