Kernel-Based ReLU Approximation for Homomorphic Encryption-Compatible Privacy-preserving Deep Learning Models

Riepilogo Tecnico: Approssimazione ReLU Basata su Kernel per Modelli di Deep Learning che Preservano la Privacy Compatibili con la Crittografia Omomorfica

1. Enunciazione del Problema

La diffusa adozione dei Large Language Models (LLM) e del Deep Learning (DL) ha acuito le preoccupazioni relative alla privacy, in particolare riguardo all'elaborazione di dati sensibili degli utenti (ad esempio, informazioni sanitarie) in forma non crittografata. La Crittografia Omomorfica (HE), in particolare schemi come CKKS, offre una soluzione consentendo calcoli su dati cifrati senza decrittazione. Tuttavia, l'HE è fondamentalmente limitata alle operazioni di addizione e moltiplicazione. Ciò crea una critica incompatibilità con le architetture DL standard, che si basano pesantemente su funzioni di attivazione non lineari come la Rectified Linear Unit (ReLU).

La funzione ReLU, definita come $ReLU(x) = \max(0, x)$, non è liscia (non è differenziabile in zero). Approssimare direttamente una tale funzione non liscia con polinomi di basso grado — necessari per minimizzare la profondità moltiplicativa nell'HE — comporta errori di approssimazione significativi. I metodi esistenti, come la funzione $x^2$ o i polinomi di Chebyshev di grado superiore, o non riescono a catturare il comportamento di azzeramento per input negativi, o introducono costi computazionali proibitivi e instabilità (ad esempio, il fenomeno di Runge) quando implementati in ambienti cifrati.

2. Metodologia

Il documento propone un metodo in due fasi di Approssimazione ReLU Basata su Kernel progettato per generare un polinomio di secondo grado compatibile con l'HE, che mimhi il comportamento della ReLU con alta fedeltà e bassa profondità moltiplicativa.

• Lisciatura tramite Regressione Kernel: Per affrontare la non liscità della ReLU, gli autori trasformano prima la funzione in un'approssimazione liscia utilizzando un metodo basato su Kernel. Nello specifico, impiegano il kernel tangente iperbolico ($k(x, x') = \tanh(\langle x, x' \rangle + 1)$) addestrato sui dati di input. Questo passaggio sfrutta il principio secondo cui le funzioni più lisce possono essere approssimate con maggiore accuratezza da polinomi, come sostenuto dal Teorema di Jackson.
• Adattamento Polinomiale: L'output della funzione Kernel addestrata viene quindi approssimato utilizzando un polinomio di secondo grado ($p(x) = a_0 + a_1x + a_2x^2$) tramite regressione ai minimi quadrati ordinari (OLS).
• Fonte dei Dati: Il metodo è addestrato e valutato direttamente su embedding di token estratti da LLM pre-addestrati (RoBERTa e DistilBERT) utilizzando il dataset Stanford Sentiment Treebank (SST-2). Ciò garantisce che l'approssimazione sia fondata su dati NLP reali piuttosto che su distribuzioni sintetiche.
• Selezione del Grado: Gli autori hanno valutato sistematicamente i gradi polinomiali da 2 a 5. Hanno scoperto che, sebbene gradi superiori offrano teoricamente un migliore adattamento, introducono instabilità e tassi di errore esponenzialmente più alti nei domini cifrati a causa dell'aumentata profondità moltiplicativa e della crescita del rumore nello schema CKKS. Di conseguenza, il polinomio di secondo grado è stato selezionato come il compromesso ottimale tra accuratezza ed efficienza computazionale.

Il polinomio finale risultante è:
$$p(x) = 0.082261 + 0.495588x + 0.444488x^2$$

3. Contributi Chiave

• Una Strategia di Approssimazione Innovativa: L'introduzione di una tecnica di lisciatura basata su Kernel seguita da un adattamento polinomiale di basso grado, specificamente adattato ai vincoli dell'HE.
• Validazione nel Mondo Reale: A differenza di lavori precedenti che spesso si affidano a dati sintetici o a valutazioni indirette tramite accuratezza di classificazione, questo metodo è addestrato e valutato su effettivi embedding di token provenienti da LLM pre-addestrati.
• Benchmarking Completo: Il metodo proposto è rigorosamente confrontato con approssimazioni consolidate, inclusi $x^2$, FasterCryptoNets e polinomi di Chebyshev (gradi 3 e 5), su più dimensioni: errore di approssimazione (MSE), accuratezza del modello (FeedForward, CNN, ViT) e costo computazionale.

4. Risultati

La valutazione è stata condotta su sei scenari sperimentali, che coprono sia ambienti in testo chiaro che cifrati (CKKS):

• Accuratezza di Approssimazione: Il metodo Polinomiale Kernel ha ottenuto il più basso Errore Quadratico Medio (MSE) sia negli ambienti in testo chiaro che cifrati (0.056862) rispetto ai polinomi di grado superiore, che hanno mostrato instabilità significativa (ad esempio, MSE > 390 per il grado 5). Nei test su dati strutturati utilizzando embedding di RoBERTa e DistilBERT, il metodo proposto ha mantenuto un MSE di 0.002, superando $x^2$ e FasterCryptoNets.
• Prestazioni del Modello:
  • Modelli DL: Nelle architetture FeedForward e CNN sul dataset MNIST, il Polinomio Kernel ha raggiunto un'accuratezza del 99% e del 99,2% rispettivamente, paragonabile o leggermente inferiore alla migliore performance di FasterCryptoNets (99,3%).
  • Trasformatori: Sull'architettura ViT con CIFAR-10 e CIFAR-100, il metodo ha dimostrato una forte generalizzazione, raggiungendo un'accuratezza del 38,5% su CIFAR-100 (la più alta tra i metodi testati), mentre approssimazioni di grado superiore come Chebyshev-5 hanno mostrato prestazioni inferiori.
• Prestazioni in Ambiente Cifrato:
  • Divario di Accuratezza: Il metodo proposto ha mostrato il divario di accuratezza più piccolo tra l'esecuzione in testo chiaro e quella cifrata (29,3%), superando Chebyshev-3 (35,3%) e Chebyshev-5 (33,6%).
  • Efficienza Computazionale: Il polinomio di secondo grado ha offerto un vantaggio significativo in termini di velocità. Il tempo totale dell'esperimento per il Polinomio Kernel è stato di 1.864 secondi, mentre Chebyshev-5 ha richiesto 11.348 secondi (un fattore di rallentamento di circa 109x). Il metodo ha mantenuto una bassa profondità moltiplicativa, prevenendo la rapida crescita del rumore associata ai polinomi di grado superiore in CKKS.

5. Significato e Affermazioni

Il documento afferma che il metodo Polinomiale Kernel proposto rappresenta una soluzione robusta ed efficiente per l'inferenza che preserva la privacy negli LLM e nei modelli DL. Il suo significato risiede in:

• Colmare il Divario: Colma efficacemente il divario di prestazioni tra l'esecuzione cifrata e non cifrata, consentendo il deployment di modelli complessi come i Trasformatori in contesti NLP sensibili alla privacy senza il grave degrado dell'accuratezza osservato nelle approssimazioni di grado superiore.
• Compromesso Ottimale: Lo studio dimostra che, per funzioni lisce basate su Kernel, i polinomi di grado inferiore (in particolare grado 2) possono raggiungere errori di approssimazione eccezionalmente bassi mantenendo alta accuratezza di classificazione e costi computazionali inferiori. Ciò sfida l'assunzione secondo cui i polinomi di grado superiore sono intrinsecamente superiori per l'approssimazione nei contesti HE.
• Fattibilità Pratica: Minimizzando la profondità moltiplicativa, il metodo riduce il "costo della privacy" (latenza e accumulo di rumore), rendendolo un candidato valido per applicazioni di inferenza sicura ad alto throughput.

Gli autori concludono che, sebbene lavori futuri possano esplorare modelli ibridi adattivi e accelerazione hardware, il metodo attuale affronta con successo la sfida critica di integrare funzioni di attivazione non lineari nelle pipeline di deep learning compatibili con la Crittografia Omomorfica.