Decision-Aware Quadratic ReLU Replacement for HE-Friendly Inference

Riepilogo Tecnico: Sostituzione Quadratica Consapevole delle Decisioni di ReLU per l'Inferenza Compatibile con HE

Enunciato del Problema
La Crittografia Omomorfica Fully Homomorphic Encryption (FHE) abilita l'inferenza di reti neurali che preserva la privacy consentendo calcoli su dati cifrati senza decrittazione. Tuttavia, la FHE supporta nativamente solo addizioni e moltiplicazioni, rendendo le funzioni di attivazione non lineari come ReLU ($\max\{0, u\}$) computazionalmente costose. Gli approcci esistenti basati esclusivamente su FHE sostituiscono tipicamente ReLU con polinomi di alto grado (ad esempio, approssimazioni di Remez o Chebyshev) adattati su intervalli di attivazione empirici. Sebbene questi metodi evitino i confronti, spesso richiedono polinomi di alto grado per controllare l'errore di approssimazione, portando a una profondità moltiplicativa aumentata, operazioni di ridimensionamento e latenza. Inoltre, questi metodi ottimizzano la fedeltà dell'approssimazione puntuale locale piuttosto che l'obiettivo globale di classificazione: preservare l'ordinamento finale dei logit top-1.

Metodologia
Gli autori propongono un framework consapevole delle decisioni che sostituisce ReLU con un polinomio quadratico condiviso di basso grado ($q(u) = \alpha u^2 + \beta u + \eta$) senza riaddestrare il modello. L'intuizione fondamentale è che, per un Perceptron Multistrato (MLP) con un singolo strato nascosto ReLU addestrato o per una testa MLP su caratteristiche congelate, la decisione finale dipende dall'ordinamento dei logit. Pertanto, il polinomio di sostituzione non deve approssimare ReLU punto per punto; deve solo preservare l'ordinamento relativo dei punteggi finali su un insieme di calibrazione dichiarato.

La metodologia procede in due fasi:

1. Costruzione Offline dei Coefficienti: Dato un modello addestrato e un insieme di calibrazione, gli autori formulano la ricerca dei coefficienti $(\alpha, \beta, \eta)$ come un problema di fattibilità geometrica.
   • Caso Binario: Il problema è ridotto alla ricerca di un separatore iperpiano a margine positivo tra due inviluppi convessi sollevati in uno spazio 2D definito dalle statistiche $Q(x) = \sum a_j y_j(x)^2$ e $H(x) = \sum a_j y_j(x) + b$. Se gli inviluppi sono disgiunti, è possibile una sostituzione esatta senza perdita di calibrazione. I coefficienti ottimali sono derivati dalla coppia di punti più vicini tra gli inviluppi.
   • Caso Multiclasse: La condizione diventa la fattibilità stretta delle disuguaglianze di margine affine tra logit a coppie.
   • Rilassamenti: Quando la separazione esatta fallisce (a causa di campioni mal classificati o margini piccoli), gli autori impiegano Inviluppi Convessi Ridotti (RCH) e rilassamenti a margine morbido basati sul duale di Lagrange. Queste tecniche limitano l'influenza dei singoli campioni (tramite un parametro $\mu$) o introducono variabili di slack, convertendo il problema in programmi quadratici convessi (QP) che producono coefficienti approssimativamente fattibili con un alto accordo empirico.
2. Inferenza Online: Il server valuta il circuito aritmetico polinomializzato risultante su input cifrati. La sostituzione quadratica richiede una sola moltiplicazione tra cifrati per attivazione, riducendo significativamente la profondità moltiplicativa rispetto alle alternative di grado superiore.

Contributi Chiave

• Formulazione Consapevole delle Decisioni: Il documento sposta l'obiettivo dalla minimizzazione dell'errore di attivazione locale alla massimizzazione dell'accordo sull'ordinamento dei logit nell'insieme di calibrazione. Ciò consente l'uso di un polinomio di grado 2 anche se è una scarsa approssimazione puntuale di ReLU, purché preservi le decisioni finali di classificazione.
• Teoria Esatta su Campioni Finiti: Per i classificatori binari, gli autori stabiliscono condizioni necessarie e sufficienti per una sostituzione senza perdita di calibrazione basate sulla separabilità a margine positivo degli inviluppi convessi sollevati. Ciò fornisce un algoritmo costruttivo con complessità $O(n \log n)$ per trovare i coefficienti e un certificato per la tolleranza alla quantizzazione.
• Rilassamenti Geometrici: Per i casi in cui la separazione esatta è impossibile, il documento introduce rilassamenti RCH e a margine morbido che estendono continuamente la teoria esatta. Questi metodi forniscono surrogati pratici con diagnosi esplicite (margini, slack, tassi di accordo) piuttosto che affermare una preservazione esatta dove non può essere certificata.
• Implementazione e Validazione: Gli autori hanno implementato la pipeline nella libreria open-source QUAD4FHE. Hanno validato l'approccio su dataset diversificati (tabellari, visione, testo) utilizzando sia caratteristiche grezze che rappresentazioni congelate (DINOv2, Qwen3).

Risultati

• Accuratezza: Sotto lo schema CKKS, la sostituzione quadratica corrisponde all'accuratezza top-1 in chiaro del modello ReLU originale su diversi benchmark (ad esempio, Otto, DINOv2/FGVC-Aircraft, Qwen3/MASSIVE). In molti compiti multiclasse, supera o eguaglia baseline solide come OLA e Precise Approximation, nonostante utilizzi un polinomio di grado inferiore.
• Efficienza: La sostituzione quadratica esegue 3,7–4,1 volte più velocemente nel modulo di attivazione e 1,18–1,68 volte più velocemente end-to-end rispetto a Remez-7 (una baseline di alto grado). Ciò è ottenuto perché il circuito di grado 2 rientra in una profondità moltiplicativa più ridotta (profondità 4 contro profondità 5 per Remez-7), consentendo una catena di coefficiente-modulo più efficiente e riducendo l'overhead di ridimensionamento.
• Robustezza: Il metodo rimane efficace anche quando il pool di calibrazione è piccolo (fino al 1–5% del dataset) e gestisce efficacemente gli estrattori di caratteristiche congelati.

Significato e Affermazioni
Il documento afferma che, riformulando la sostituzione di ReLU come un problema di preservazione delle decisioni piuttosto che come un problema di approssimazione di funzioni, è possibile ottenere un'inferenza FHE ad alta accuratezza con un overhead computazionale minimo. Il significato risiede nel dimostrare che un polinomio di grado 2 è sufficiente per un'inferenza cifrata ad alta fedeltà quando scelto tramite un framework geometrico consapevole delle decisioni, evitando così le penalità di latenza associate a polinomi di grado superiore. Gli autori sottolineano che le loro garanzie sono circoscritte all'insieme di calibrazione dichiarato e non forniscono garanzie libere dalla distribuzione per input non visti, ma i risultati empirici mostrano una forte generalizzazione agli insiemi di test. Il lavoro fornisce un percorso matematicamente trasparente per ottimizzare il compromesso tra accuratezza e latenza nell'inferenza neurale basata esclusivamente su FHE.