Riepilogo Tecnico: FuseFSS

Definizione del Problema

Nell'inferenza sicura per modelli di Large Language Models (LLM) con due server, i client possono interrogare modelli ospitati senza rivelare prompt o embedding, condividendo segretamente gli input tra server non colludenti. Sebbene sistemi recenti basati su GPU che utilizzano la Function Secret Sharing (FSS) abbiano reso efficienti i layer lineari, rimangono colli di bottiglia significativi nelle non-linearità a virgola fissa (ad esempio, attivazioni come GELU, componenti di Softmax) e nelle operazioni di rescaling.

Gli attuali sistemi allo stato dell'arte (ad esempio, Sigma) si affidano a protocolli bespoke (su misura), per singolo operatore. Ogni operatore richiede un'implementazione personalizzata che comporta confronti specifici, correzioni di wrap-around e materiale di pre-elaborazione. Questo approccio è fragile: complica le prove di correttezza, duplica la logica di generazione delle chiavi e rende difficile l'aggiunta di nuovi operatori senza introdurre bug sottili relativi al wrap-around modulo-$2^n$ o alla segno (signedness). Inoltre, questi protocolli personalizzati portano spesso a un elevato overhead di comunicazione online e a costi di pre-elaborazione pesanti (tempo e dimensione della generazione delle chiavi).

Metodologia: FuseFSS

Gli autori presentano FuseFSS, un compilatore che sostituisce l'ingegneria dei protocolli per singolo operatore con una pipeline di compilazione uniforme e adatta alle GPU. L'intuizione centrale è che, attraverso le comuni non-linearità a virgola fissa, la logica dipendente dai dati segue un pattern simile: la selezione di una regione utilizzando un piccolo set di bit di predicato e l'applicazione successiva di una forma aritmetica di basso grado con un numero limitato di costanti.

1. Specifiche degli Operatori

FuseFSS introduce una specifica di operatore tipizzata che funge da rappresentazione intermedia (IR) per gli operatori elementwise a virgola fissa. Una specifica definisce:

• Partizione dell'Intervallo: Una partizione completa dei rappresentanti canonici di $\mathbb{Z}_{2^n}$ in intervalli $I_i = [\alpha_i, \alpha_{i+1})$.
• Pezzi Aritmetici: Per ogni intervallo, un vettore di polinomi di basso grado $P_i(x)$ per calcolare l'output aritmetico.
• Bit di Predicato: Formule booleane $B_i(x)$ costruite da predicati primitivi (ad esempio, $x < \beta$) per determinare quale intervallo sia attivo.

2. Compilazione Consapevole della Maschera (Mask-Aware)

Il compilatore traduce queste specifiche in un protocollo uniforme che opera su un valore mascherato pubblico $\hat{x} = x + r_{in} \pmod{2^n}$, dove $r_{in}$ è una maschera fresca e condivisa segretamente, campionata durante la pre-elaborazione.

• Riscrittura dei Predicati: Il compilatore riscrive i predicati sul segreto di input $x$ in confronti sul valore pubblico $\hat{x}$, utilizzando bit di carry (riporto) condivisi segretamente derivati dalla maschera $r_{in}$ per gestire correttamente il wrap-around del modulo.
• Struttura Uniforme: Indipendentemente dallo specifico operatore, il compilatore emette esattamente due valutazioni FSS standard sul valore pubblico $\hat{x}$:
  1. Confronto Impacchettato (Packed Comparison): Una singola valutazione che restituisce gli share XOR di tutti i bit di predicato richiesti (indicatori di intervallo).
  2. Ricerca dell'Intervallo Vettoriale (Vector Interval Lookup): Una singola valutazione che restituisce gli share additivi dei coefficienti e delle costanti del polinomio attivo per l'intervallo selezionato.

3. Post-Processing

Il calcolo rimanente è un circuito di post-elaborazione a struttura fissa. Questo include:

• Regola di Horner: Valutazione del polinomio di basso grado selezionato sul segreto di $x$ (derivato localmente da $\hat{x}$ e $r_{in}$) utilizzando coppie di Beaver (Beaver triples).
• Operazioni Ausiliarie: Applicazione della logica booleana (XOR, AND) e conversioni tra domini misti (B2A/A2B) per combinare i risultati aritmetici e booleani.
• Gate Compatibili con la Specifica: Per le operazioni che non possono essere puramente polinomiali (ad esempio, troncamento, shift aritmetici a destra), il compilatore aggiunge un circuito di post-elaborazione deterministico $\Phi$ che prende l'output polinomiale e le costanti derivate dalla maschera per produrre il risultato finale.

4. Sicurezza e Leakage

FuseFSS aderisce alla semantica di masked-wire, garantendo una maschera fresca e indipendente per ogni wire. Fondamentalmente, il compilatore impone forme pubbliche indipendenti dalla maschera. Il numero di confronti, la larghezza dei bit e le dimensioni della ricerca dell'intervallo dipendono solo dalla specifica dell'operatore pubblico e dai metadati a virgola fissa, non dalle maschere campionate. Ciò evita il leakage di informazioni segrete attraverso le dimensioni delle chiavi o le forme delle istanze. Il modello di sicurezza assume un avversario semi-onesto in un contesto di pre-elaborazione a due server.

Contributi Chiave

1. Prestazioni allo Stato dell'Arte: FuseFSS raggiunge le migliori prestazioni riportate per l'inferenza sicura basata su FSS su modelli di tipo BERT e GPT, migliorando la latenza e riducendo i costi di pre-elaborazione pur mantenendo l'accuratezza del modello.
2. Target di Compilazione Pratico: Dimostra che una vasta gamma di operatori scalari a virgola fissa può essere unificata sotto un'unica specifica, eseguita tramite due chiamate FSS standard più un post-processing uniforme, eliminando la necessità di progettare protocolli bespoke.
3. Compilazione Consapevole della Maschera con Sicurezza: Il sistema deriva corrette valutazioni dei predicati da input pubblici mascherati, imponendo al contempo l'invarianza della forma, consentendo una prova di correttezza unificata e di sicurezza semi-onesta attraverso diversi operatori.

Risultati Sperimentali

Gli autori hanno valutato FuseFSS rispetto a Sigma, l'attuale baseline allo stato dell'arte basata su FSS, su modelli di tipo BERT e GPT (inclusi BERT-tiny/base/large, GPT-2 e GPT-Neo) con lunghezza della sequenza 128 e batch size 1.

• Accelerazione End-to-End: FuseFSS raggiunge un'accelerazione della latenza online di 1,24×–1,50×. Ad esempio, il tempo di inferenza per BERT-base-128 è sceso da 1613,80 ms (Sigma) a 1149,50 ms (FuseFSS), una riduzione del 28,8%.
• Riduzione della Comunicazione: La comunicazione online è ridotta del 9%–16%.
• Efficienza della Pre-elaborazione:
  • Tempo di Generazione delle Chiavi: Ridotto del 14%–23%.
  • Dimensione della Chiave: Ridotta del 20%–24%.
• Scalabilità: L'accelerazione rimane costante (1,36×–1,45×) all'aumentare della lunghezza della sequenza da 32 a 512.
• Attribuzione: I guadagni sono guidati principalmente dall'accelerazione dei blocchi scalari non lineari e ausiliari (ad esempio, GELU, componenti di Softmax), che costituiscono la maggior parte della latenza nel baseline. Ad esempio, il percorso compilato per Softmax (nExp + reciproco) ha visto un'accelerazione di 4,5×–4,7×.

Significato e Claim

Il paper sostiene che FuseFSS affronti il principale collo di bottiglia nell'inferenza sicura a due server: la complessità ingegneristica e l'overhead delle non-linearità a virgola fissa. Passando da protocolli bespoke per singolo operatore a una pipeline di compilazione uniforme, FuseFSS semplifica il design del sistema, migliora le garanzie di correttezza e riduce significativamente sia i costi online che quelli offline.

Gli autori posizionano FuseFSS come una soluzione pratica per il deployment dell'inferenza LLM preservando la privacy in contesti che richiedono una forte riservatezza per prompt ed embedding (ad esempio, sanità, finanza). Essi notano esplicitamente che il loro lavoro si concentra sulle non-linearità scalari; le operazioni a livello di vettore (come riduzioni o sparsificazione dell'attenzione) rimangono al di fuori della IR della specifica dell'operatore e sono gestite da standard sub-protocolli MPC. L'analisi di sicurezza è limitata al modello semi-onesto con due server non colludenti, riconoscendo che l'estensione a modelli avversari più forti è una direzione futura.