On the (In-)Security of the Shuffling Defense in the Transformer Secure Inference

Sintesi Tecnica: Sulla (In-)Sicurezza della Difesa di Mescolamento nell'Inferenza Sicura dei Transformer

Enunciazione del Problema
L'inferenza sicura per i modelli Transformer utilizzando il Calcolo Multi-Parte (MPC) o la Crittografia Omomorfica (HE) affronta un collo di bottiglia critico in termini di efficienza: il calcolo dei livelli non lineari (ad esempio, Softmax, GELU, LayerNorm). La crittografia dell'intero modello (FME) richiede numerosi round di comunicazione e un pesante trasferimento di dati per questi livelli, rappresentando dal 75% al 90% della latenza totale. Per mitigare ciò, è stata proposta l'inferenza con Crittografia Solo Lineare (LOE), in cui le attivazioni intermedie vengono rivelate al client in testo chiaro per calcolare i livelli non lineari localmente. Tuttavia, la rivelazione delle attivazioni permette agli avversari di estrarre i pesi del modello risolvendo sistemi lineari.

Per contrastare ciò, lavori recenti hanno introdotto una difesa di mescolamento, in cui le attivazioni intermedie vengono permutate casualmente prima di essere rivelate al client. L'affermazione di sicurezza prevalente è che recuperare la permutazione specifica sia computazionalmente impossibile (probabilità $1/d!$ per la dimensione $d$) e che le attivazioni mescolate distruggano la correlazione necessaria per gli attacchi di estrazione dei pesi. Questo lavoro sfida tale affermazione, dimostrando che la difesa di mescolamento non è robusta contro l'estrazione dei pesi.

Metodologia
Gli autori propongono un attacco che allinea vettori di attivazione mescolati in modo diverso a una permutazione comune senza conoscere la permutazione specifica applicata. La metodologia procede in tre fasi:

1. Allineamento dei Vettori tramite Prossimità: L'avversario interroga il Transformer con più input che sono $\epsilon$-vicini tra loro. A causa della continuità di Lipschitz delle reti neurali, i vettori di attivazione intermedi risultanti sono anche vicini in valore ($\|x_a - x_b\| < L\epsilon$). Sebbene ogni vettore sia mescolato da una permutazione diversa e sconosciuta, i valori all'interno dei vettori rimangono identici. L'avversario allinea questi vettori risolvendo un problema di assegnazione (utilizzando l'algoritmo ungherese) per minimizzare la distanza tra gli elementi dei vettori mescolati, recuperando efficacemente la corrispondenza tra gli elementi attraverso diverse interrogazioni.
2. Costruzione di Input Vicini in GPT: Sorge una sfida perché gli input dei Transformer sono indici di token discreti, rendendo difficile generare input $\epsilon$-vicini direttamente. Gli autori sfruttano una proprietà dei protocolli di inferenza sicura: l'uso di aritmetica in virgola fissa con troncamento. Il troncamento sicuro introduce errori stocastici a 1 bit (ad esempio, magnitudine $2^{-18}$). Ripetutamente inviando lo stesso prompt, l'avversario sfrutta questi errori probabilistici intrinseci per generare le necessarie minime perturbazioni nelle attivazioni intermedie, creando i vettori $\epsilon$-vicini richiesti.
3. Estrazione dei Pesi: Una volta allineati i vettori di attivazione a una permutazione comune (ma sconosciuta) $\pi$, l'avversario costruisce le matrici $X^{(l)}\pi^{(l)}$ e $X^{(l+1)}\pi^{(l+1)}$. Risolvono per i pesi utilizzando la relazione lineare $W^{(l)'} = \pi^{(l)-1} X^{(l)-1} X^{(l+1)} \pi^{(l+1)}$. I pesi risultanti $W^{(l)'}$ differiscono dai pesi originali $W^{(l)}$ solo per permutazioni di righe e colonne. Crucialmente, il lavoro nota che la funzionalità della rete neurale è invariante rispetto a tale mescolamento; pertanto, i pesi estratti eseguono la stessa propagazione in avanti del modello originale.

Contributi Chiave

• Rottura della Difesa di Mescolamento: Gli autori dimostrano che un avversario può allineare con successo vettori di attivazione mescolati in modo diverso ma contenenti valori vicini, aggirando l'assunzione che la permutazione renda impossibile l'estrazione.
• Sfruttamento del Rumore del Protocollo: Il lavoro identifica e sfrutta gli errori stocastici intrinseci nei protocolli di troncamento sicuro per generare attivazioni intermedie vicine, superando la limitazione degli input di token discreti nei Transformer.
• Estrazione Teorica e Pratica: Il lavoro dimostra che le attivazioni allineate permettono l'estrazione di pesi del modello funzionalmente equivalenti all'originale, nonostante permutazioni di righe/colonne sconosciute.
• Validazione Empirica: L'attacco è stato valutato su Pythia-70m e GPT-2, dimostrando un'alta accuratezza di allineamento e un recupero riuscito dei pesi.

Risultati Sperimentali
Gli autori hanno valutato l'attacco sui modelli Pythia-70m e GPT-2 utilizzando varie precisioni in virgola fissa (14, 16 e 18 bit).

• Accuratezza di Allineamento: Il metodo proposto allinea le attivazioni mescolate con Errori Quadratici Medi (MSE) che variano da $10^{-9}$ a $10^{-6}$. Meno del 2% degli elementi è disallineato, con una precisione più alta che produce un migliore allineamento.
• Recupero dei Pesi: I pesi estratti mostrano differenze nella norma L1 rispetto ai pesi oracle che variano da $10^{-4}$ a $10^{-2}$. Modelli più piccoli (Pythia-70m) hanno mostrato tassi di errore inferiori rispetto a quelli più grandi (GPT-2).
• Efficienza dei Costi: L'attacco richiede un numero di interrogazioni proporzionale alla dimensione del modello (ad esempio, ~32.768 per Pythia-70m). Utilizzando i prezzi delle API commerciali, il costo totale è di circa 1$.
• Equivalenza Funzionale: I pesi rubati, quando utilizzati come modello surrogato, raggiungono punteggi di perplessità vicini al modello originale (ad esempio, 31,81 contro 44,46 per Pythia-70m). Dopo una breve fase di fine-tuning (al massimo 6 minuti), il modello recuperato corrisponde alla perplessità della vittima (32,43 contro 31,81), trasformando efficacemente gli attacchi successivi da scenari black-box a white-box.

Significato e Affermazioni
Il lavoro afferma di rivelare una significativa perdita di informazioni nella difesa di mescolamento, che in precedenza era considerata sicura contro l'estrazione dei pesi. Gli autori sostengono che la difesa fallisce perché non tiene conto della capacità di allineare i vettori basandosi sulla prossimità numerica piuttosto che sulla conoscenza posizionale.

Il significato di questo lavoro risiede nell'esporre una vulnerabilità che permette agli avversari di recuperare i pesi del modello con alta fedeltà a basso costo. I pesi estratti sono sufficienti per analizzare modelli privati o servire come inizializzazione efficace per modelli surrogati, rafforzando così gli attacchi black-box esistenti. Gli autori concludono che la sicurezza della difesa di mescolamento nell'inferenza sicura e negli ambienti correlati di preservazione della privacy richiede una rivalutazione.

Limitazioni
Gli autori notano modestamente che, sebbene l'attacco sia teoricamente garantito e validato su modelli su piccola scala, la fedeltà dei pesi estratti potrebbe degradare all'aumentare della scala del modello. Tuttavia, affermano che una validazione riuscita su modelli su piccola scala è sufficiente a dimostrare la vulnerabilità fondamentale del meccanismo di difesa.