Sintesi Tecnica: Privacy from Symmetry (CONJFORMER)

Definizione del Problema

L'impiego di Large Language Models (LLM) come servizi basati su cloud richiede l'invio di dati utente a fornitori terzi, creando significativi rischi per la privacy. Sebbene l'Inferenza Divisa (Split Inference - SI) mitighi questo problema mantenendo locale il livello di embedding e trasmettendo solo le rappresentazioni nascoste intermedie, essa rimane vulnerabile all'inversione dell'embedding tramite vicini più prossimi (nearest-neighbor - NN). Nelle configurazioni SI standard, la tabella di embedding è pubblica, permettendo a un avversario di recuperare i token di input confrontando gli stati nascosti osservati dal server con la tabella pubblica tramite la similarità del coseno. Questo attacco rimane altamente efficace anche dopo il fine-tuning del modello. I metodi esistenti per la preservazione della privacy, come l'iniezione di rumore della privacy differenziale (DP) o le tecniche crittografiche (Omomorphic Encryption, Secure Multiparty Computation), soffrono o di una significativa degradazione della qualità del modello o di un carico computazionale proibitivo, rendendoli impraticabili per l'inferenza autoregressiva degli LLM.

Metodologia: CONJFORMER

Il paper propone CONJFORMER, un framework che impone l'$O(d)$-equivarianza (equivarianza rispetto al gruppo ortogonale di dimensione $d$) a livello architettonico. Ciò consente al client di offuscare gli embedding utilizzando una matrice ortogonale segreta, garantendo al contempo che il server possa eseguire correttamente l'inferenza senza mai osservare stati nascosti non ruotati.

Meccanismi Core

1. Offuscamento Ortogonale: Il client moltiplica gli embedding di input per una matrice ortogonale segreta $U \in O(d)$ prima della trasmissione.
2. Coniugazione dei Pesi: Per preservare la funzionalità del modello sotto questa rotazione, il client applica la coniugazione lineare a due lati a tutti i pesi lineari del transformer. Se un livello lineare è $W$, il server riceve $\hat{W} = O W U^\top$, dove $O$ è una matrice ortogonale specifica per blocco.
3. Modifiche Architetturali: Per raggiungere l'esatta $O(d)$-equivarianza, gli autori introducono modifiche minime all'architettura del transformer:
   • RMSNorm Scalare: I normalizzatori standard (LayerNorm o RMSNorm con vettori apprendibili) sono dipendenti dalle coordinate e rompono l'equivarianza. CONJFORMER sostituisce questi con una RMSNorm che utilizza un guadagno scalare. Ciò assicura che l'operazione di normalizzazione commuti con le trasformazioni ortogonali.
   • Coniugazione per Blocchi: Tutte le proiezioni lineari (Query, Key, Value, Output e pesi FFN) sono coniugate. Il server esegue l'intero passaggio forward nella base ruotata.

Garanzia Teorica

Il framework garantisce l'equivalenza funzionale per blocchi:
$$\hat{F}_b(X U^\top) = F_b(X) U^\top$$
dove $F_b$ è il blocco originale del transformer e $\hat{F}_b$ è il blocco coniugato. Di conseguenza, il server calcola esattamente la stessa logica del modello originale ma opera interamente su rappresentazioni ruotate. Il server non osserva mai gli stati nascosti non ruotati, rendendo impossibile l'inversione diretta NN contro la tabella di embedding pubblica.

Contributi Chiave

1. Architettura: Sviluppo di una variante del transformer che è esattamente $O(d)$-equivariante tramite modifiche leggere (RMSNorm scalare) e coniugazione dei pesi, compatibile con trasformazioni ortogonali arbitrarie dello spazio di embedding.
2. Framework: Proposta del framework CONJFORMER, che applica la coniugazione ortogonale per blocchi per preservare la funzionalità sotto l'offuscamento segreto, eliminando efficacemente l'inversione diretta dell'embedding tramite vicini più prossimi.
3. Analisi dell'Attacco: Identificazione e analisi di nuovi vettori di attacco resi necessari dall'offuscamento. Poiché il matching diretto è eliminato, l'avversario deve ricorrere ad attacchi di allineamento dei pesi (weight alignment attacks) per recuperare le trasformazioni ortogonali nascoste. Il paper introduce e valuta:
   • Allineamento ALS–Procrustes a due lati: Un metodo iterativo per stimare $U$ e $O$ allineando i pesi fine-tuned coniugati con i pesi pre-addestrati pubblici.
   • Allineamento dei Pesi basato su Gram: Un metodo che aggrega informazioni attraverso i blocchi sfruttando l'invarianza delle matrici di Gram sotto rotazioni specifiche per blocco, offrendo un attacco più forte rispetto a Procrustes.
4. Validazione Empirica: Esperimenti estesi su modelli GPT-2 (Small, Medium, Large) e Llama 3.2 1B fine-tuned su abstract di PubMed.

Risultati Sperimentali

Gli autori hanno valutato CONJFORMER su varianti di GPT-2 e Llama 3.2 1B, fine-tuned su abstract di PubMed.

• Efficacia della Privacy:
  • Modelli Originali: L'inversione dell'embedding tramite vicini più prossimi raggiunge un'alta accuratezza (oltre il 35% di recupero del top-10 token) anche dopo il fine-tuning.
  • CONJFORMER: L'offuscamento ortogonale elimina l'inversione diretta NN del coseno. Gli attacchi più forti rimanenti (allineamento dei pesi basato su Gram) degradano a prestazioni quasi casuali (al massimo il 1,3% di recupero del top-10 token) dopo il fine-tuning.
• Performance del Modello:
  • Perplessità: Il framework comporta un costo di performance minimo. I modelli CONJFORMER fine-tuned mostrano aumenti di perplessità di soli 0,4% (Llama 3.2 1B) a circa il 2% (GPT-2 Small) rispetto ai modelli baseline.
  • Retrofitting: I modelli pre-addestrati possono essere "retrofittati" all'architettura equivariante sostituendo i livelli di normalizzazione e completando un breve fine-tuning, recuperando la perplessità originale entro 2.000 iterazioni.

Significato e Rivendicazioni

Il paper sostiene che CONJFORMER fornisce una difesa pratica per l'inferenza di LLM che preserva la privacy senza fare affidamento sull'iniezione di rumore (che degrada la qualità) o su pesanti macchinari crittografici (che sono troppo lenti).

• Spostamento del Problema Avversariale: La principale significatività è che il metodo cambia fondamentalmente la natura dell'attacco. Sposta l'avversario da un semplice problema di "ricerca" (matching di vettori a una tabella pubblica) a un complesso problema di "recupero della base" (risoluzione di trasformazioni ortogonali nascoste tramite allineamento dei pesi).
• Simmetria Architetturale: Il lavoro dimostra che imporre la simmetria a livello architettonico può fornire garanzie di privacy robuste contro l'inversione dell'embedding.
• Limitazioni: Gli autori dichiarano esplicitamente che CONJFORMER non è un meccanismo crittografico o di privacy differenziale. Si basa sulla segretezza della chiave ortogonale del client e sulla privacy della tabella di embedding fine-tuned. Non protegge contro attacchi che sfruttano gli invarianti ortogonali (ad es. norme, distanze a coppie) o scenari con testo noto in cui l'avversario può osservare gli input non ruotati. La sicurezza si basa sulla difficoltà computazionale del problema di allineamento dei pesi piuttosto che sulla segretezza informazionale.