Sintesi Tecnica: PRISM – Gauge-Invariant Tangent-Space Differentially Private LoRA

1. Formulazione del Problema

Il paper affronta la sfida di applicare la Privacy Differenziale (DP) al Low-Rank Adaptation (LoRA), un metodo dominante di fine-tuning parametrico efficiente (PEFT). Sebbene il DP-SGD standard possa essere applicato direttamente ai fattori di basso rango $(A, B)$ di un aggiornamento LoRA $Z = AB^\top$, gli autori identificano che questo approccio ingenuo è fondamentalmente disallineato con la struttura geometrica di LoRA, portando a tre problemi critici:

1. Dipendenza dal Gauge (Gauge Dependence): La fattorizzazione LoRA non è identificabile; per qualsiasi matrice invertibile $R \in GL(r)$, le coppie $(A, B)$ e $(AR, BR^{-\top})$ rappresentano lo stesso aggiornamento intrinseco $Z$. Tuttavia, l'applicazione del DP-SGD ai fattori $(A, B)$ comporta un clipping e un'iniezione di rumore che dipendono dal gauge specifico (fattorizzazione) scelto. Ciò porta a garanzie di privacy e magnitudo delle perturbazioni incoerenti per lo stesso aggiornamento del modello sottostante.
2. Amplificazione del Rumore Illimitata: Quando il rumore viene iniettato indipendentemente in entrambi i fattori $A$ e $B$, l'aggiornamento intrinseco risultante su $Z$ contiene un termine bilineare del secondo ordine ($\eta^2 \xi_A \xi_B^\top$) e un termine del primo ordine la cui magnitudo scala con le norme dei fattori ($\|A\|_F, \|B\|_F$). Sotto trasformazioni di gauge (ad esempio, riscalando $A \to cA, B \to c^{-1}B$), l'energia del rumore effettivo su $Z$ può crescere senza limiti, anche se l'aggiornamento target $Z$ rimane costante.
3. Instabilità con Ottimizzatori Adattivi: Gli ottimizzatori adattivi (ad esempio, Adam, AdamW) utilizzano precondizionatori stimati dai gradienti. In presenza di rumore DP, questi precondizionatori possono adattarsi alle statistiche del rumore piuttosto che al segnale. Nel contesto low-rank, ciò può portare a matrici di Gram mal condizionate ($A^\top A, B^\top B$), causando instabilità numerica e amplificando ulteriormente il rumore di privacy iniettato.

2. Metodologia: PRISM

Gli autori propongono PRISM (Projected Riemannian Invariant Subspace Mechanism), un meccanismo DP progettato per operare direttamente sulla geometria intrinseca del manifold dell'aggiornamento a basso rango piuttosto che sullo spazio ridondante dei fattori.

Componenti Core

• Proiezione dello Spazio Tangente: Invece di perturbare i fattori, PRISM tratta l'aggiornamento $Z$ come un punto sul manifold a rango fisso $\mathcal{M}_r$. Proietta i gradienti per esempio sullo spazio tangente $T_Z\mathcal{M}_r$. Questa proiezione è definita utilizzando proiettori ortogonali sugli spazi delle colonne di $A$ e $B$, garantendo che la direzione del gradiente sia invariante rispetto alle trasformazioni di gauge.
• Clipping Intrinseco Globale: PRISM calcola la norma di Frobenius del gradiente tangente intrinseco proiettato $\|\Delta Z\|_F$ per ogni esempio. Aggrega queste norme attraverso tutti i moduli LoRA per calcolare un singolo coefficiente di clipping globale, garantendo un limite di sensibilità unificato per l'intero aggiornamento del modello.
• Rumore Isotropico nello Spazio Tangente: Il rumore viene iniettato direttamente nello spazio tangente come una distribuzione gaussiana isotropa supportata sul manifold. Gli autori derivano un'espressione in forma chiusa per l'energia del rumore intrinseco effettivo, mostrando che dipende solo dal moltiplicatore del rumore $\sigma$, dalla soglia di clipping $C$, dalla dimensione del batch $b$ e dalle dimensioni degli strati $(m, n, r)$, essendo specificamente proporzionale a $\sqrt{r(m+n-r)}$. Ciò elimina la scalatura dipendente dal gauge presente nei metodi nello spazio dei fattori.
• Ritrazione: L'aggiornamento tangente rumoroso viene ritratto nuovamente sul manifold di rango-$r$ utilizzando una SVD troncata (migliore approssimazione di rango-$r$). Si dimostra che questo passaggio è esatto al primo ordine, evitando i termini di rumore bilineare del secondo ordine spuri inerenti ai semplici aggiornamenti dei fattori.
• Aggiornamento Adattivo DP-Aware: Per affrontare il Problema III, PRISM introduce una regola di aggiornamento adattivo invariante rispetto al gauge. Monitora i momenti nello spazio del rango e applica un "pavimento DP-aware" al precondizionatore. Questo pavimento è scalato in base al noto livello di rumore DP, impedendo al precondizionatore di collassare quando gli autovalori sono piccoli a causa del rumore, limitando così l'amplificazione del rumore di privacy.

Garanzie Teoriche

• Invarianza del Gauge: Si dimostra che la distribuzione dell'aggiornamento intrinseco è invariante sotto qualsiasi trasformazione di gauge dei fattori.
• Privacy: PRISM soddisfa le standard garanzie $(\epsilon, \delta)$-DP tramite il conteggio del meccanismo gaussiano sottocampionato, poiché l'operazione principale è un meccanismo gaussiano su uno spazio tangente lineare seguito da un post-processing che preserva la DP.
• Caratterizzazione del Rumore: Il paper fornisce una caratterizzazione in forma chiusa del rumore effettivo, dimostrando che è limitato e indipendente dalla scala di fattorizzazione.

3. Contributi Chiave

1. Identificazione dei Difetti Fondamentali: Il paper dimostra rigorosamente che il DP-LoRA ingenuo nello spazio dei fattori porta a un clipping dipendente dal gauge, un'amplificazione del rumore illimitata e termini di rumore bilineare spuri.
2. Meccanismo PRISM: La proposta di un meccanismo DP invariante rispetto al gauge che opera sullo spazio tangente intrinseco, utilizzando proiezione, clipping intrinseco e ritrazione per garantire perturbazioni stabili e limitate.
3. Analisi Teorica: Stabilire le garanzie $(\epsilon, \delta)$-DP e una caratterizzazione in forma chiusa del rumore intrinseco effettivo, provando la sua indipendenza dai gauge di fattorizzazione.
4. Miglioramento della Stabilità: L'introduzione di una regola di aggiornamento adattivo DP-aware che mitiga l'amplificazione del rumore negli ottimizzatori adattivi sotto vincoli low-rank.

4. Risultati Sperimentali

Gli autori valutano PRISM nel fine-tuning del backbone Gemma-3-4B-pt attraverso due suite multi-task: GLUE8 (Comprensione del Linguaggio Naturale) e Math-10K (ragionamento numerico multi-step).

• Performance sotto DP: Sotto budget di privacy $\epsilon \in \{3, 6\}$, PRISM raggiunge la performance media più alta tra 12 task rispetto ai baseline che includono il DP-LoRA ingenuo (FFA), LoRA-RITE, AdamW, LoRA+ e LAMB. Nello specifico, PRISM ha ottenuto un punteggio medio di 0.690 a $\epsilon=6$ e 0.680 a $\epsilon=3$, superando tutti gli altri metodi.
• Robustezza: PRISM ha dimostrato una superiorità costante attraverso diverse dimensioni del backbone (Gemma-2-9B, Gemma-3-12B) e ranghi LoRA ($r \in \{8, 16, 32\}$).
• Diagnostica del Meccanismo: L'analisi empirica ha confermato che la DP nello spazio dei fattori presenta una significativa sensibilità al gauge (variabilità nelle norme degli aggiornamenti basata sulla scalatura dell'inizializzazione) e un'amplificazione del rumore illimitata. Al contrario, PRISM ha ridotto la sensibilità al gauge vicino allo zero e ha mantenuto un'energia del rumore intrinseco bassa e stabile indipendentemente dalla scalatura dei fattori.
• Efficienza: Sebbene PRISM comporti un overhead di runtime (circa il doppio del tempo per step a causa dei calcoli aware della geometria), l'uso della memoria di picco rimane paragonabile alle implementazioni standard di LoRA.

5. Significato e Rivendicazioni

Il paper sostiene che PRISM risolve il disallineamento fondamentale tra il DP-SGD standard e la struttura non identificabile di LoRA. Spostando il meccanismo di privacy dallo spazio dei fattori ridondanti allo spazio tangente intrinseco, PRISM assicura che le perturbazioni di privacy siano:

1. Deterministiche nell'Effetto: Il rumore aggiunto all'aggiornamento del modello $Z$ è indipendente dalla scelta arbitraria della fattorizzazione $(A, B)$.
2. Limitate: Evita l'amplificazione illimitata del rumore che può verificarsi negli approcci nello spazio dei fattori.
3. Stabili: Impedisce agli ottimizzatori adattivi di destabilizzare il processo di training a causa del cattivo condizionamento indotto dal rumore.

Gli autori posizionano PRISM come un passo necessario per il deployment del fine-tuning LoRA preservante la privacy, particolarmente in contesti che coinvolgono dati sensibili dove la stabilità e la prevedibilità della garanzia di privacy sono fondamentali. Riconoscono che il metodo è attualmente adattato agli aggiornamenti LoRA a rango fisso e che estenderlo ad altri metodi PEFT richiederebbe la derivazione delle loro specifiche geometrie intrinseche.