Riepilogo Tecnico: FedShield-LLM

Enunciato del Problema

Il fine-tuning dei Modelli Linguistici di Grandi Dimensioni (LLM) per applicazioni specifiche di dominio (ad esempio, sanità, finanza) affronta una duplice sfida: privacy dei dati e scalabilità computazionale.

• Rischi per la Privacy: L'addestramento centralizzato richiede la condivisione di dati sensibili, violando normative come il GDPR e il CCPA. Sebbene l'Apprendimento Federato (FL) mantenga i dati in locale, il FL standard rimane vulnerabile ad attacchi di inferenza, come gli Attacchi di Inversione del Gradiente (GIA) e l'inferenza di appartenenza, in cui server malintenzionati o client compromessi possono ricostruire dati privati di addestramento dagli aggiornamenti del modello.
• Scalabilità ed Efficienza: Il fine-tuning dell'intero modello è computazionalmente proibitivo per client con risorse limitate e comporta un enorme sovraccarico di comunicazione. Le tecniche esistenti di preservazione della privacy, come la Privacy Differenziale (DP), spesso degradano le prestazioni del modello a causa dell'iniezione di rumore, mentre la Crittografia Omomorfica Completa (FHE) applicata a modelli interi è computazionalmente non fattibile a causa dell'enorme numero di parametri.

Metodologia: FedShield-LLM

Gli autori propongono FedShield-LLM, un nuovo framework di fine-tuning federato che integra tre componenti fondamentali per affrontare le suddette sfide: Adattamento a Basso Rango (LoRA), Potatura Non Strutturata e Crittografia Omomorfica Completa (FHE).

1. Componenti Fondamentali

• Aggiornamenti Locali Basati su LoRA: Invece di aggiornare tutti i parametri del modello, i client effettuano il fine-tuning solo degli strati adattatori leggeri (LoRA). Questo riduce il numero di parametri addestrabili da $O(d^2)$ a $O(rd)$, abbattendo drasticamente il sovraccarico computazionale e di memoria sui dispositivi client.
• Potatura Non Strutturata: Prima della trasmissione, i client applicano una potatura non strutturata agli aggiornamenti LoRA. Questo rimuove i parametri meno significativi (basati sulla magnitudine), servendo a due scopi:
  1. Ridurre il sovraccarico di comunicazione.
  2. Limitare la "superficie di attacco" disattivando parametri che potrebbero essere critici per la ricostruzione di dati privati.
• Aggregazione Sicura tramite FHE (CKKS): I client cifrano i propri aggiornamenti LoRA potati utilizzando lo schema di crittografia omomorfica CKKS. Il server aggrega questi aggiornamenti cifrati (sommando/mediando) senza mai decifrare i dati dei singoli client. Solo una parte autorizzata in possesso della chiave segreta può decifrare l'aggiornamento del modello aggregato finale.

2. Flusso di Lavoro

1. Inizializzazione: Un server di gestione delle chiavi fidato genera una coppia di chiavi pubblica/privata. La chiave pubblica è condivisa con il server e i client.
2. Addestramento Locale: I client caricano un LLM di base congelato e effettuano il fine-tuning solo degli adattatori LoRA sui propri dati privati locali.
3. Sparsificazione e Cifratura: I client calcolano gli aggiornamenti LoRA, applicano una maschera di potatura per azzerare i pesi a bassa magnitudine e cifrano i risultanti aggiornamenti sparsi utilizzando CKKS.
4. Aggregazione: Il server esegue un'addizione omomorfica sugli aggiornamenti cifrati per calcolare l'aggiornamento globale.
5. Decifratura e Aggiornamento: Il testo cifrato aggregato viene decifrato (da una parte autorizzata) e l'aggiornamento LoRA globale risultante viene applicato al modello di base per il round successivo.

3. Garanzie Teoriche

• Convergenza: Il documento fornisce una prova di convergenza che dimostra come FedShield-LLM converga sublinearmente ($O(1/\sqrt{R})$) a un punto stazionario in contesti non convessi, simile al FedAvg standard. La prova sostiene che la cifratura non altera i valori numerici e che la potatura agisce come una perturbazione limitata che non interrompe fondamentalmente le dinamiche di ottimizzazione.
• Sicurezza: Sotto l'assunzione Ring Learning With Errors (RLWE), lo schema CKKS fornisce sicurezza semantica. Inoltre, la combinazione di cifratura e sparsificazione crea un sistema sottodeterminato per potenziali attaccanti, rendendo gli attacchi di inversione del gradiente (ricostruzione degli input dagli aggiornamenti) mal posti e computazionalmente non fattibili.

Contributi Chiave

1. Integrazione di un Nuovo Framework: Questo è il primo lavoro a combinare FHE, LoRA e potatura non strutturata specificamente per il fine-tuning federato degli LLM. Consente un'aggregazione sicura nel dominio cifrato, mitigando al contempo la fuoriuscita di privacy durante sia l'addestramento che l'inferenza.
2. Fattibilità per Ambienti con Risorse Limitate: Sfruttando LoRA per aggiornare solo adattatori leggeri e la potatura per ridurre le dimensioni dei dati, il framework rende pratico il fine-tuning sicuro e cifrato per grandi LLM (ad esempio, 7B e 13B parametri) su dispositivi edge.
3. Robustezza contro Attacchi di Inferenza: Il framework offre forti garanzie contro server "onesti ma curiosi" e attacchi di inversione del gradiente, superando i metodi basati su DP che soffrono del compromesso privacy-utilità.

Risultati Sperimentali

Gli autori hanno valutato FedShield-LLM utilizzando modelli Llama-2 (7B e 13B) su quattro dataset diversificati: alpaca-gpt4 (generale), fingpt-sentiment-train (finanza), MathInstruct (ragionamento) e medical flashcards (sanità).

• Prestazioni vs. Baseline: FedShield-LLM ha costantemente raggiunto una perdita di addestramento inferiore e più stabile rispetto a Vanilla FL e DP-LoRA. Ha dimostrato una convergenza più rapida, in particolare nei primi round di comunicazione.
• Qualità della Generazione di Testo: Valutata tramite BERTScore rispetto a riferimenti GPT-4o, FedShield-LLM ha ottenuto il punteggio F1 più alto (0.6865), superando DP-LoRA (0.6130) e Vanilla FL (0.5756). L'analisi qualitativa ha mostrato che il modello genera passaggi di ragionamento coerenti e accurati, paragonabili a GPT-4o.
• Impatto della Potatura sulla Sicurezza: Esperimenti utilizzando l'attacco DAGER (inversione del gradiente) hanno mostrato che, sebbene una potatura del 50% aumentasse leggermente i punteggi ROUGE (a causa di ricostruzioni più brevi e simili a modelli), aumentare il tasso di potatura al 60-70% ha degradato significativamente la capacità dell'attaccante di ricostruire testo significativo. Questo conferma che la potatura riduce efficacemente la vulnerabilità agli attacchi di inferenza.
• Efficienza: Il framework ha ridotto con successo il sovraccarico di comunicazione (ad esempio, da 1200MB a 120MB tramite LoRA, ulteriormente ridotto dalla potatura) mantenendo l'utilità del modello.

Significato e Affermazioni

Il documento afferma che FedShield-LLM offre un compromesso privacy-utilità superiore rispetto ai metodi esistenti:

• A differenza della Privacy Differenziale (DP), che degrada l'accuratezza del modello aggiungendo rumore, FedShield-LLM utilizza FHE per un'aggregazione esatta, preservando l'integrità del gradiente e le prestazioni del modello.
• A differenza degli approcci centralizzati HE (ad esempio, PrivTuner), FedShield-LLM opera in un ambiente FL decentralizzato e multi-client, affrontando le sfide specifiche della collaborazione tra silos.
• L'integrazione della potatura è critica; senza di essa, l'applicazione di FHE a parametri interi degli LLM sarebbe computazionalmente proibitiva. La potatura riduce la superficie di attacco e rende fattibile la cifratura degli aggiornamenti.

Gli autori posizionano FedShield-LLM come una soluzione pratica per il dispiegamento di LLM sicuri e specifici di dominio in industrie regolamentate (sanità, finanza) dove la privacy dei dati è fondamentale e le risorse computazionali sono limitate. Riconoscono che, sebbene FHE introduca un sovraccarico computazionale non trascurabile, la combinazione con LoRA e potatura ne fa un percorso praticabile, sebbene siano necessari lavori futuri per ottimizzare ulteriormente la scalabilità per popolazioni di client massive e distribuzioni di dati altamente non-IID.