PrivTune: Efficient and Privacy-Preserving Fine-Tuning of Large Language Models via Device-Cloud Collaboration

Sintesi Tecnica: PrivTune

Problematica

La proliferazione dei Large Language Models (LLM) ha portato al paradigma "Language Model-as-a-Service" (LMaaS), in cui gli utenti effettuano il fine-tuning di modelli ospitati in cloud su dataset privati. Ciò crea una tensione fondamentale tra prestazioni e privacy: caricare dati sensibili sul cloud espone al rischio di fughe di dati, mentre mantenere i dati sul dispositivo richiede il download dell'intero set di pesi del modello, il che viola le restrizioni sulla proprietà del modello.

Gli esistenti framework di collaborazione dispositivo-cloud tentano di mitigare questo problema scaricando solo una parte del modello (Split Learning) e iniettando rumore di Differential Privacy (DP) nelle rappresentazioni intermedie. Tuttavia, questi approcci soffrono di un critico compromesso tra privacy e utilità (privacy-utility trade-off): il rumore DP standard è spesso troppo grossolano, degradando significativamente le prestazioni del fine-tuning, o troppo debole, fallendo nel prevenire attacchi di inferenza come gli Embedding Inversion Attacks (EIA) e gli Attribute Inference Attacks (AIA).

Metodologia: Framework PrivTune

Gli autori propongono PrivTune, un framework di collaborazione dispositivo-cloud che sfrutta lo Split Learning (SL) e il Parameter-Efficient Fine-Tuning (PEFT) per ottenere un fine-tuning efficiente e preservante la privacy. Il framework opera in tre fasi:

1. Partizione del Modello

Il LLM in cloud viene diviso in un modello inferiore (layer di embedding e blocchi Transformer iniziali) distribuito sul dispositivo edge dell'utente, e un modello superiore (layer rimanenti) mantenuto sul cloud. Il modello inferiore è congelato durante il fine-tuning per ridurre l'overhead computazionale.

2. Perturbazione On-Device (Innovazione Core)

Invece di applicare uno standard rumore isotropo DP, PrivTune inietta rumore strutturato (crafted noise) nelle rappresentazioni dei token generate dal modello inferiore. Questo processo coinvolge tre componenti chiave:

• Ottimizzazione Difesa-Utilità (OPT-3): Il design del rumore è formulato come un problema di ottimizzazione. L'obiettivo è minimizzare la similarità tra i token vicini indiretti a $n$-hop semanticamente correlati (per interrompere le distribuzioni strutturate per la difesa EIA) e massimizzare le distanze intra-classe dei cluster (per prevenire l'AIA). Contemporaneamente, vengono imposti vincoli per preservare l'utilità:

  • Consistenza della Predizione: Garantire che la classe predetta o il testo generato rimangano simili all'originale.
  • Preservazione Semantica: Vincolare la deviazione angolare tra gli embedding originali e quelli perturbati.
  • Validità Distributiva: Impedire che gli embedding si discostino dalla distribuzione dei dati di addestramento.
    Per rendere il processo scalabile, gli autori riformulano la complessità quadratica dei confronti a coppie in un problema di occultamento del vicino più prossimo risolvibile tramite Projected Gradient Descent (PGD).

• $d_\chi$-Privacy Sensibile all'Importanza del Token: Per fornire garanzie formali di privacy, PrivTune utilizza il meccanismo di $d_\chi$-Privacy anziché la standard DP. Fondamentalmente, introduce un punteggio di importanza del token (IS) per modulare il rumore:

  • Per la classificazione, l'IS è derivato da metriche simili al TF-IDF (rapporto logaritmico della frequenza dei token tra le classi).
  • Per la generazione, l'IS è calcolato tramite l'aggregazione dell'attenzione pesata dall'entropia (i token con alta certezza di attenzione sono considerati più importanti).
  • Iniezione del Rumore: Il vettore di rumore ottimale derivato dal passaggio di ottimizzazione stabilisce la media della distribuzione del rumore, mentre il punteggio di importanza del token ne scala l' ampiezza. I token meno importanti ricevono perturbazioni più forti, mentre i token semantici critici sono preservati per mantenere l'utilità.

3. Addestramento Collaborativo

Le rappresentazioni intermedie perturbate vengono trasmesse al cloud. Il cloud completa il passaggio forward, e i gradienti vengono calcolati collaborativamente (usando LoRA per gli aggiornamenti dei parametri) senza che il cloud veda mai i dati grezzi o gli embedding non perturbati.

Contributi Chiave

1. Framework PrivTune: Un framework di collaborazione dispositivo-cloud efficiente che integra lo Split Learning con una nuova strategia di iniezione del rumore per mitigare gli attacchi di inferenza sugli LLM.
2. Design del Rumore Guidato dall'Ottimizzazione: Una formulazione della generazione del rumore come problema di ottimizzazione difesa-utilità, accoppiata a un meccanismo di $d_\chi$-Privacy sensibile all'importanza del token che bilancia la protezione della privacy con la preservazione semantica.
3. Valutazione Esaustiva: Esperimenti estesi che dimostrano come PrivTune superi i baseline allo stato dell'arte (DP-Forward, SLFT-DP, SAP, ScaleOT, FedBiOT) su cinque dataset e tre LLM (RoBERTa, Mistral-7B, Llama-3).

Risultati Sperimentali

Gli autori hanno valutato PrivTune contro tre attacchi di embedding inversion e tre attacchi di inferenza degli attributi. Le scoperte chiave includono:

• Compromesso Privacy-Utilità: Sul dataset Stanford Sentiment Treebank (SST) utilizzando RoBERTa, PrivTune ha ridotto l'Attack Success Rate (ASK) al 10% con una riduzione dell'utilità di solo il 3,33%. Questo supera significativamente i baseline, che soffrono o di un alto ASR o di una severa degradazione dell'utilità.
• Task Generativi: Per i task generativi (usando Mistral-7B e Llama-3), i baseline basati su DP hanno causato un crollo dei punteggi ROUGE-L vicino allo zero a causa della perturbazione a livello di sequenza. PrivTune ha mantenuto una generazione di testo efficace pur ottenendo un basso ASR (ad esempio, UP di 60 su TruthfulQA con 10% di ASR).
• Efficienza: PrivTune ha dimostrato un overhead computazionale e di comunicazione inferiore rispetto ai baseline di Offsite-Tuning (ScaleOT, FedBiOT). Ad esempio, sul dataset SST con Llama-3, il costo di comunicazione di PrivTune era circa la metà di quello di ScaleOT, e il suo footprint di memoria era significativamente inferiore (6,8 GB vs 31,5 GB).
• Studi di Ablazione: I risultati hanno confermato che la combinazione della strategia di ottimizzazione (OPT-3), del meccanismo di $d_\chi$-Privacy e del modulo di Importanza del Token (IS) produce il miglior compromesso. L'uso del solo IS ha migliorato l'utilità senza compromettere la privacy.

Significato e Rivendicazioni

Il paper sostiene che PrivTune affronti il collo di bottiglia critico nell'attuale collaborazione dispositivo-cloud: l'incapacità di bilanciare privacy e utilità. Passando da una semplice iniezione di rumore a una strategia di perturbazione guidata dall'ottimizzazione e consapevole del token, PrivTune consente agli utenti di effettuare il fine-tuning di modelli su dati sensibili senza esporre gli input grezzi o subire una perdita significativa di prestazioni.

Gli autori posizionano PrivTune come una soluzione pratica per scenari reali, in particolare in domini regolamentati come la sanità e la finanza, dove la privacy dei dati è fondamentale ma la personalizzazione del modello è necessaria. Il framework è progettato per essere scalabile ed efficiente, rendendolo adatto al deployment su dispositivi edge con risorse limitate, mantenendo al contempo l'alta utilità richiesta dalle moderne applicazioni LLM.