The Art of Mixology: Mixup-based Obfuscation for Privacy-Preserving Split Learning in Large Language Models

Riepilogo Tecnico: MIXGUARD – Obfuscation basata su Mixup per la Privacy-Preserving Split Learning negli LLM

Problematica
I Large Language Models (LLM) richiedono risorse computazionali significative, che spesso superano la capacità dei client edge. La Split Learning (SL) offre una soluzione partizionando i modelli tra un client (che detiene i dati privati) e un server (che fornisce la computazione). Tuttavia, gli attuali metodi di SL orientati alla preservazione della privacy affrontano un critico trade-off tra utilità, privacy, efficienza e stabilità.

• Degradazione dell'Utilità: Metodi come la Differential Privacy (DP) introducono spesso rumore che distorce severamente i segnali di addestramento, portando a scarse prestazioni a valle.
• Privacy Incompleta: Molte difese proteggono solo gli input o le etichette, o fasi specifiche (addestramento vs. inferenza), lasciandoli vulnerabili ad avanzati attacchi di Ricostruzione dei Dati (DRA) come SIP (forward inversion), TAG/LAMP (backward gradient matching) e BiSR (bidirezionale).
• Efficienza e Stabilità: Gli approcci crittografici (ad es. l'Omomorphic Encryption) comportano un overhead proibitivo, mentre altre difese leggere spesso non riescono a mantenere una prestazione stabile attraverso compiti diversi, particolarmente nella complessa generazione di testo.

Metodologia: MIXGUARD
Il documento propone MIXGUARD, un nuovo framework che adatta la tecnica di data augmentation mixup per la preservazione della privacy nella U-shaped Split Learning. Invece di aggiungere rumore (che causa shift della distribuzione), MIXGUARD offusca i dati combinando linearmente più rappresentazioni, preservando la struttura semantica sottostante pur nascondendo il campione target. Il framework opera in due fasi:

1. Obfuscation a livello di Token:
   Il client inserisce token segreti, campionati casualmente, nella sequenza di input prima dell'elaborazione. Ciò interrompe la mappatura diretta tra l'input originale e le rappresentazioni intermedie senza alterare significativamente il vocabolario dei token.

2. Obfuscation a livello di Rappresentazione (Mixup):
   Il client codifica il campione target ($x^*$) insieme a $k-1$ campioni di supporto da un set di supporto segreto. Queste rappresentazioni nascoste sono combinate linearmente utilizzando vettori e matrici segrete:

   • Vettore di Segno ($v$): Un vettore segreto di valori $\{-1, +1\}$.
   • Matrice di Mixing ($A$): Una matrice con valori positivi che assicura che la rappresentazione target sia preservata con peso unitario pur annullando le rappresentazioni non target durante l'aggregazione.
   • Matrice di Blinding ($B$): Una matrice invertibile applicata per offuscare ulteriormente i messaggi miscelati prima della trasmissione.
     I "smashed data" risultanti vengono inviati al server. Il server elabora queste attivazioni miscelate attraverso il modello "trunk" e restituisce i risultati. Il client può quindi decodificare la risposta utilizzando l'inversa della matrice di blinding e il vettore di segno per recuperare una rappresentazione approssimata del target.

3. Modello di Calibrazione:
   A causa delle trasformazioni non lineari negli LLM, la rappresentazione approssimata devia dalla vera verità di base (ground truth). MIXGUARD impiega un Modello di Calibrazione leggero (una rete residua) addestrato su dati pubblici per raffinare questa approssimazione. Questo modello impara a minimizzare l'Errore Quadratico Medio (MSE) tra la rappresentazione approssimata e quella reale, garantendo un'alta utilità per il calcolo della perdita del modello "tail".

4. Perturbazione Adattiva del Gradiente:
   Durante la backpropagation, il client applica un rumore adattivo ai gradienti prima di inviarli al server. La scala della perturbazione è determinata dal residuo di calibrazione (l'errore tra la rappresentazione calibrata e quella reale). I campioni con residui più elevati (che indicano una maggiore ritenzione di informazioni private) ricevono una perturbazione più forte, mitigando la fuga (leakage) verso il backward.

Contributi Chiave

• Primo SL basato su Mixup per LLM: Il documento introduce il primo framework di split learning basato su mixup specificamente progettato per gli LLM, estendendo il concetto dalla data augmentation all'offuscamento della privacy.
• Meccanismi di Obfuscation Congiunti: Integra l'offuscamento a livello di token, il mixup a livello di rappresentazione e la perturbazione adattiva del gradiente per proteggere simultaneamente sia gli input che le etichette in un contesto di U-shaped SL.
• Strategia di Calibrazione: Propone un modello di calibrazione leggero per correggere gli errori di approssimazione introdotti dal processo di mixup, colmando il divario tra i segnali offuscati e le rappresentazioni utilizzabili per i gradienti.
• Valutazione Esaustiva: Il framework è valutato attraverso quattro compiti di classificazione e quattro di generazione di testo, coprendo diverse famiglie di LLM (Qwen, Llama), dimensioni dei modelli (da 1B a 30B) e architetture (Dense, MoE), nonché il fine-tuning parametrico efficiente (LoRA).

Risultati Sperimentali

• Preservazione dell'Utilità: MIXGUARD raggiunge un'utilità di fine-tuning a valle comparabile ai baseline di addestramento non-split. Ad esempio, sul task CoLA con Llama 3.2-1B, ha ottenuto un'accuratezza di 0,839 rispetto a 0,845 per l'addestramento non-split (un gap <1%). Al contrario, i baseline come SnD e Naive Mix hanno subito cali di utilità significativi (rispettivamente 0,309 e 0,498).
• Protezione della Privacy: Il metodo supera costantemente le difese esistenti (DP-Forward, DP-SGD, SnD) contro gli attacchi di ricostruzione dei dati (DRA) allo stato dell'arte. Sul dataset CoLA, MIXGUARD ha ridotto i punteggi di ricostruzione SIP da ~0,54 (non-split) a ~0,02, e i punteggi BiSR a ~0,08, mentre altri metodi spesso non riuscivano a ridurre significativamente i punteggi di ricostruzione o causavano il collasso delle prestazioni del modello.
• Robustezza: Il framework rimane efficace attraverso diverse scale di modelli, architetture (inclusi MoE) e strategie di fine-tuning (Full vs. LoRA). Dimostra inoltre resilienza contro attacchi adattivi in cui l'attaccante conosce il meccanismo di difesa.

Significatività e Rivendicazioni
Il documento sostiene che MIXGUARD affronti con successo il trilemma "utilità-privacy-efficienza" nella Split Learning per gli LLM. Sfruttando l'offuscamento basato su mixup invece dell'iniezione di rumore o della crittografia pesante, mantiene la stabilità dei segnali di addestramento pur prevenendo efficacementamente la ricostruzione dei dati. Gli autori posizionano MIXGUARD come una soluzione pratica per utenti con risorse limitate per addestrare LLM su dati privati senza esporre input o etichette sensibili al server, ottenendo forti garanzie di privacy senza la severa degradazione dell'utilità osservata nelle tecnologie precedenti. Il lavoro evidenzia come la preservazione dell'integrità strutturale delle rappresentazioni attraverso un mixing controllato sia una via percorribile per l'apprendimento collaborativo sicuro e su larga scala.