Differentially Private and Communication Efficient Large Language Model Split Inference via Stochastic Quantization and Soft Prompt

1. Il Problema

L'uso diffuso dei Large Language Models (LLM) ha sollevato preoccupazioni critiche riguardo alla privacy. Quando gli utenti inviano query a servizi di inferenza cloud, i dati sensibili (nomi, indirizzi, segreti commerciali) possono essere esposti a provider non fidati o intercettati durante la trasmissione.

Le soluzioni esistenti affrontano questo problema in modi limitati:

• Crittografia (es. Homomorphic Encryption): Offre forte privacy ma introduce un sovraccarico computazionale proibitivo per i moderni LLM basati su transformer.
• Split Inference con Denoising (es. SnD, InferDPT): Gli utenti elaborano localmente solo l'embedding dei token, aggiungono rumore per la privacy differenziale (DP) e inviano i dati al server. Tuttavia, questi approcci richiedono:
  • Elevato overhead di comunicazione: Trasmettere embedding ad alta dimensionalità (es. 4096 dimensioni) è costoso in termini di banda.
  • Modelli locali pesanti: Per recuperare la qualità del testo dopo l'aggiunta di rumore, spesso è necessario un modello di "denoising" locale, che richiede risorse computazionali e di memoria che i dispositivi utente (es. smartphone) non possiedono.
  • Scalabilità: Le prestazioni dipendono fortemente dalla capacità del modello locale, sminuendo il ruolo del potente LLM remoto.

2. Metodologia: Il Framework DEL

Gli autori propongono DEL (Differentially private and communication Efficient LLM split inference), un framework che risolve i problemi di privacy, efficienza comunicativa e utilità senza richiedere modelli locali pesanti. Il processo si articola in tre fasi principali:

A. Riduzione della Dimensionalità (Embedding Projection)

Invece di inviare gli embedding originali ad alta dimensionalità ($b$), l'utente utilizza un encoder pre-addestrato per proiettare gli embedding dei token in uno spazio latente a bassa dimensionalità ($d$, dove $d \ll b$).

• Vantaggio: Riduce drasticamente il volume di dati da trasmettere e mitiga la "maledizione della dimensionalità" del rumore necessario per la privacy.
• Recupero: Il server possiede un decoder pre-addestrato accoppiato all'encoder per ricostruire gli embedding nella dimensione originale prima dell'inferenza LLM.

B. Meccanismo di Privacy: Quantizzazione Stocastica Differenzialmente Privata

Per garantire la privacy differenziale (DP) nello spazio latente ridotto, DEL non usa il classico meccanismo Gaussiano (che richiede trasmissione di numeri in virgola mobile). Propone invece una quantizzazione stocastica a $n$-bit:

• Funzionamento: Ogni coordinata del vettore latente viene mappata casualmente su uno di $2^n$ livelli discreti.
• Privacy: Questo processo introduce rumore intrinseco che soddisfa i requisiti di $\mu$-Gaussian Differential Privacy ($\mu$-GDP).
• Efficienza: Invece di inviare float a 32 bit, si inviano solo $n$ bit (es. 1, 2 o 4 bit) per coordinata, riducendo l'overhead di comunicazione di ordini di grandezza.
• Teorema: Gli autori dimostrano che questo meccanismo è un stimatore non distorto e offre garanzie di privacy equivalenti al meccanismo Gaussiano, ma con costi di comunicazione molto inferiori.

C. Recupero dell'Utilità: Soft Prompt al Server

Per compensare la degradazione delle prestazioni causata dal rumore e dalla quantizzazione, senza caricare l'utente con un modello di denoising:

• Soft Prompt: Il server addestra un soft prompt (una sequenza di embedding continui addestrabili) che viene preposto agli embedding ricostruiti prima di passare all'LLM.
• Adattamento: Il soft prompt viene ottimizzato per adattarsi alla distribuzione degli input perturbati, guidando l'LLM a generare risposte coerenti nonostante il rumore.
• Innovazione: È il primo lavoro che utilizza il soft prompt specificamente per migliorare il compromesso privacy-utilità nell'inferenza LLM, eliminando la necessità di modelli locali.

3. Contributi Chiave

1. Nuovo Meccanismo DP: Introduzione di una combinazione di proiezione in spazio latente e quantizzazione stocastica $n$-bit che garantisce privacy differenziale riducendo drasticamente l'overhead di comunicazione.
2. Framework Leggero: Eliminazione della necessità di modelli di denoising locali complessi, spostando il carico di recupero dell'utilità sul server tramite l'uso di soft prompt.
3. Miglioramento del Trade-off Privacy-Utilità: Sperimentazioni estensive che dimostrano come DEL superi gli stati dell'arte (come RANTEXT, InferDPT, SnD) mantenendo alte prestazioni sia in generazione di testo che in comprensione del linguaggio naturale (NLU).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su diversi benchmark (WikiText-2, PTB, CNN/Daily Mail, QQP, MRPC) utilizzando modelli come Llama3, Qwen2.5 e DeepSeek-MoE.

• Generazione di Testo Aperto:
  • DEL ottiene punteggi di Coerenza (COH) e Perplexity (PPL) superiori rispetto a InferDPT e RANTEXT a parità di livello di privacy (misurato tramite Attack Success Rate - ASR).
  • A differenza di InferDPT, le prestazioni di DEL non dipendono dalla capacità del modello locale; anzi, DEL sfrutta appieno la potenza del LLM remoto.
  • La comunicazione è ridotta di un fattore 32 rispetto ai metodi che trasmettono float completi.
• Comprensione del Linguaggio (NLU):
  • Su task come QQP e MRPC, DEL supera il metodo SnD (Split-and-Denoise) in accuratezza e AUC, pur utilizzando una quantizzazione a 1-4 bit invece di float a 32 bit.
• Trasferibilità:
  • I soft prompt addestrati su dataset pubblici (es. C4) o su specifici task mostrano una forte capacità di trasferimento tra diversi dataset e diversi livelli di privacy ($\mu$), rendendo il sistema robusto e pratico.

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale verso l'adozione pratica di LLM privati su dispositivi con risorse limitate.

• Scalabilità: Rimuovendo la dipendenza da modelli locali pesanti, DEL rende possibile l'inferenza privata su smartphone e dispositivi IoT.
• Efficienza: La riduzione dell'overhead di comunicazione rende economicamente e tecnicamente fattibile l'uso di LLM cloud per applicazioni sensibili.
• Innovazione Metodologica: L'uso del soft prompt per compensare il rumore della privacy apre una nuova direzione di ricerca, spostando il focus dal "denoising" locale all'adattamento del modello server.

In sintesi, DEL offre un equilibrio superiore tra privacy, efficienza comunicativa e qualità del servizio, rendendo l'inferenza LLM distribuita più sicura e accessibile per applicazioni reali.