InferDPT: Privacy-Preserving Inference for Closed-box Large Language Model

1. Il Problema

L'ascesa dei Modelli Linguistici su Grande Scala (LLM) chiusi (come ChatGPT/GPT-4) ha semplificato la generazione di testo, ma ha sollevato gravi preoccupazioni riguardo alla privacy. Quando gli utenti inviano prompt contenenti documenti privati (es. dati medici, segreti aziendali, informazioni personali) a questi modelli "black-box", c'è il rischio che il provider del modello raccolga o ricostruisca illegalmente queste informazioni.

Le soluzioni esistenti presentano limiti significativi:

• Crittografia (es. CipherGPT): Offre privacy ma introduce costi computazionali e di comunicazione proibitivi, rendendola impraticabile per l'inferenza in tempo reale.
• Obfuscation e DP per Classificazione (es. SANTEXT+, CUSTEXT+): Utilizzano la Privacy Differenziale Locale (LDP) per classificare testi, ma non sono adatte alla generazione di testo. Una minima distorsione semantica nel prompt può portare a generazioni incoerenti o prive di senso. Inoltre, metodi come CUSTEXT+ sono vulnerabili ad attacchi di inversione degli embedding (embedding inversion attacks), permettendo agli avversari di recuperare i token originali anche con parametri di privacy elevati.

2. Metodologia: Il Framework InferDPT

Gli autori propongono InferDPT, il primo framework pratico per l'inferenza privata su LLM black-box che implementa la Privacy Differenziale (DP) nella generazione del testo. Il framework si ispira alla knowledge distillation e si compone di due moduli principali:

A. Modulo di Perturbazione (Perturbation Module)

Questo modulo protegge la privacy del documento originale (Doc) prima di inviarlo al LLM remoto.

• Meccanismo: Sostituisce ogni token del documento originale con un nuovo token campionato tramite un meccanismo LDP.
• Innovazione (RANTEXT): Gli autori introducono RANTEXT, un nuovo meccanismo di privacy differenziale basato sul meccanismo esponenziale.
  • A differenza di SANTEXT+ (che usa una lista di adiacenza statica dell'intero vocabolario) e CUSTEXT+ (che usa una lista statica piccola e fissa), RANTEXT genera dinamicamente una Lista di Adiacenza Random (Random Adjacency List - $C_r$) per ogni token.
  • La dimensione di questa lista è determinata probabilisticamente (usando la distribuzione di Laplace) in base al parametro di privacy $\epsilon$.
  • I token vengono campionati da questa lista random basandosi sulla distanza di embedding, garantendo che il token perturbato sia semanticamente vicino all'originale ma non prevedibile.

B. Modulo di Estrazione (Extraction Module)

Poiché la perturbazione LDP introduce rumore che potrebbe degradare la qualità della generazione o creare incoerenze, InferDPT utilizza un modello locale più piccolo e meno potente (es. Vicuna-7b o Llama2) per ricostruire il testo.

• Funzionamento: L'utente invia il prompt perturbato al LLM remoto (es. GPT-4) e riceve una generazione perturbata (Genp).
• Allineamento: Il modello locale riceve sia il documento originale (Doc) che la generazione perturbata (Genp). Il suo compito è estrarre le parti coerenti e consistenti da Genp e integrarle in una continuazione che sia allineata semanticamente con il documento originale.
• Ispirazione: Questo processo sfrutta l'osservazione empirica che, anche con prompt perturbati, i LLM tendono a generare token che condividono una correlazione positiva con quelli che sarebbero stati generati dal prompt originale, specialmente per valori di $\epsilon$ più alti.

3. Contributi Chiave

1. InferDPT: Il primo framework pratico per l'inferenza privata su LLM black-box per compiti di generazione di testo aperto.
2. RANTEXT: Un nuovo meccanismo di LDP che introduce il concetto di "lista di adiacenza random". Risolve il compromesso tra utilità e privacy:
   • È più piccolo della lista statica di SANTEXT+ (migliore utilità semantica).
   • È più grande e dinamico della lista di CUSTEXT+ (migliore resistenza agli attacchi di inversione).
3. Attacco Adattivo (GPT Inference Attack): Gli autori propongono un nuovo attacco di valutazione che utilizza le capacità di GPT-4 per tentare di ricostruire i token originali, superando i limiti degli attacchi basati su BERT.
4. Validazione Sperimentale: Dimostrazione che InferDPT mantiene la qualità del testo vicina a quella di GPT-4 non privato, superando le soluzioni esistenti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre dataset (CNN/Daily Mail, Wikitext-103-v1, ArXiv) utilizzando GPT-4 come modello remoto e modelli locali come Vicuna-7b.

• Privacy vs. Attacchi di Inversione:
  • Con $\epsilon = 6.0$, RANTEXT raggiunge un livello di protezione della privacy medio superiore a 0.90 contro gli attacchi di inversione degli embedding (top-10 candidati).
  • Questo risultato è 3.35 volte superiore a CUSTEXT+ e 0.58 volte superiore a SANTEXT+.
  • CUSTEXT+ e SANTEXT+ mostrano vulnerabilità significative, permettendo il recupero di una parte sostanziale dei token originali anche con $\epsilon$ bassi.
• Qualità della Generazione (Utilità):
  • La qualità del testo generato da InferDPT (misurata con metriche come Diversità, MAUVE e Coerenza) è comparabile a quella di GPT-4 non privato e significativamente migliore rispetto all'uso diretto del modello locale.
  • RANTEXT ottiene risultati superiori in termini di coerenza rispetto a SANTEXT+ e CUSTEXT+.
• Efficienza:
  • Il costo computazionale aggiuntivo è gestibile. Il modulo di estrazione richiede meno di 4 secondi per inferenza su 100 token, rendendo il sistema pratico per l'uso reale.

5. Significato e Impatto

Il lavoro di InferDPT è significativo perché:

• Rende praticabile la privacy: Dimostra che è possibile utilizzare servizi LLM commerciali (black-box) per compiti sensibili senza rivelare i dati grezzi, superando i limiti di costi delle soluzioni crittografiche.
• Supera i limiti della DP per la generazione: Risolve il problema della distorsione semantica che ha finora impedito l'uso della Privacy Differenziale nella generazione di testo, introducendo un meccanismo di recupero (estrazione) intelligente.
• Sicurezza Robusta: RANTEXT offre una protezione superiore contro attacchi sofisticati (come l'inversione degli embedding e l'inferenza tramite GPT), chiudendo le falle presenti nelle soluzioni state-of-the-art attuali.

In sintesi, InferDPT rappresenta un passo fondamentale verso l'adozione sicura e privata degli LLM in scenari reali, bilanciando efficacemente la necessità di protezione dei dati con la richiesta di alta qualità nella generazione del testo.