Protecting User Prompts Via Character-Level Differential Privacy

Titolo

Protezione dei Prompt Utente tramite Differenziale Privacy a Livello di Carattere

1. Il Problema

Con l'ascesa dei Modelli Linguistici su Grande Scala (LLM), gli utenti inviano spesso prompt contenenti informazioni sensibili (PII - Personally Identifiable Information), come nomi, indirizzi medici, numeri di telefono o dati aziendali riservati, a provider di terze parti.

• Rischio: Poiché questi LLM sono ospitati esternamente, c'è il rischio che i dati sensibili vengano memorizzati, esposti accidentalmente in interazioni future o accessibili da entità non fidate.
• Limiti delle soluzioni attuali:
  • Riconoscimento di Entità Nominale (NER) e filtri basati su regole: Soggetti a falsi positivi/negativi e richiedono una definizione precisa delle entità sensibili.
  • Crittografia (FHE/SMC): Richiede modifiche all'architettura dell'LLM e introduce un enorme overhead computazionale, rendendola poco pratica per servizi cloud esistenti.
  • Differenziale Privacy (DP) a livello di parola: Sostituisce intere parole con altre semanticamente simili, ma degrada spesso l'utilità del testo alterando anche parole non sensibili.

2. Metodologia Proposta

Gli autori propongono un nuovo metodo di sanificazione che applica la Differenziale Privacy Locale (LDP) a livello di carattere prima che il prompt venga inviato all'LLM remoto.

Il processo si articola in due fasi principali:

1. Iniezione di Rumore (Lato Utente):

   • Viene applicato il meccanismo di Risposta Randomizzata k-ary (k-RR) a ogni singolo carattere di ogni parola nel prompt.
   • Ogni carattere viene mantenuto invariato con una certa probabilità o sostituito con un altro carattere ASCII stampabile scelto casualmente, in base al parametro di privacy $\epsilon$.
   • Questo approccio non richiede l'identificazione preventiva delle parole sensibili; la protezione è applicata uniformemente a tutto il testo.

2. Ripristino del Prompt ed Esecuzione del Task (Lato LLM Remoto):

   • Il testo perturbato ($T^*$) viene inviato all'LLM remoto.
   • L'LLM riceve un prompt di sistema che gli chiede di: (a) correggere gli errori introdotti dal rumore (ripristinare le parole comuni) e (b) eseguire il task downstream (es. riassumere).
   • Intuizione chiave: Le parole comuni (non sensibili) hanno bassa entropia e forti correlazioni contestuali; l'LLM è in grado di ricostruirle facilmente anche se alcuni caratteri sono corrotti. Al contrario, le parole sensibili (spesso nomi rari, ID medici, indirizzi specifici) hanno alta entropia e sono rare nei dati di addestramento; l'LLM fatica a ricostruirle correttamente, trattandole quasi come parole casuali.

3. Contributi Chiave

• Metodo di Sanificazione Automato: Un approccio che applica la LDP a livello di carattere senza bisogno di modelli esterni per identificare le entità sensibili (evitando i limiti dei sistemi NER).
• Sfruttamento delle Capacità degli LLM: Utilizza la capacità degli LLM di ricostruire parole comuni dal contesto per bilanciare privacy e utilità, lasciando invece le parole rare (sensibili) non ricostruibili.
• Baseline Teorica: Gli autori hanno stabilito una baseline teorica per la ricostruzione di parole completamente casuali perturbate da k-RR. Hanno dimostrato che le parole sensibili vengono ricostruite a tassi vicini a questa baseline (quindi quasi come un indovinello casuale), mentre le parole non sensibili vengono ricostruite a tassi molto più alti.
• Valutazione Unificata: Confronto rigoroso tra il metodo proposto, un approccio DP a livello di parola e un baseline basato su regole (Microsoft Presidio), utilizzando metriche comuni di privacy (tasso di ricostruzione delle PII) e utilità (similarità semantica dei riassunti).

4. Risultati Sperimentali

Lo studio è stato condotto su due dataset: i2b2/UTHealth (cartelle cliniche) e Enron (email aziendali), utilizzando due LLM: Llama-3.1 8B Instruct e GPT-4o mini.

• Privacy:
  • Le parole sensibili (PII) sono state ricostruite correttamente a un tasso molto basso, vicino alla probabilità teorica di indovinare una parola casuale.
  • A valori di $\epsilon$ tra 4 e 6, la ricostruzione delle PII rimane bassa (<20-30%), garantendo forte protezione.
  • Le entità complesse (es. nomi completi multi-parola o indirizzi stradali completi) sono ancora più difficili da ricostruire rispetto alle singole parole.
• Utilità:
  • Le parole non sensibili sono state ricostruite ad alti tassi (fino al 70-90% a seconda di $\epsilon$).
  • La similarità semantica tra il riassunto del testo originale e quello del testo ripristinato rimane elevata (circa 80%) anche con livelli di privacy significativi.
• Confronto con altre tecniche:
  • Rispetto alla DP a livello di parola, il metodo a livello di carattere offre un miglior compromesso privacy-utilità: introduce distorsioni locali che l'LLM può correggere senza alterare il significato globale, mentre la sostituzione di intere parole causa maggiori spostamenti semantici.
  • Rispetto a Presidio (basato su regole), il metodo proposto offre una privacy più robusta contro formati non standard o errori di battitura che i riconoscitori di entità potrebbero non catturare, pur mantenendo un'alta utilità.

5. Significato e Implicazioni

Questo lavoro dimostra che è possibile proteggere i prompt degli utenti inviati a LLM di terze parti senza comprometterne l'usabilità, eliminando la necessità di modelli di sanificazione supervisionati complessi.

• Agnosticismo del Dominio: Il metodo funziona indipendentemente dal tipo di dato sensibile, poiché si basa sulla rarità statistica delle parole piuttosto che su elenchi predefiniti.
• Scalabilità: È computazionalmente leggero e può essere implementato lato client (es. come plugin del browser) senza richiedere modifiche all'infrastruttura dell'LLM remoto.
• Sicurezza: Fornisce garanzie formali di privacy basate sulla teoria della differenziale privacy, rendendo estremamente difficile per un avversario (anche un LLM avanzato) recuperare informazioni sensibili ad alta entropia da prompt perturbati.

In sintesi, la proposta offre un equilibrio pratico ed efficace tra la necessità di proteggere la privacy dei dati sensibili e la necessità di mantenere l'efficacia dei modelli linguistici per compiti di elaborazione del testo.