Sintesi Tecnica: SharedRequest

Definizione del Problema

La diffusione capillare di modelli di linguaggio di grandi dimensioni (LLM) pubblici come ChatGPT ha creato una tensione critica tra utilità e privacy dell'utente. Sebbene gli LLM basati su cloud offrano capacità trasformative, i prompt degli utenti spesso contengono informazioni sensibili (ad es. attributi personali, storia medica, dettagli legali) che devono rimanere riservate rispetto a terze parti, inclusi i fornitori del servizio.

Gli esistenti metodi di inferenza che preservano la privacy affrontano un "trilemma" tra privacy, utilità ed efficienza:

1. Approcci crittografici (SMPC): Metodi come Iron, MPCFormer e SecFormer offrono forti garanzie di privacy ma introducono un overhead di comunicazione e computazione proibitivo, limitandone la scalabilità.
2. Differential Privacy Locale (LDP): Approcci come RanText e CusText perturbano i prompt sul lato client ma spesso degradano significativamente la qualità della risposta (utilità) e faticano con i compiti di generazione di testo.
3. Modifiche specifiche del modello: Molte soluzioni richiedono l'accesso ai parametri del modello o cambiamenti architettonici, il che è impraticabile per modelli proprietari black-box.
4. Perturbazione individuale: Gli attuali metodi model-agnostic tipicamente perturbano ogni prompt indipendentemente, portando a distorsione semantica e costi di query elevati quando si generano molteplici varianti rumorose per garantire la privacy.

Metodologia: SharedRequest

Gli autori propongono SharedRequest, un framework model-agnostic che riformula la protezione della privacy a livello di batch piuttosto che a livello di singolo prompt. L'intuizione fondamentale è che i modelli LLM commerciali elaborano enormi batch di query dove molti utenti condividono istruzioni generiche semanticamente equivalenti (ad es. "Quali sono i ristoranti raccomandati in [Località]?").

Meccanismo Core

SharedRequest opera attraverso un protocollo a tre parti che coinvolge gli Utenti, un Noise Sampler (un coordinatore di terze parti) e il Service Provider (il proprietario dell'LLM).

1. Decomposizione del Prompt:

   • Il prompt dell'utente viene diviso in un'istruzione generica ($T_q$) e attributi privati ($A_q$).
   • Gli utenti identificano gli attributi privati e campionano un set di attributi alternativi plausibili ($A'$) da un database pre-costruito o tramite generazione locale.

2. Raggruppamento a livello di Batch e Iniezione di Rumore:

   • Il Noise Sampler riceve gli attributi privati criptati dagli utenti. Raggruppa i prompt in base alle loro istruzioni generiche.
   • Per ogni gruppo, il sampler genera varianti rumorose sostituendo gli attributi privati originali con gli attributi alternativi campionati.
   • Fondamentalmente, il sampler impiega un meccanismo di filtraggio delle combinazioni. Invece di inviare tutte le possibili combinazioni di attributi (che sarebbe esponenzialmente grande), utilizza un discriminatore pre-addestrato per valutare la "genuinità" delle combinazioni di attributi nel contesto. Solo le combinazioni che superano una soglia di qualità vengono selezionate. Ciò assicura che i prompt rumorosi siano indistinguibili da quelli genuini.

3. Trasmissione Sicura:

   • Trasmissione Forward: Gli utenti criptano gli attributi privati utilizzando la chiave pubblica del Service Provider. I messaggi al Noise Sampler sono criptati con la chiave pubblica del Sampler. Ciò garantisce che il Sampler veda solo le istruzioni generiche e le liste di candidati, mentre il Service Provider vede un mix rimescolato di prompt genuini e rumorosi ma non può collegarli a utenti specifici.
   • Trasmissione Backward: Il Service Provider genera risposte per il batch. Per evitare che il Noise Sampler apprenda il contenuto, il Service Provider maschera le risposte utilizzando una maschera pseudo-casuale derivata da un seed fornito dall'utente. Gli utenti ricostruiscono la vera risposta tramite sottrazione modulare.

4. Ammortamento dei Costi:

   • Il Service Provider aggrega i prompt identici (sia genuini che rumorosi) all'interno di un batch e genera una singola risposta per ogni prompt unico.
   • Il costo di inferenza delle query "rumorose" è ammortizzato nell'intero batch di utenti che condividono la stessa istruzione generica.

Definizione di Privacy

Il paper introduce la $(A_n, \epsilon)$-indistinguibilità, una rilassazione della standard Differential Privacy (DP).

• Vicini: Due set di prompt sono considerati vicini se uno può essere ottenuto dall'altro sostituendo gli attributi privati di un singolo prompt con un "alternativo qualificato" da un set definito dall'utente.
• Garanzia: Il meccanismo assicura che la visione del Service Provider (un set rimescolato di prompt) sia indistinguibile riguardo ai cambiamenti negli attributi privati, a condizione che il Noise Sampler e il Service Provider non colludano.

Contributi Chiave

1. Nuovo Paradigma a Livello di Batch: Un framework model-agnostic che raggruppa richieste semanticamente equivalenti per l'elaborazione congiunta, consentendo la privacy attraverso varianti rumorose rimescolate e la riduzione dei costi attraverso l'ammortamento a livello di batch.
2. Protocollo Multi-Parte Leggero: Un design che preserva l'anonimato dell'utente e nasconde gli attributi privati dal service provider senza richiedere modifiche all'architettura dell'LLM o l'accesso ai suoi parametri.
3. Formalizzazione Teorica: Formalizzazione della privacy tramite $(A_n, \epsilon)$-indistinguibilità e analisi teorica che dimostra i benefici dell'ammortamento del costo delle query, particolarmente sotto distribuzioni di richieste non uniformi (long-tail).
4. Coordinamento di Terze Parti: Un meccanismo per il campionamento efficiente di query rumorose che riduce il calcolo lato utente per i prompt con molteplici attributi privati, delegando la selezione delle combinazioni complesse al Noise Sampler.

Risultati Sperimentali

Il framework è stato valutato su tre dataset sensibili alla privacy: Legal-QA, Medical-QA e MMLU-Biz.

• Utilità:
  • La versione "Original" (senza semplificazione del prompt) ha ottenuto un'utilità quasi identica alla baseline non privata (con una perdita inferiore all'1%).
  • Rispetto agli altri stati dell'arte dei baselines LDP model-agnostic (RanText, CusText, DP-Prompt, InferDPT), SharedRequest ha ottenuto un'utilità superiore di oltre il 20% (misurata tramite F1 score o valutazioni di qualità) con budget di privacy ($\epsilon$) compresi tra 1 e 5.
• Costo delle Query:
  • Il meccanismo di prompt condiviso ha ridotto i costi di query fino a 5,6× rispetto all'inferenza non batched, specialmente quando la distribuzione delle istruzioni generiche era concentrata (bassa entropia).
  • La riduzione dei costi scala con la dimensione del batch e la asimmetria della distribuzione delle richieste.
• Robustezza:
  • Contro gli attacchi di inferenza in cui un server tenta di distinguere i prompt genuini da quelli rumorosi, SharedRequest ha ridotto il tasso di successo dell'attacco di circa il 32,7% rispetto ai baselines di campionamento casuale.
  • Il framework ha mantenuto tassi di successo dell'attacco (ASR) comparabili ad altri baselines DP offrendo al contempo un'utilità significativamente più alta.
• Efficienza:
  • L'overhead computazionale per il filtraggio degli attributi sul Noise Sampler è stato basso (inferiore a 6,2 secondi per gruppo di istruzioni con un discriminatore da 1,5 miliardi di parametri).
  • L'overhead di comunicazione è rimasto minimo (< 0,1 MB), comparabile ai metodi DP standard e significativamente inferiore agli approcci basati su SMPC.

Significato e Rivendicazioni

Il paper sostiene che SharedRequest affronti i limiti fondamentali dell'attuale inferenza LLM che preserva la privacy rompendo il compromesso tra privacy, utilità ed efficienza. Spostando il paradigma della privacy dalla perturbazione individuale al mixing a livello di batch, il framework sfrutta la naturale ridondanza nell'uso su larga scala degli LLM per ammortizzare il costo della protezione della privacy.

Gli autori sottolineano che questo approccio è model-agnostic, rendendolo immediatamente applicabile a modelli proprietari black-box senza richiedere la cooperazione del fornitore del servizio o modifiche all'architettura. I risultati suggeriscono che, per scenari reali con distribuzioni di query concentrate, SharedRequest offre una via pratica per implementare LLM che preservano la privacy mantenendo un'alta utilità e riducendo significativamente i costi operativi.

Limitazioni Riconosciute:

• Il protocollo assume che il Noise Sampler e il Service Provider non colludano.
• Gli utenti sono responsabili dell'identificazione degli attributi privati e della generazione di alternative (sebbene strumenti come NER o LLM locali possano assistere).
• I benefici di costo sono massimizzati quando le distribuzioni delle query sono non uniformi; le query altamente uniche potrebbero vedere meno ammortamento.