Improving User Privacy in Personalized Generation: Client-Side Retrieval-Augmented Modification of Server-Side Generated Speculations

Sintesi Tecnica: Migliorare la Privacy dell'Utente nella Generazione Personalizzata

Problema
La personalizzazione nei Large Language Models (LLM) si basa tipicamente sulla Retrieval-Augmented Generation (RAG), dove un contesto rilevante dal profilo privato dell'utente viene recuperato e fornito al modello per adattare le risposte. Tuttavia, ciò crea un compromesso fondamentale:

1. RAG lato Server: Offre una personalizzazione di alta qualità utilizzando potenti modelli in cloud, ma richiede la divulgazione dei profili privati dell'utente al fornitore, ponendo significativi rischi per la privacy.
2. RAG lato Client: Preserva la privacy mantenendo il profilo sul dispositivo dell'utente, ma è limitato dai vincoli computazionali dell'hardware edge, costringendo all'uso di modelli più piccoli e meno capaci che spesso offrono prestazioni inferiori.

Le attuali alternative preservanti la privacy, come l'offuscamento testuale o vettoriale, sono vulnerabili ad attacchi di inversione e permettono ai fornitori di sondare i dati offuscati. L'omomorfismo di cifratura è attualmente impraticabile a causa dell'oneroso overhead computazionale. Il documento affronta la necessità di un metodo che sfrutti la capacità elevata dei modelli lato server per la personalizzazione senza esporre direttamente il contesto privato dell'utente in forma grezza.

Metodologia: Il Framework $P^3$
Gli autori propongono $P^3$ (Client-Side Retrieval-Augmented Modification of Server-Side Generated Speculations), un framework interattivo che decompone la generazione in un processo collaborativo tra un modello lato server ad alta capacità ($M_{server}$) e un modello lato client di piccole dimensioni ($M_{client}$).

• Architettura:

  • Lato Server: Un modello grande e ad alta capacità genera una sequenza di $k$ token "bozza" basandosi solo sulla query dell'utente, senza accesso al profilo dell'utente.
  • Lato Client: Un modello più piccolo, distribuito sul dispositivo dell'utente, ha accesso al profilo privato dell'utente. Recupera il contesto rilevante ($C_q$) dal profilo in base alla query.
  • Ciclo di Verifica e Correzione:
    1. Il server propone $k$ token.
    2. Il client valuta questi token condizionandoli al contesto personale recuperato.
    3. Per ogni token bozza $T_i$, il client calcola la sua probabilità ($P_{T_i}$) e la confronta con la probabilità del token alternativo più probabile ($T^*_i$) secondo il modello client.
    4. Accettazione: Se il rapporto $P_{T_i} / P_{T^*_i} \geq \tau$ (dove $\tau$ è una soglia di rifiuto), il token viene accettato.
    5. Correzione: Se il rapporto è inferiore a $\tau$, il token viene rifiutato e sostituito con $T^*_i$. I restanti token bozza in quel batch vengono scartati, e il server genera un nuovo batch condizionato dal prefisso corretto.
  • Filtro di Privacy: Prima di inviare il prefisso corretto al server, il client filtra qualsiasi Informazione Identificativa Pessoale (PII) trovata nel contesto recuperato, sostituendola con un segnaposto (es. [PII]). Ciò garantisce che il server non veda mai il profilo grezzo o le correzioni cariche di PII.

• Distinzione dalla Speculative Decoding: A differenza della standard speculative decoding, dove un modello piccolo propone bozze e un modello grande verifica per ridurre la latenza, $P^3$ inverte i ruoli (il grande propone, il piccolo verifica) per dare priorità alla privacy e alla personalizzazione. Il modello client devia intenzionalmente dalla distribuzione del server per indirizzare l'output verso le preferenze dell'utente.

Contributi Chiave

1. Design del Framework: Introduzione di $P^3$, il primo metodo di retrieval-augmented per la personalizzazione degli LLM che evita la divulgazione diretta dei profili utente al server.
2. Equilibrio Privacy-Utilità: Il metodo raggiunge un'alta qualità di personalizzazione sfruttando le capacità lato server, limitando al contempo la fuga di informazioni solo al minimo indispensabile implicito nei token accettati o corretti.
3. Open Source: Gli autori hanno reso open source l'implementazione per favorire ulteriore ricerca nella generazione retrieval-augmented consapevole della privacy.

Risultati Sperimentali
Gli esperimenti sono stati condotti sul benchmark LaMP-QA, composto da tre dataset: Arte e Intrattenimento, Stile di Vita e Sviluppo Personale, e Società e Cultura. Il sistema ha utilizzato le famiglie Qwen 2.5 (14B/3B) e Gemma 3 (12B/4B).

• Performance:
  • $P^3$ ha superato costantemente sia i baseline non personalizzati lato server, sia i baseline completamente personalizzati lato client in tutti i dataset.
  • Ha ottenuto miglioramenti statisticamente significativi del 7,4% - 9% in media rispetto ai migliori baseline non "leaky" (non soggetti a perdite di dati).
  • $P^3$ ha recuperato il 90,3% - 95,7% dell'utilità di uno scenario "upper-bound" in cui l'intero profilo è esposto al server (un setting "leaky").
• Analisi della Privacy:
  • Attacco di Linkability: Un attaccante che tenta di identificare il profilo utente da un set di candidati ha ottenuto un'accuratezza del solo 24% con $P^3$, rispetto al 22,5% di un baseline basato solo sulla query e al 20% di un baseline casuale. Ciò rappresenta un aumento marginale del 1,5% della fuga di dati rispetto al baseline non personalizzato.
  • Attacco di Inferenza degli Attributi: L'accuratezza dell'attaccante nell'inferire gli attributi dell'utente (es. occupazione, posizione) è stata del 58,5% con $P^3$, solo del 3,5% superiore al baseline basato solo sulla query (55%). Questo è significativamente inferiore al 100% di accuratezza ottenuto quando il profilo completo viene condiviso.
• Efficienza:
  • Il modello lato client genera solo il 9,2% del totale dei token della risposta finale.
  • Il tempo di esecuzione lato client rappresenta solo una frazione della latenza totale (es. ~4,9s su 23,6s totali), con la maggior parte del calcolo che avviene sul server.
  • $P^3$ con un modello client da 3B ha superato significativamente un baseline RAG completamente lato client usando un modello da 3B, utilizzando meno tempo di esecuzione e VRAM lato utente.

Significatività e Rivendicazioni
Il documento sostiene che $P^3$ fornisce una soluzione pratica ed efficace per la generazione personalizzata che migliora la privacy senza sacrificare le prestazioni. Dimostra che è possibile utilizzare potenti LLM ospitati in cloud per la personalizzazione mantenendo il controllo sui dati personali. Gli autori pongono questo lavoro come un passo verso la riduzione dei rischi in modo sistematico nelle applicazioni sensibili alla privacy, offrendo una via di mezzo tra l'isolamento assoluto dei modelli locali e la divulgazione incontrollata del tradizionale RAG lato server. I risultati suggeriscono che $P^3$ introduce solo un aumento marginale di leakage rispetto all'invio di una query senza alcun contesto personale, rendendolo un'alternativa valida per scenari in cui sono richiesti garanzie di privacy rigorose ma si desidera anche un'alta utilità del modello.