P$^2$RAG: Efficient Privacy-Preserving RAG Service Supporting Arbitrary Top-$k$ Retrieval

Sintesi Tecnica di P2RAG: Servizio RAG Efficiente per la Preservazione della Privacy con Supporto per il Recupero Arbitrario Top-k

Enunciato del Problema
Il Recupero-Aumentato della Generazione (RAG) consente ai Modelli Linguistici di Grande Dimensione (LLM) di utilizzare conoscenze esterne, ma l'esternalizzazione dei servizi RAG introduce rischi significativi per la privacy sia per i proprietari dei dati (le cui basi di dati proprietarie vengono esposte) sia per gli utenti (le cui richieste sono visibili). I sistemi esistenti di RAG con preservazione della privacy (PP-RAG) inquadrano tipicamente il problema come un'attività di recupero sicuro top-k, affidandosi a tecniche di ordinamento sicuro o di k-Approssimazione del Vicino Più Vicino (k-ANN) sicura. Tuttavia, questi sistemi presentano limitazioni critiche:

1. Rigidità: Spesso non supportano regolazioni arbitrarie o dinamiche del parametro di recupero $k$.
2. Degradazione dell'Efficienza: Le prestazioni peggiorano significativamente all'aumentare di $k$. Questo rappresenta un collo di bottiglia maggiore, poiché le applicazioni moderne in finanza, diritto e sanità, nonché gli LLM a contesto lungo, richiedono spesso valori elevati di $k$ (ad esempio, 100–150 o superiori) per raggiungere un'accuratezza ottimale.
3. Lacune di Sicurezza: Alcuni approcci esistenti sollevano nuove problematiche di sicurezza o non riescono a delimitare rigorosamente la fuoriuscita di informazioni contro utenti malevoli.

Metodologia
Gli autori propongono P2RAG, un servizio RAG con preservazione della privacy progettato per supportare in modo efficiente il recupero arbitrario top-k. Il sistema opera su un modello a due server in cui i server sono semi-onesti (onesti ma curiosi) e non colludono.

• Architettura di Sistema:

  • Proprietario dei Dati: Esternalizza un database cifrato a due server. Il database è composto da $N$ incorporamenti (embeddings) di documenti, che vengono condivisi in segreto tra i due server utilizzando la condivisione segreta di Shamir su un campo primo.
  • Utente: Invia un incorporamento della richiesta, anch'esso condiviso in segreto tra i due server.
  • Modello di Minaccia: I server seguono il protocollo ma potrebbero tentare di inferire dati. Gli utenti sono modellati come malevoli e potrebbero deviare dal protocollo per estrarre informazioni. Si assume che i proprietari dei dati siano onesti.

• Innovazione Principale: Bisezione Interattiva vs. Ordinamento
  A differenza dei sistemi esistenti che ordinano tutti i documenti candidati (un'operazione computazionalmente costosa nei protocolli sicuri), P2RAG evita completamente l'ordinamento. Invece, impiega un metodo di bisezione interattiva per determinare una soglia di distanza ($d_k$) che definisce l'insieme top-$k$.

  1. Calcolo della Distanza: I server calcolano distanze coseno condivise in segreto (approssimate tramite prodotti scalari) tra la richiesta dell'utente e tutti gli incorporamenti dei documenti utilizzando triple di Beaver.
  2. Iterazione di Bisezione: L'utente e i server interagiscono per restringere una soglia di distanza. In ogni iterazione, l'utente specifica una soglia $d_k$. I server utilizzano Funzioni di Confronto Distribuite (DCF) per contare quanti documenti hanno distanze inferiori a $d_k$.
  3. Selezione della Soglia: L'utente aggiorna $d_k$ in base al conteggio restituito fino a quando il numero di documenti entro la soglia non è vicino al target $k$.
  4. Recupero del Risultato: Una volta determinata la soglia, i server generano un vettore binario condiviso in segreto che indica quali documenti rientrano nella soglia. L'utente recupera gli indici di questi documenti utilizzando il Recupero di Informazioni a Server Singolo (PIR).

• Meccanismi di Sicurezza:

  • Privacy: La condivisione segreta garantisce che nessun server apprenda il database o la richiesta.
  • Difesa contro Utenti Malevoli: Per prevenire che gli utenti estraggano informazioni eccessive, P2RAG impone restrizioni rigorose:
    • Il numero di iterazioni di bisezione è limitato (limitando la fuoriuscita totale del conteggio a $O(\log^2 N)$).
    • La dimensione finale dell'insieme dei risultati è delimitata.
    • Meccanismi di verifica assicurano che l'utente recuperi solo indici corrispondenti al vettore binario concordato, prevenendo la manipolazione del processo di recupero.

Contributi Chiave

1. Supporto per Top-k Arbitrario: P2RAG è il primo sistema a supportare in modo efficiente valori arbitrari di $k$ senza la degradazione dell'efficienza osservata negli approcci basati sull'ordinamento, rendendolo adatto a scenari con $k$ elevato richiesti dai moderni modelli a contesto lungo.
2. Progettazione Efficiente del Protocollo: Sostituendo l'ordinamento sicuro con un metodo di bisezione interattiva che utilizza DCF, P2RAG riduce significativamente il numero di confronti, che rappresentano il principale collo di bottiglia nei protocolli sicuri.
3. Sicurezza Robusta: Il sistema protegge sia il database del proprietario dei dati sia la richiesta dell'utente contro server semi-onesti. Introduce inoltre restrizioni specifiche e passaggi di verifica per delimitare rigorosamente la fuoriuscita di informazioni contro utenti malevoli.
4. Implementazione e Valutazione: Gli autori hanno implementato P2RAG e rilasciato il codice sotto licenza Apache 2.0.

Risultati Sperimentali
Gli autori hanno valutato P2RAG utilizzando dataset BEIR (ad esempio, trec-covid con circa 171k documenti) e dataset sintetici.

• Accuratezza: P2RAG raggiunge un'accuratezza computazionale elevata. Il richiamo (Recall) rimane a 1,0 per $k'$ compreso tra 16 e 1024, e i punteggi di rilevanza indicano che i documenti recuperati sono generalmente pertinenti alla richiesta.
• Prestazioni: P2RAG dimostra accelerazioni significative rispetto al sistema all'avanguardia, PRAG.
  • Per $k = 16$, P2RAG è 3,78 volte più veloce.
  • Per $k$ più grandi (ad esempio, $k=1024$), l'accelerazione aumenta fino a 322 volte.
  • Il sistema scala linearmente con il numero di documenti ($N$) ma diventa relativamente più veloce all'aumentare di $k$, a differenza di PRAG che soffre di degradazione dell'efficienza.
• Comunicazione: Sebbene la comunicazione intra-server possa raggiungere centinaia di megabyte, questo è gestibile tramite collegamenti ad alta larghezza di banda nei data center. La comunicazione utente-server rimane bassa (paragonabile a poche immagini standard).

Significato e Affermazioni
Il documento afferma che P2RAG colma una lacuna critica nel RAG con preservazione della privacy: l'incapacità di gestire in modo efficiente valori elevati di $k$. Gli autori sottolineano che, sebbene il RAG non sicuro standard sia più semplice e veloce, P2RAG è essenziale per settori ad alto rischio come sanità, finanza e servizi legali, dove la privacy dei dati è un requisito rigoroso. Il sistema permette a questi settori di sfruttare grandi insiemi di recupero (che migliorano l'accuratezza degli LLM) senza compromettere la riservatezza delle basi di dati proprietarie o delle query degli utenti. Gli autori notano con modestia che il sistema si basa sull'assunzione di server semi-onesti non colludenti e che il RAG non sicuro standard rimane la scelta quando la privacy non è critica.