P$^2$RAG: Efficient Privacy-Preserving RAG Service Supporting Arbitrary Top-$k$ Retrieval

Resumo Técnico do P2RAG: Serviço RAG Eficiente de Preservação de Privacidade com Suporte a Recuperação Arbitrária Top-k

Declaração do Problema
A Geração Aumentada por Recuperação (RAG) permite que Modelos de Linguagem de Grande Escala (LLMs) utilizem conhecimento externo, mas a terceirização de serviços RAG introduz riscos significativos de privacidade tanto para os proprietários de dados (cujos bancos de dados proprietários são expostos) quanto para os usuários (cujos prompts são visíveis). Os sistemas existentes de RAG com preservação de privacidade (PP-RAG) normalmente enquadram o problema como uma tarefa de recuperação segura top-k, dependendo de ordenação segura ou técnicas de k-Vizinhos Mais Próximos Aproximados (k-ANN) seguras. No entanto, esses sistemas enfrentam limitações críticas:

1. Inflexibilidade: Frequentemente não conseguem suportar ajustes arbitrários ou dinâmicos no parâmetro de recuperação $k$.
2. Degradação de Eficiência: Seu desempenho degrada-se significativamente à medida que $k$ aumenta. Este é um gargalo importante porque aplicações modernas em finanças, direito e saúde, bem como LLMs de contexto longo, frequentemente exigem valores grandes de $k$ (por exemplo, 100–150 ou superiores) para alcançar precisão ótima.
3. Lacunas de Segurança: Algumas abordagens existentes levantam novas questões de segurança ou falham em limitar estritamente o vazamento de informações contra usuários maliciosos.

Metodologia
Os autores propõem o P2RAG, um serviço de RAG com preservação de privacidade projetado para suportar recuperação top-k arbitrária de forma eficiente. O sistema opera em um modelo de dois servidores onde os servidores são semi-honestos (honestos, mas curiosos) e não coludem.

• Arquitetura do Sistema:

  • Proprietário de Dados: Terceiriza um banco de dados criptografado para dois servidores. O banco de dados consiste em $N$ incorporações de documentos, que são compartilhadas secretamente entre os dois servidores usando o compartilhamento secreto de Shamir sobre um campo primo.
  • Usuário: Submete uma incorporação de prompt, também compartilhada secretamente entre os dois servidores.
  • Modelo de Ameaça: Os servidores seguem o protocolo, mas podem tentar inferir dados. Os usuários são modelados como maliciosos e podem desviar-se do protocolo para extrair informações. Assume-se que os proprietários de dados são honestos.

• Inovação Central: Bissecção Interativa vs. Ordenação
  Diferentemente dos sistemas existentes que ordenam todos os documentos candidatos (uma operação computacionalmente cara em protocolos seguros), o P2RAG evita a ordenação completamente. Em vez disso, emprega um método de bissecção interativa para determinar um limiar de distância ($d_k$) que define o conjunto top-$k$.

  1. Cálculo de Distância: Os servidores calculam distâncias de cosseno compartilhadas secretamente (aproximadas via produtos escalares) entre o prompt do usuário e todas as incorporações de documentos usando triplas de Beaver.
  2. Iteração de Bissecção: O usuário e os servidores interagem para estreitar um limiar de distância. Em cada iteração, o usuário especifica um limiar $d_k$. Os servidores usam Funções de Comparação Distribuídas (DCFs) para contar quantos documentos têm distâncias menores que $d_k$.
  3. Seleção de Limiar: O usuário atualiza $d_k$ com base na contagem retornada até que o número de documentos dentro do limiar esteja próximo do alvo $k$.
  4. Recuperação do Resultado: Uma vez determinado o limiar, os servidores geram um vetor binário compartilhado secretamente indicando quais documentos caem dentro do limiar. O usuário recupera os índices desses documentos usando Recuperação de Informação Privada de Servidor Único (PIR).

• Mecanismos de Segurança:

  • Privacidade: O compartilhamento secreto garante que nenhum servidor aprenda o banco de dados ou o prompt.
  • Defesa Contra Usuários Maliciosos: Para impedir que usuários extraiam informações excessivas, o P2RAG impõe restrições rigorosas:
    • O número de iterações de bissecção é limitado (restringindo o vazamento total de contagem para $O(\log^2 N)$).
    • O tamanho do conjunto de resultados finais é limitado.
    • Mecanismos de verificação garantem que o usuário recupere apenas índices correspondentes ao vetor binário acordado, impedindo a manipulação do processo de recuperação.

Principais Contribuições

1. Suporte a Top-k Arbitrário: O P2RAG é o primeiro sistema a suportar eficientemente valores arbitrários de $k$ sem a degradação de eficiência observada em abordagens baseadas em ordenação, tornando-o adequado para cenários de grande $k$ exigidos por modelos modernos de contexto longo.
2. Design de Protocolo Eficiente: Ao substituir a ordenação segura por um método de bissecção interativa usando DCFs, o P2RAG reduz significativamente o número de comparações, que são o principal gargalo em protocolos seguros.
3. Segurança Robusta: O sistema protege tanto o banco de dados do proprietário de dados quanto o prompt do usuário contra servidores semi-honestos. Também introduz restrições específicas e etapas de verificação para limitar estritamente o vazamento de informações contra usuários maliciosos.
4. Implementação e Avaliação: Os autores implementaram o P2RAG e lançaram o código sob a Licença Apache 2.0.

Resultados Experimentais
Os autores avaliaram o P2RAG usando conjuntos de dados BEIR (por exemplo, trec-covid com ~171 mil documentos) e conjuntos de dados sintéticos.

• Precisão: O P2RAG alcança alta precisão computacional. O recall permanece em 1,0 para $k'$ variando de 16 a 1024, e as pontuações de relevância indicam que os documentos recuperados são geralmente relevantes para o prompt.
• Desempenho: O P2RAG demonstra acelerações significativas em relação ao sistema mais avançado, PRAG.
  • Para $k = 16$, o P2RAG é 3,78× mais rápido.
  • Para $k$ maiores (por exemplo, $k=1024$), a aceleração aumenta para 322×.
  • O sistema escala linearmente com o número de documentos ($N$), mas torna-se relativamente mais rápido à medida que $k$ aumenta, ao contrário do PRAG, que sofre de degradação de eficiência.
• Comunicação: Embora a comunicação intra-servidor possa atingir centenas de megabytes, isso é gerenciável por meio de links de data center de alta largura de banda. A comunicação usuário-servidor permanece baixa (comparável a algumas imagens padrão).

Significado e Alegações
O artigo afirma que o P2RAG aborda uma lacuna crítica no RAG com preservação de privacidade: a incapacidade de lidar eficientemente com valores grandes de $k$. Os autores enfatizam que, embora o RAG não seguro padrão seja mais simples e rápido, o P2RAG é essencial para domínios de alto risco como saúde, finanças e serviços jurídicos, onde a privacidade dos dados é um requisito estrito. O sistema permite que esses setores aproveitem grandes conjuntos de recuperação (que melhoram a precisão do LLM) sem comprometer a confidencialidade de bancos de dados proprietários ou consultas de usuários. Os autores observam modestamente que o sistema depende da suposição de servidores semi-honestos não coludentes e que o RAG não seguro padrão permanece a escolha quando a privacidade não é crítica.