P$^2$RAG: Efficient Privacy-Preserving RAG Service Supporting Arbitrary Top-$k$ Retrieval

Resumen Técnico de P2RAG: Servicio de RAG Eficiente de Preservación de Privacidad que Soporta Recuperación Arbitraria Top-k

Enunciado del Problema
La Generación Aumentada por Recuperación (RAG) permite que los Modelos de Lenguaje Grande (LLM) utilicen conocimiento externo, pero la externalización de servicios RAG introduce riesgos significativos de privacidad tanto para los propietarios de datos (cuyas bases de datos propietarias quedan expuestas) como para los usuarios (cuyos prompts son visibles). Los sistemas existentes de RAG con preservación de privacidad (PP-RAG) suelen plantear el problema como una tarea de recuperación segura top-k, dependiendo de técnicas de ordenación segura o de los k Vecinos Más Cercanos Aproximados (k-ANN) seguros. Sin embargo, estos sistemas enfrentan limitaciones críticas:

1. Inflexibilidad: A menudo no pueden soportar ajustes arbitrarios o dinámicos al parámetro de recuperación $k$.
2. Degradación de la Eficiencia: Su rendimiento se degrada significativamente a medida que $k$ aumenta. Este es un cuello de botella importante porque las aplicaciones modernas en finanzas, derecho y atención médica, así como los LLM de contexto largo, a menudo requieren valores grandes de $k$ (por ejemplo, 100–150 o superiores) para lograr una precisión óptima.
3. Brechas de Seguridad: Algunos enfoques existentes plantean nuevos problemas de seguridad o no logran acotar estrictamente la fuga de información frente a usuarios maliciosos.

Metodología
Los autores proponen P2RAG, un servicio de RAG con preservación de privacidad diseñado para soportar de manera eficiente la recuperación top-k arbitraria. El sistema opera bajo un modelo de dos servidores donde los servidores son semi-honestos (honestos pero curiosos) y no coluden.

• Arquitectura del Sistema:

  • Propietario de Datos: Externaliza una base de datos cifrada a dos servidores. La base de datos consiste en $N$ incrustaciones de documentos, las cuales se comparten en secreto entre los dos servidores utilizando el esquema de compartición de secretos de Shamir sobre un campo primo.
  • Usuario: Envía una incrustación de prompt, también compartida en secreto entre los dos servidores.
  • Modelo de Amenaza: Los servidores siguen el protocolo pero pueden intentar inferir datos. Los usuarios se modelan como maliciosos y pueden desviarse del protocolo para extraer información. Se asume que los propietarios de datos son honestos.

• Innovación Central: Bisectriz Interactiva vs. Ordenación
  A diferencia de los sistemas existentes que ordenan todos los documentos candidatos (una operación computacionalmente costosa en protocolos seguros), P2RAG evita la ordenación por completo. En su lugar, emplea un método de bisectriz interactiva para determinar un umbral de distancia ($d_k$) que define el conjunto top-$k$.

  1. Cálculo de Distancia: Los servidores calculan distancias de coseno compartidas en secreto (aproximadas mediante productos punto) entre el prompt del usuario y todas las incrustaciones de documentos utilizando triples de Beaver.
  2. Iteración de Bisectriz: El usuario y los servidores interactúan para estrechar un umbral de distancia. En cada iteración, el usuario especifica un umbral $d_k$. Los servidores utilizan Funciones de Comparación Distribuidas (DCF) para contar cuántos documentos tienen distancias menores que $d_k$.
  3. Selección de Umbral: El usuario actualiza $d_k$ basándose en el conteo devuelto hasta que el número de documentos dentro del umbral se acerca al objetivo $k$.
  4. Recuperación de Resultados: Una vez determinado el umbral, los servidores generan un vector binario compartido en secreto que indica qué documentos caen dentro del umbral. El usuario recupera los índices de estos documentos utilizando Recuperación de Información Privada de Servidor Único (PIR).

• Mecanismos de Seguridad:

  • Privacidad: La compartición de secretos asegura que ningún servidor aprenda la base de datos ni el prompt.
  • Defensa contra Usuarios Maliciosos: Para evitar que los usuarios extraigan información excesiva, P2RAG impone restricciones estrictas:
    • El número de iteraciones de bisectriz está limitado (restringiendo la fuga total de conteo a $O(\log^2 N)$).
    • El tamaño del conjunto de resultados final está acotado.
    • Mecanismos de verificación aseguran que el usuario solo recupere índices correspondientes al vector binario acordado, previniendo la manipulación del proceso de recuperación.

Contribuciones Clave

1. Soporte para Top-k Arbitrario: P2RAG es el primer sistema que soporta eficientemente valores arbitrarios de $k$ sin la degradación de eficiencia observada en los enfoques basados en ordenación, haciéndolo adecuado para escenarios de $k$ grande requeridos por los modelos modernos de contexto largo.
2. Diseño de Protocolo Eficiente: Al reemplazar la ordenación segura con un método de bisectriz interactiva que utiliza DCF, P2RAG reduce significativamente el número de comparaciones, que son el principal cuello de botella en los protocolos seguros.
3. Seguridad Robusta: El sistema protege tanto la base de datos del propietario de datos como el prompt del usuario frente a servidores semi-honestos. También introduce restricciones específicas y pasos de verificación para acotar estrictamente la fuga de información frente a usuarios maliciosos.
4. Implementación y Evaluación: Los autores implementaron P2RAG y publicaron el código bajo la Licencia Apache 2.0.

Resultados Experimentales
Los autores evaluaron P2RAG utilizando conjuntos de datos BEIR (por ejemplo, trec-covid con ~171k documentos) y conjuntos de datos sintéticos.

• Precisión: P2RAG logra una alta precisión computacional. La recuperación (recall) se mantiene en 1.0 para $k'$ que varía de 16 a 1024, y las puntuaciones de relevancia indican que los documentos recuperados son generalmente relevantes para el prompt.
• Rendimiento: P2RAG demuestra aceleraciones significativas frente al sistema más avanzado, PRAG.
  • Para $k = 16$, P2RAG es 3.78× más rápido.
  • Para $k$ más grande (por ejemplo, $k=1024$), la aceleración aumenta a 322×.
  • El sistema escala linealmente con el número de documentos ($N$), pero se vuelve relativamente más rápido a medida que $k$ aumenta, a diferencia de PRAG, que sufre degradación de eficiencia.
• Comunicación: Si bien la comunicación intra-servidor puede alcanzar cientos de megabytes, esto es manejable mediante enlaces de centros de datos de alto ancho de banda. La comunicación usuario-servidor se mantiene baja (comparable a unas pocas imágenes estándar).

Significado y Afirmaciones
El artículo afirma que P2RAG aborda una brecha crítica en el RAG con preservación de privacidad: la incapacidad de manejar eficientemente valores grandes de $k$. Los autores enfatizan que, aunque el RAG estándar no seguro es más simple y rápido, P2RAG es esencial para dominios de alto riesgo como la atención médica, las finanzas y los servicios legales, donde la privacidad de los datos es un requisito estricto. El sistema permite a estos sectores aprovechar conjuntos de recuperación grandes (que mejoran la precisión de los LLM) sin comprometer la confidencialidad de las bases de datos propietarias o las consultas de los usuarios. Los autores notan modestamente que el sistema depende de la suposición de servidores semi-honestos que no coluden y que el RAG estándar no seguro sigue siendo la opción cuando la privacidad no es crítica.