Improving User Privacy in Personalized Generation: Client-Side Retrieval-Augmented Modification of Server-Side Generated Speculations

Resumen Técnico: Mejora de la Privacidad del Usuario en la Generación Personalizada

Planteamiento del Problema
La personalización en los Modelos de Lenguaje de Gran Escala (LLM) depende típicamente de la Generación Aumentada por Recuperación (RAG), donde se recupera contexto relevante de un perfil privado del usuario y se introduce al modelo para adaptar las respuestas. Sin embargo, esto crea un compromiso fundamental:

1. RAG en el Lado del Servidor: Ofrece una personalización de alta calidad utilizando potentes modelos en la nube, pero requiere la divulgación de perfiles privados de los usuarios al proveedor, lo que plantea riesgos signific efectivos de privacidad.
2. RAG en el Lado del Cliente: Preserva la privacidad al mantener el perfil en el dispositivo del usuario, pero está limitado por las restricciones computacionales del hardware de borde (edge), lo que obliga al uso de modelos más pequeños y menos capaces que suelen tener un rendimiento inferior.

Las alternativas actuales de preservación de la privacidad, como la ofuscación textual o vectorial, son vulnerables a ataques de inversión y permiten que los proveedores sondeen los datos ofuscados. El cifrado homomórfico es actualmente impracticable debido a su prohibitiva carga computacional. El artículo aborda la necesidad de un método que aproveche la alta capacidad de los modelos en el lado del servidor para la personalización sin exponer directamente el contexto privado bruto del usuario.

Metodología: El Marco $P^3$
Los autores proponen $P^3$ (Client-Side Retrieval-Augmented Modification of Server-Side Generated Speculations), un marco interactivo que descompone la generación en un proceso colaborativo entre un modelo grande en el lado del servidor ($M_{server}$) y un modelo pequeño en el lado del cliente ($M_{client}$).

• Arquitectura:

  • Lado del Servidor: Un modelo grande de alta capacidad genera una secuencia de $k$ tokens de "borrador" basándose únicamente en la consulta del usuario, sin acceso al perfil del usuario.
  • Lado del Cliente: Un modelo más pequeño, desplegado en el dispositivo del usuario, tiene acceso al perfil privado del usuario. Recupera el contexto relevante ($C_q$) del perfil basado en la consulta.
  • Bucle de Verificación y Corrección:
    1. El servidor propone $k$ tokens.
    2. El cliente evalúa estos tokens condicionándolos al contexto personal recuperado.
    3. Para cada token de borrador $T_i$, el cliente calcula su probabilidad ($P_{T_i}$) y la compara con la probabilidad del token alternativo más probable ($T^*_i$) según el modelo del cliente.
    4. Aceptación: Si la relación $P_{T_i} / P_{T^*_i} \geq \tau$ (donde $\tau$ es un umbral de rechazo), el token se acepta.
    5. Corrección: Si la relación cae por debajo de $\tau$, el token es rechazado y reemplazado por $T^*_i$. Los tokens de borrador restantes en ese lote se descartan, y el servidor genera un nuevo lote condicionado al prefijo corregido.
  • Filtro de Privacidad: Antes de enviar el prefijo corregido de vuelta al servidor, el cliente filtra cualquier Información de Identificación Personal (PII) encontrada en el contexto recuperado, reemplazándola con un marcador de posición (por ejemplo, [PII]). Esto asegura que el servidor nunca vea el perfil bruto ni las correcciones cargadas de PII.

• Distinción de la Decodificación Especulativa: A diferencia de la decodificación especulativa estándar, donde un modelo pequeño redacta y un modelo grande verifica para reducir la latencia, $P^3$ invierte los roles (el grande redacta, el pequeño verifica) para priorizar la privacidad y la personalización. El modelo del cliente se desvía intencionalmente de la distribución del servidor para dirigir la salida hacia las preferencias del usuario.

Contribuciones Clave

1. Diseño del Marco: Introducción de $P^3$, el primer método de recuperación aumentada que evita la divulgación directa de los perfiles de usuario al servidor.
2. Equilibrio Privacidad-Utilidad: El método logra una alta calidad de personalización aprovechando las capacidades del lado del servidor mientras restringe la filtración de información solo a la mínima información implícita en los tokens aceptados o corregidos.
3. Código Abierto: Los autores han liberado la implementación en código abierto para fomentar la investigación adicional en la generación aumentada por recuperación consciente de la privacidad.

Resultados Experimentales
Los experimentos se realizaron en el benchmark LaMP-QA, que comprende tres conjuntos de datos: Arte y Entretenimiento, Estilo de Vida y Desarrollo Personal, y Sociedad y Cultura. El sistema utilizó las familias Qwen 2.5 (14B/3B) y Gemma 3 (12B/4B).

• Rendimiento:
  • $P^3$ superó consistentemente tanto a las líneas base no personalizadas del lado del servidor como a las líneas base personalizadas del lado del cliente en todos los conjuntos de datos.
  • Logró mejoras estadísticamente significativas de entre 7.4% y 9% en promedio sobre las mejores líneas base no filtrantes.
  • $P^3$ recuperó entre el 90.3% y el 95.7% de la utilidad de un escenario de "límite superior" donde el perfil completo se expone al servidor (un entorno de "fuga").
• Análisis de Privacidad:
  • Ataque de Vinculación: Un atacante que intenta identificar el perfil del usuario a partir de un conjunto de candidatos logró solo un 24% de precisión con $P^3$, comparado con el 22.5% de una línea base de solo consulta y el 20% de una línea base aleatoria. Esto representa un aumento marginal de 1.5% en la filtración respecto a la línea base no personalizada.
  • Ataque de Inferencia de Atributos: La precisión del atacante para inferir atributos del usuario (por ejemplo, ocupación, ubicación) fue del 58.5% con $P^3$, solo un 3.5% superior a la línea base de solo consulta (55%). Esto es significativamente menor que la precisión del 100% alcanzada cuando se comparte el perfil completo.
• Eficiencia:
  • El modelo del lado del cliente genera solo el 9.2% de los tokens totales en la respuesta final.
  • El tiempo de ejecución del lado del cliente representa solo una fracción de la latencia total (por ejemplo, ~4.9s de 23.6s totales), ocurriendo la mayor parte de la computación en el servidor.
  • $P^3$ con un modelo de cliente de 3B superó significativamente a una línea base de RAG totalmente del lado del cliente usando un modelo de 3B, utilizando menos tiempo de ejecución y VRAM del usuario.

Significancia y Reivindicaciones
El artículo afirma que $P^3$ proporciona una solución práctica y efectiva para la generación personalizada que mejora la privacidad sin sacrificar el rendimiento. Demuestra que es posible utilizar potentes LLMs alojados en la nube para la personalización manteniendo el control sobre los datos personales. Los autores posicionan este trabajo como un paso hacia la reducción de riesgos con principios, ofreciendo un punto medio entre el aislamiento absoluto de los modelos locales y la divulgación sin restricciones de la RAG tradicional en el servidor. Los resultados sugieren que $P^3$ introduce solo una filtración adicional marginal en comparación con el envío de una consulta sin ningún contexto personal, lo que lo convierte en una alternativa viable para escenarios donde se requieren garantías de privacidad estrictas pero también se desea una alta utilidad del modelo.