Resumen Técnico: SharedRequest

Planteamiento del Problema

El despliegue generalizado de modelos de lenguaje extensos (LLM) públicos como ChatGPT ha creado una tensión crítica entre la utilidad y la privacidad del usuario. Si bien los LLM basados en la nube ofrecen capacidades transformadoras, los prompts de los usuarios suelen contener información sensible (por ejemplo, atributos personales, historial médico, detalles legales) que debe permanecer confidencial frente a terceros, incluido el proveedor del servicio.

Los métodos existentes de inferencia con preservación de la privacidad enfrentan un "trilema" entre privacidad, utilidad y eficiencia:

1. Enfoques criptográficos (SMPC): Métodos como Iron, MPCFormer y SecFormer ofrecen fuertes garantías de privacidad pero introducen una sobrecarga de comunicación y computación prohibitiva, lo que limita su escalabilidad.
2. Privacidad Diferencial Local (LDP): Los enfoques como RanText y CusText perturban los prompts en el lado del cliente, pero a menudo degradan significativamente la calidad de la respuesta (utilidad) y tienen dificultades con las tareas de generación de texto.
3. Modificaciones específicas del modelo: Muchas soluciones requieren acceso a los parámetros del modelo o cambios arquitectónicos, lo cual es inviable para modelos de caja negra propietarios.
4. Perturbación individual: Los métodos actuales agnósticos al modelo suelen perturbar cada prompt de forma independiente, lo que conduce a una distorsión semántica y altos costos de consulta al generar múltiples variantes ruidosas para garantizar la privacidad.

Metodología: SharedRequest

Los autores proponen SharedRequest, un marco de trabajo agnóstico al modelo que reformula la protección de la privacidad a nivel de lote (batch) en lugar de a nivel de prompt individual. La idea central es que los LLM comerciales procesan lotes masivos de consultas donde muchos usuarios comparten instrucciones genéricas semánticamente equivalentes (por ejemplo, "¿Cuáles son los restaurantes recomendados en [Ubicación]?").

Mecanismo Central

SharedRequest opera a través de un protocolo de tres partes que involucra a Usuarios, un Muestreador de Ruido (un coordinador externo) y el Proveedor de Servicio (dueño del LLM).

1. Descomposición de Prompts:

   • Los prompts de los usuarios se dividen en una instrucción genérica ($T_q$) y atributos privados ($A_q$).
   • Los usuarios identifican los atributos privados y muestrean un conjunto de atributos alternativos plausibles ($A'$) a partir de una base de datos preconstruida o generación local.

2. Agrupación a Nivel de Lote e Inyección de Ruido:

   • El Muestreador de Ruido recibe los atributos privados cifrados de los usuarios. Agrupa los prompts basándose en sus instrucciones genéricas.
   • Para cada grupo, el muestreador genera variantes ruidosas reemplazando los atributos privados originales con los atributos alternativos muestreados.
   • Crucialmente, el muestreador emplea un mecanismo de filtrado de combinación. En lugar de enviar todas las combinaciones posibles de atributos (que serían exponencialmente grandes), utiliza un discriminador preentrenado para calificar la "genuinidad" de las combinaciones de atributos dentro del contexto. Solo se seleccionan las combinaciones que superan un umbral de calidad. Esto asegura que los prompts ruidosos sean indistinguibles de los genuinos.

3. Transmisión Segura:

   • Transmisión hacia adelante (Forward): Los usuarios cifran los atributos privados usando la clave pública del Proveedor de Servicio. Los mensajes al Muestreador de Ruido se cifran con la clave pública del Muestreador. Esto asegura que el Muestreador vea solo las instrucciones genéricas y las listas de candidatos, mientras que el Proveedor de Servicio ve un conjunto mezclado de prompts genuinos y ruidosos, pero no puede vincularlos con usuarios específicos.
   • Transmisión hacia atrás (Backward): El Proveedor de Servicio genera respuestas para el lote. Para evitar que el Muestreador de Ruido aprenda el contenido, el Proveedor de Servicio enmascara las respuestas utilizando una máscara pseudoaleatoria derivada de una semilla proporcionada por el usuario. Los usuarios reconstruyen la respuesta real mediante sustracción modular.

4. Amortización de Costos:

   • El Proveedor de Servicio agrega prompts idénticos (tanto genuinos como ruidosos) dentro de un lote y genera una única respuesta por cada prompt único.
   • El costo de inferencia de las consultas "ruidosas" se amortiza entre todo el lote de usuarios que comparten la misma instrucción genérica.

Definición de Privacidad

El artículo introduce la $(A_n, \epsilon)$-indistinguibilidad, una relajación de la Privacidad Diferencial (DP) estándar.

• Vecinos: Dos conjuntos de prompts se consideran vecinos si uno puede obtenerse del otro reemplazando los atributos privados de un solo prompt con un "alternativo calificado" de un conjunto definido por el usuario.
• Garantía: El mecanismo asegura que la visión del Proveedor de Servicio (un conjunto mezclado de prompts) es indistinguible respecto a los cambios en los atributos privados, siempre que el Muestreador de Ruido y el Proveedor de Servicio no coludan.

Contribuciones Clave

1. Nuevo Paradigma a Nivel de Lote: Un marco de trabajo agnóstico al modelo que agrupa solicitudes semánticamente equivalentes para su procesamiento conjunto, permitiendo la privacidad mediante la mezcla de variantes ruidosas y la reducción de costos mediante la amortización a nivel de lote.
2. Protocolo Multipartito Ligero: Un diseño que preserva el anonimato del usuario y oculta los atributos privados del proveedor de servicio sin requerir modificaciones en la arquitectura del LLM o acceso a sus parámetros.
3. Formalización Teórica: Formalización de la privacidad mediante la $(A_n, \epsilon)$-indistinguibilidad y análisis teórico que demuestra los beneficios de la amortización del costo de consulta, particularmente bajo distribuciones de solicitudes desiguales (cola larga).
4. Coordinación de Terceros: Un mecanismo para el muestreo eficiente de consultas ruidosas que reduce la computación del lado del usuario para prompts con múltiples atributos privados, delegando la selección compleja de combinaciones al Muestreador de Ruido.

Resultados Experimentales

El marco fue evaluado en tres conjuntos de datos sensibles a la privacidad: Legal-QA, Medical-QA y MMLU-Biz.

• Utilidad:
  • La versión "Original" (sin simplificación de prompts) logró una utilidad casi idéntica a la línea base no privada (con menos del 1% de pérdida).
  • Comparado con los estados del arte de los baselines LDP agnósticos al modelo (RanText, CusText, DP-Prompt, InferDPT), SharedRequest logró más de un 20% más de utilidad (medida por puntuación F1 o calificaciones de calidad) en presupuestos de privacidad ($\epsilon$) que oscilan entre 1 y 5.
• Costo de Consulta:
  • El mecanismo de prompts compartidos redujo los costos de consulta hasta en 5.6× en comparación con la inferencia no agrupada, particularmente cuando la distribución de instrucciones genéricas estaba concentrada (baja entropía).
  • La reducción de costos escala con el tamaño del lote y la asimetría de la distribución de las solicitudes.
• Robustez:
  • Contra ataques de inferencia donde un servidor intenta distinguir prompts genuinos de ruidosos, SharedRequest redujo la tasa de éxito del ataque en aproximadamente un 32.7% en comparación con los baselines de muestreo aleatorio.
  • El marco mantuvo tasas de éxito de ataque (ASR) comparables a otros baselines de DP, ofreciendo simultáneamente una utilidad significativamente mayor.
• Eficiencia:
  • La sobrecarga computacional para el filtrado de atributos en el Muestreador de Ruido fue baja (menos de 6.2 segundos por grupo de instrucciones para un discriminador de 1.5B de parámetros).
  • La sobrecarga de comunicación se mantuvo mínima (< 0.1 MB), comparable a los métodos DP estándar y significativamente inferior a los enfoques basados en SMPC.

Significado y Reivindicaciones

El artículo afirma que SharedRequest aborda las limitaciones fundamentales de la inferencia de LLM con preservación de la privacidad al romper el compromiso entre privacidad, utilidad y eficiencia. Al desplazar el paradigma de la privacidad de la perturbación individual a la mezcla a nivel de lote, el marco aprovecha la redundancia natural en el uso de LLM a gran escala para amortizar el costo de la protección de la privacidad.

Los autores enfatizan que este enfoque es agnóstico al modelo, lo que lo hace aplicable de inmediato a modelos de caja negra propietarios sin requerir la cooperación del proveedor de servicio o cambios arquitectónicos. Los resultados sugieren que, para escenarios del mundo real con distribuciones de consultas concentradas, SharedRequest ofrece un camino práctico para desplegar LLM con preservación de la privacidad que mantienen una alta utilidad mientras reducen significativamente los costos operativos.

Limitaciones Reconocidas:

• El protocolo asume que el Muestreador de Ruido y el Proveedor de Servicio no coluden.
• Los usuarios son responsables de identificar los atributos privados y generar alternativas (aunque herramientas como NER o LLMs locales pueden asistir).
• Los beneficios de costo se maximizan cuando las distribuciones de consultas son desiguales; las consultas altamente únicas pueden experimentar menos amortización.