Differential Privacy of Gaussian Process Posterior Sampling

Resumen Técnico: Privacidad Diferencial del Muestreo de la Posterior de Procesos Gaussianos

Planteamiento del Problema
El artículo aborda los riesgos de privacidad asociados con la liberación de trayectorias de muestras posteriores de un Proceso Gaussiano (GP) cuando todo el conjunto de entrenamiento (tanto las covariables $X$ como las respuestas $y$) es privado. A diferencia de los mecanismos estándar de privacidad diferencial (DP) que inyectan ruido externo en salidas deterministas (por ejemplo, medias posteriores), este trabajo investiga la privacidad "intrínseca" proporcionada por la aleatoriedad inherente al propio mecanismo de muestreo de la posterior bayesiana. El adversario se modela como alguien que observa una o más trayectorias de muestras de funciones liberadas $f_D \sim \Pi_D$, pudiendo evaluarlas en entradas arbitrarias, mientras conoce la estructura del modelo GP, el dominio y el tamaño del conjunto de datos. El objetivo es cuantificar la filtración de privacidad de este mecanismo sin añadir ruido externo, y comprender cómo la regularización y los parámetros del kernel influyen en esta filtración.

Metodología
Los autores analizan el mecanismo $M: D \mapsto f_D$, donde $f_D$ es una extracción única de la posterior del GP $\Pi_D = \mathcal{GP}(\mu_D, \sigma^2 k_D)$. Emplean la Privacidad Diferencial de Rényi (RDP) para derivar cotas explícitas, que luego se convierten en garantías de $(\epsilon, \delta)$-DP aproximadas.

1. Derivación Teórica: La contribución teórica central es el Teorema 3.1, que proporciona una cota RDP para la liberación de una trayectoria de muestra posterior en cualquier conjunto de prueba finito. La cota separa la filtración en dos componentes distintos:

   • Filtración de la Media Posterior: Gobernada por la sensibilidad de la media posterior $\mu_D$ ante cambios en el conjunto de datos, escalada por la escala del kernel $\sigma$.
   • Filtración de la Covarianza Posterior: Gobernada por la covarianza posterior dependiente de los datos $k_D$. Crucialmente, los autores demuestran que incluso si la media está perfectamente regularizada (o $\sigma \to \infty$), el término de la covarianza $k_D$ aún puede filtrar información sobre los datos de entrenamiento.
   • Parámetros Clave: Las cotas dependen del ridge efectivo $r$ (relacionado con la relación ruido-señal) y de la escala de la varianza posterior $V_n(r)$. El análisis demuestra que una privacidad significativa requiere una regularización suficiente (un $r$ grande) para suprimir la filtración de la covarianza, no solo escalas de kernel grandes.

2. Mejora mediante Ruido: El artículo también propone un mecanismo para refinar las garantías de privacidad añadiendo ruido gaussiano independiente $g \sim \mathcal{GP}(0, \eta^2 k)$ a la trayectoria de muestra liberada (Ecuación 5). Esto proporciona un "control de privacidad" explícito para intercambiar utilidad por garantías más fuertes.

3. Validación Empírica:

   • Ataques de Inferencia de Membresía (MIA): Los autores implementan un ataque de estilo LiRA para probar las predicciones teóricas. Miden la tasa de éxito del ataque (Tasa de Verdaderos Positivos a una Tasa de Falsos Positivos fija) frente a niveles variables de regularización ($r$) y escala del kernel ($\sigma$).
   • Intercambio Privacidad-Utilidad: Utilizando datos sintéticos y reales (precios de viviendas en el Gran Londres), evalúan la utilidad de las trayectorias liberadas para tareas downstream, específicamente la "estimación de conjuntos de excursión" (identificar regiones donde el campo latente supera un umbral). Comparan la selección de hiperparámetros sin restricciones frente a la selección restringida por un presupuesto de privacidad ($\epsilon < 10$).

Contribuciones Clave

1. Primeras Cotas Explícitas de DP para el Muestreo de la Posterior de GP: El artículo deriva las primeras cotas RDP explícitas para la liberación de trayectorias de muestras de la posterior de un GP donde todo el conjunto de entrenamiento es privado. Trabajos previos asumían covariables públicas, log-verosimilitudes acotadas (que los GP no satisfacen debido a funciones latentes no acotadas) o dependían de marcos bayesianos generales que no se aplican directamente a la regresión GP estándar.
2. Desacoplamiento de las Fuentes de Filtración: Las cotas teóricas separan explícitamente la filtración de la media posterior (sensible a desplazamientos dependientes de los datos) de la filtración inherente a la covarianza posterior (incertidumbre dependiente de los datos). Esto revela que la privacidad intrínseca no es automática; depende fuertemente de una regularización de ridge efectiva para controlar la filtración de la covarianza.
3. Confirmación Empírica de la Teoría: Los experimentos confirman que el éxito del ataque de inferencia de membresía sigue la dependencia predicha de la regularización. Específicamente, aumentar el ridge efectivo $r$ lleva el rendimiento del ataque hacia el azar, mientras que aumentar solo la escala del kernel $\sigma$ deja señales de membresía residuales.
4. Preservación de la Utilidad en Regímenes Ruidosos: Los experimentos de utilidad demuestran que en regímenes con alto ruido de observación (donde la regularización es naturalmente alta), la regularización compatible con la privacidad preserva decisiones downstream útiles (estimación de conjuntos de excursión) con solo una modesta pérdida de utilidad. En regímenes de bajo ruido, el óptimo sin restricciones se ajusta estrechamente a los datos, y aplicar privacidad requiere una regularización significativa, lo que conlleva mayores costes de utilidad.

Resultados

• Rendimiento de MIA: La tasa de éxito del ataque se correlaciona fuertemente con las cotas $\epsilon$ derivadas. Cuando la regularización es baja, los ataques tienen éxito incluso con un $\sigma$ grande. A medida que la regularización ($r$) aumenta, el rendimiento del ataque colapsa hacia el azar, validando las cotas teóricas.
• Composición: El artículo analiza el efecto de liberar $L$ extracciones independientes de la posterior. Aunque los términos RDP se componen de forma aditiva, la conversión a DP aproximada produce un crecimiento sublineal en la cota final de $\epsilon$ con respecto a $L$.
• Utilidad vs. Privacidad: En experimentos de conjuntos de excursión sintéticos en 1D y 2D, los autores encuentran que para observaciones ruidosas (alta Relación Ruido-Señal), el óptimo de utilidad sin restricciones ya está altamente regularizado. Por consiguiente, imponer una restricción de privacidad ($\epsilon < 10$) resulta en una degradación mínima de la utilidad (por ejemplo, una brecha de IoU relativa < 10%). En regímenes de bajo ruido, el óptimo sin restricciones se ajusta de cerca a los datos, y forzar la privacidad requiere una regularización significativa, lo que conlleva mayores costes de utilidad.
• Aplicación en el Mundo Real: Aplicado a los datos de precios de viviendas de Londres, las extracciones de la posterior privadas recuperan con éxito las regiones dominantes de precios altos pero suavizan las islas de precios altos pequeñas e aisladas, ilustrando el compromiso entre la aleatorización inducida por la privacidad y el detalle fino.

Significancia y Reclamaciones
El artículo afirma que la aleatoriedad de la posterior en los Procesos Gaussianos puede servir como un "recurso genuino de privacidad", pero esto no es incondicional. Los autores enfatizan que la privacidad intrínseca útil requiere suficiente regularización para controlar tanto la filtración de la media posterior como la de la covarianza posterior.

El trabajo amplía la comprensión de la privacidad en el aprendizaje bayesiano al mostrar que el muestreo de la posterior de un GP estándar, a menudo visto como un sustituto determinista en contextos de privacidad, posee en realidad propiedades de DP intrínsecas que pueden cuantificarse y controlarse. Los autores señalan que sus cotas asumen hiperparámetros fijos; si los hiperparámetros se seleccionan utilizando los datos privados, se requiere una contabilidad de privacidad adicional. También reconocen que sus cotas dependen de respuestas acotadas, un requisito común en DP, y que la fuerza práctica de la cota depende de qué tan estrictamente se pueda controlar el término de sensibilidad $\Delta_n(r)$.

El artículo concluye que, si bien la privacidad intrínseca es poderosa, es más efectiva en regímenes ruidosos donde la regularización es naturalmente alta, permitiendo la liberación de muestras posteriores útiles sin la inyección explícita de ruido externo. Para necesidades de privacidad más estrictas o regímenes de bajo ruido, añadir ruido GP calibrado proporciona un mecanismo para refinar las garantías.