Distributed Deep Variational Approach for Privacy-preserving Data Release

Resumen Técnico: Enfoque Variacional Distribuido para la Liberación de Datos que Preserva la Privacidad

Enunciado del Problema
El artículo aborda el desafío de liberar datos continuos de alta dimensión (por ejemplo, imágenes, lecturas de sensores) preservando atributos de utilidad específicos y ocultando atributos sensibles. Aunque el Aprendizaje Federado (FL) mantiene los datos locales, sigue siendo vulnerable a filtraciones de privacidad a través de gradientes, actualizaciones de modelos y las propias representaciones. Los métodos existentes basados en perturbación (como la Privacidad Diferencial) a menudo luchan con características continuas de alta dimensión, y la anonimización simple falla debido a las correlaciones entre datos sensibles y de utilidad. El objetivo es aprender una mapeo estocástico que transforme los datos crudos $X$ en una representación sanitizada y de baja dimensión $Z$ tal que $Z$ retenga información sobre una variable de utilidad $U$ pero revele información mínima sobre una variable sensible $S$.

Metodología: Protector de Privacidad Gaussiano (GPP)
Los autores proponen el Protector de Privacidad Gaussiano (GPP), un marco fundamentado en la teoría de la información y la inferencia variacional.

1. Formulación del Objetivo: El problema central se formula como la minimización de la información mutua entre los datos sanitizados y el atributo sensible, $I(Z;S)$, sujeto a una restricción sobre la entropía condicional del atributo de utilidad, $H(U|Z) \leq \bar{\gamma}$. Esto se relaja en un objetivo Lagrangiano:
   $$\mathcal{L} = I(Z;S) + \beta \cdot H(U|Z)$$
   donde $\beta$ controla la compensación entre privacidad y utilidad.

2. Límites Variacionales: Dado que las distribuciones posteriores verdaderas son intratables, los autores derivan límites variacionales:

   • Término de Privacidad: Se obtiene un límite inferior para $I(Z;S)$ utilizando una red adversaria $Q_\phi(S|Z)$ que intenta predecir $S$ a partir de $Z$. Minimizar la pérdida del codificador mientras se maximiza la pérdida del adversario (juego min-max) estrecha este límite.
   • Término de Utilidad: Se obtiene un límite superior para $H(U|Z)$ utilizando un clasificador de utilidad $Q_\psi(U|Z)$. El codificador coopera con este clasificador para minimizar la pérdida de entropía cruzada.

3. Arquitectura: El marco emplea una estructura de Codificador-Decoder Variacional (VAE). El codificador $T_\theta$ mapea $X$ a un espacio latente gaussiano $(\mu, \Sigma)$, desde el cual $Z$ se muestrea mediante el truco de reparametrización. Un término de divergencia KL regulariza el espacio latente para que esté cerca de una distribución normal estándar. La función de pérdida total combina la entropía cruzada de utilidad, la entropía cruzada negativa del adversario y la regularización KL.

4. Extensión Distribuida: El marco se extiende a un entorno distribuido (GPP Distribuido). En esta arquitectura:

   • Cada cliente entrena un codificador local y un clasificador adversario local.
   • Las etiquetas sensibles $S$ nunca salen del cliente.
   • Los clientes transmiten solo las representaciones sanitizadas $Z$ y las etiquetas de utilidad $U$ a un agregador central.
   • El agregador entrena clasificadores de utilidad compartidos sobre los datos sanitizados agregados.
   • Esto proporciona protección de privacidad a nivel de instancia, complementando la garantía de "los datos crudos permanecen locales" del FL estándar.

Contribuciones Clave
El artículo declara explícitamente que sus contribuciones no son la invención de componentes individuales (límites variacionales, aprendizaje adversario, espacios gaussianos) sino su integración y extensión:

• Derivación Variacional Unificada: Una derivación autocontenida de un objetivo de privacidad-utilidad de extremo a extremo que combina un límite inferior para $I(Z;S)$ y un límite superior para $H(U|Z)$ en una única forma de punto de silla, con la compensación controlada por un único parámetro $\beta$.
• Marco Distribuido: Extender GPP a un entorno distribuido donde los clientes retienen las etiquetas sensibles y los adversarios locales, mientras que el agregador recibe solo representaciones sanitizadas. Esto habilita la protección de privacidad a nivel de instancia.
• Límites Teóricos: Demostrar un límite de privacidad composicional para el entorno distribuido bajo suposiciones de IID y agregador honesto, contabilizando explícitamente la filtración residual de las etiquetas de utilidad.
• Eficiencia en la Comunicación: Caracterizar la compensación del costo de comunicación, mostrando que transmitir representaciones sanitizadas puede ser estrictamente más eficiente que transmitir gradientes en regímenes específicos (tamaños de lote pequeños en relación con el tamaño del modelo).

Resultados Experimentales
El marco se evaluó en tres puntos de referencia: MNIST (utilidad suma de dígitos, paridad sensible), CelebA (utilidad sonrisa, género sensible) y HAPT-Recognition (utilidad actividad, identidad del sujeto sensible).

• Compensación Privacidad-Utilidad: GPP logra un rendimiento de utilidad dentro de aproximadamente un punto porcentual de una línea base de autoencoder sin restricciones (por ejemplo, 0.978 vs. 0.987 AUC en MNIST) mientras reduce el AUC del adversario a cerca de una adivinanza aleatoria (0.531 vs. 0.943 para la línea base).
• Sensibilidad a Parámetros: El parámetro $\beta$ controla efectivamente la compensación; valores más bajos priorizan la privacidad (menor AUC del adversario), mientras que valores más altos priorizan la utilidad.
• Entrenamiento Adversario: Estudios de ablación confirman que los pasos de entrenamiento adversario son críticos; sin ellos, el adversario recupera información sensible con alta precisión a pesar de la reducción de dimensionalidad.
• Robustez: El método sigue siendo efectivo incluso cuando los atributos de utilidad y sensibles están altamente correlacionados, aunque el rendimiento de utilidad se degrada de manera suave a medida que aumenta la correlación.
• Rendimiento Distribuido: En el entorno distribuido (5 clientes en HAPT), el sistema coincide con el punto operativo de utilidad-privacidad centralizado (dentro de 0.005 AUC) mientras asegura que los datos crudos y las etiquetas sensibles nunca salgan del cliente.

Significado y Afirmaciones
El artículo posiciona a GPP como una solución práctica para la liberación de datos que preserva la privacidad en entornos distribuidos. Afirma ofrecer un mecanismo flexible y ajustable para sanitizar datos de alta dimensión sin la gran pérdida de utilidad a menudo asociada con métodos basados en perturbación. La extensión distribuida se destaca como una contribución principal, ofreciendo "protección de privacidad a nivel de instancia" que va más allá de las garantías del FL estándar al prevenir filtraciones a través de gradientes y actualizaciones de modelos.

Los autores mantienen modestia en sus afirmaciones, reconociendo limitaciones como la necesidad de comparaciones equivalentes con otros métodos de censura adversaria, la posible holgura de los límites variacionales si la red adversaria tiene capacidad limitada, y el alcance de los experimentos distribuidos (que se presentan como una prueba de existencia en lugar de un estudio exhaustivo de la convergencia no IID). Señalan que el marco no afirma un "almuerzo gratis", ya que las ganancias en privacidad se pagan con utilidad, pero esta compensación se expone explícitamente y es monótona.