Privacy Auditing Synthetic Data Release through Local Likelihood Attacks

Resumen Técnico: Auditoría de Privacidad de la Liberación de Datos Sintéticos mediante Ataques de Verosimilitud Local

Declaración del Problema
Auditar la filtración de privacidad en datos sintéticos sigue siendo un desafío sin resolver. Los marcos existentes para la auditoría de privacidad a menudo dependen de heurísticas (como métricas de distancia o densidad) o de suposiciones poco realistas sobre el acceso al modelo (por ejemplo, configuraciones de caja blanca o caja de sombra). Estos enfoques ofrecen una capacidad limitada para detectar o describir la exposición de la privacidad, particularmente cuando los modelos generativos exhiben modos de fallo específicos como el sobreajuste. Además, muchos ataques existentes carecen de una base teórica que explique qué miden o bajo qué condiciones deberían tener éxito, lo que dificulta distinguir entre un diseño fundamentado y coincidencias específicas de un punto de referencia.

Metodología: Ataque de Razón de Verosimilitud Generativa (Gen-LRA)
Los autores proponen Gen-LRA, un nuevo Ataque de Inferencia de Membresía (MIA) diseñado para el modelo de amenaza No-Box. En este escenario, el adversario no tiene acceso a la arquitectura, los parámetros o los mecanismos internos del modelo generativo. El adversario solo posee:

1. El conjunto de datos sintéticos liberado ($S$).
2. Un conjunto de datos de referencia ($R$) recopilado independientemente, extraído de la misma distribución poblacional subyacente ($P$).

Mecanismo Central
Gen-LRA enmarca la inferencia de membresía como una medición de la influencia que una observación de prueba ($x^*$) tiene sobre la verosimilitud estimada del conjunto de datos sintéticos. El ataque opera bajo la hipótesis de que, si un modelo generativo sufre sobreajuste, la inclusión de un punto de entrenamiento $x^*$ en el conjunto de referencia aumentará la verosimilitud estimada de los datos sintéticos $S$.

El ataque procede en los siguientes pasos:

1. Modelado de Sustituto: Se ajusta un estimador de densidad de sustituto (específicamente un Estimador de Densidad de Núcleo Gaussiano, KDE) sobre el conjunto de referencia $R$ para obtener $\hat{p}_R$.
2. Aumento: Se ajusta un segundo sustituto sobre el conjunto aumentado $R \cup \{x^*\}$ para obtener $\hat{p}_{R \cup \{x^*\}}$.
3. Razón de Verosimilitud Local: La puntuación del ataque se calcula como la suma de las razones de log-verosimilitud sobre los $k$ vecinos sintéticos más cercanos de $x^*$ (denotados $S_k(x^*)$):
   $$\hat{I}(x^*; R, S) = \sum_{s \in S_k(x^*)} \left[ \log \hat{p}_{R \cup \{x^*\}}(s) - \log \hat{p}_R(s) \right]$$
4. Decisión: Una puntuación alta indica que agregar $x^*$ al conjunto de referencia aumentó significativamente la verosimilitud de los puntos sintéticos cercanos, lo que sugiere que $x^*$ formaba parte del conjunto de entrenamiento.

Marco Teórico
El artículo establece tres resultados teóricos clave que apoyan a Gen-LRA:

1. Invarianza: La puntuación de la razón de log-verosimilitud es invariante ante reparametrizaciones invertibles de los datos, garantizando robustez frente a elecciones de preprocesamiento como la escalación o la codificación.
2. Caracterización de Forma Cerrada: Los autores demuestran que la puntuación de Gen-LRA admite una caracterización de forma cerrada como una estadística de razón de densidad localizada. A diferencia de los ataques de razón de densidad de punto único (por ejemplo, DOMIAS), Gen-LRA agrega evidencia sobre una región local, capturando señales de memorización difusas.
3. Brecha de Puntuación Media: Bajo un modelo general de sobreajuste local, los autores demuestran una brecha demostrable entre las puntuaciones esperadas de miembros y no miembros. La magnitud de esta brecha depende linealmente de la fuerza del sobreajuste ($\epsilon$) y está gobernada por la superposición entre el ancho de banda del sustituto y la escala de memorización del generador ($\rho$).

Contribuciones Clave

1. Ataque Novel: Gen-LRA es el primer MIA para datos sintéticos tabulares que adapta explícitamente un marco de funciones de influencia al escenario No-Box, formulando la inferencia de membresía como la influencia de un punto de prueba en la razón de verosimilitud de un modelo de sustituto.
2. Justificación Teórica: El trabajo proporciona una cuenta teórica rigurosa de lo que mide el ataque (razones de densidad localizadas) y predice cuándo tiene éxito (bajo sobreajuste local).
3. Validación por Simulación: Las simulaciones controladas instan el modelo de sobreajuste, validando que Gen-LRA es sintonizable de manera única a través de regímenes de sobreajuste y supera a los métodos existentes, particularmente cuando un generador memoriza aproximadamente los datos de entrenamiento.
4. Punto de Referencia Empírico: Los autores evalúan Gen-LRA frente a un punto de referencia integral que comprende 35 conjuntos de datos, 9 arquitecturas generativas (incluyendo GANs, VAEs, modelos de Difusión y Transformers) y 9 ataques competidores. Esto resulta en 1.525 configuraciones únicas de conjuntos de datos sintéticos y más de 10.000 ejecuciones de ataques.

Resultados

• Rendimiento Agregado: Gen-LRA domina consistentemente a los MIA competidores. Logra la tasa de clasificación Top-1 más alta en cada métrica (AUC y Tasa de Verdaderos Positivos a Tasas de Falsos Positivos fijas) en todas las 1.525 ejecuciones. Específicamente, se clasifica primero en más del 38% de las ejecuciones (AUC) y en el 42% de las ejecuciones (TPR@FPR=0), lo cual es más del doble de la tasa del siguiente mejor punto de referencia.
• Bajas Tasas de Falsos Positivos: Gen-LRA muestra ganancias particularmente fuertes en tasas de falsos positivos bajas, una métrica crítica para la auditoría de privacidad práctica.
• Regímenes de Vulnerabilidad: El ataque es más efectivo en el régimen de "memorización aproximada", donde los puntos sintéticos mantienen una relación con los datos de entrenamiento pero no son copias exactas. En este régimen, los ataques de punto único (como DOMIAS) y los ataques basados en distancia (como DCR) colapsan, mientras que Gen-LRA agrega evidencia a través de múltiples vecinos para tener éxito.
• Elección del Sustituto: Contrario a las tendencias en la estimación de densidad de alta dimensión donde los modelos de aprendizaje profundo a menudo superan a KDE, los autores encuentran que el KDE gaussiano supera a los Flujos Autoregresivos Neuronales de Bloque (BNAF) para Gen-LRA. Esto se atribuye al control explícito de KDE sobre el suavizado local (ancho de banda), que coincide con la escala de memorización, mientras que BNAF se optimiza para la precisión global e introduce ruido estocástico que oscurece la señal de influencia de un solo punto.

Significado y Afirmaciones
El artículo afirma que las herramientas actuales de auditoría de privacidad No-Box subestiman significativamente los riesgos de privacidad porque prueban hipótesis incorrectas o dependen de heurísticas que fallan en el régimen de memorización aproximada común en los generadores tabulares modernos.

Gen-LRA proporciona una herramienta fundamentada y computacionalmente eficiente para que terceros auditen las liberaciones de datos sintéticos sin requerir acceso al modelo. Los autores argumentan que el escenario "No-Box" es el más realista para la auditoría de privacidad, ya que los defensores que siguen las mejores prácticas retendrán los detalles del modelo, haciendo ineficaces los ataques de caja de sombra. Al demostrar que el sobreajuste del modelo generativo plantea riesgos significativos de privacidad incluso en ausencia de acceso al modelo, el artículo destaca la necesidad de herramientas de auditoría más sólidas para garantizar la liberación responsable de datos sintéticos en dominios sensibles como la salud y las finanzas. Los autores concluyen que, aunque ningún ataque es uniformemente óptimo en todas las condiciones, Gen-LRA ofrece el rendimiento más robusto y consistente para detectar filtraciones de privacidad en liberaciones de datos sintéticos del mundo real.