Privacy Evaluation of Generative Models for Trajectory Generation

Resumen Técnico: Evaluación de Privacidad de Modelos Generativos para la Generación de Trayectorias

Enunciado del Problema
Los datos de trayectorias son críticos para aplicaciones de inteligencia urbana, pero plantean riesgos graves de privacidad, ya que un pequeño número de puntos espacio-temporales puede identificar de manera única a individuos. Si bien los modelos generativos profundos (Autoencoders Variacionales, Redes Generativas Antagónicas y Modelos de Difusión) se utilizan cada vez más para sintetizar datos de trayectorias y evitar compartir registros reales, la suposición de que estos modelos preservan inherentemente la privacidad no está probada. Se sabe que los modelos generativos memorizan los datos de entrenamiento, lo que podría permitir a adversarios reconstruir registros originales o inferir información sensible. Actualmente, existe una brecha significativa en la evaluación empírica de la privacidad dentro de la literatura sobre generación de trayectorias; muchos estudios se centran únicamente en la utilidad de los datos y la calidad de la generación, a menudo descuidando evaluaciones rigurosas de privacidad. Además, las garantías formales de privacidad como la Privacidad Diferencial (DP) tienen limitaciones, incluyendo compensaciones con la utilidad de los datos, posibles fallas en las pruebas de implementación y la incapacidad de defenderse contra todos los tipos de ataques (por ejemplo, inferencia de propiedades).

Metodología
Los autores proponen una investigación sistemática sobre la privacidad de la generación de trayectorias sintéticas a través de tres pasos principales:

1. Revisión y Categorización de la Literatura: El artículo primero categoriza los métodos existentes de evaluación empírica de privacidad aplicables a trayectorias, incluyendo Vinculación de Usuarios de Trayectorias (TUL), Probabilidad de Ataque de Vinculación (LA), Ataques de Reconstrucción (RAoPT, iTracker), Probabilidad de Ataque de Rastreo (TA), Información Mutua (MI) y Ataques de Inferencia de Membresía (MIA).
2. Análisis de Brechas: Los autores analizan modelos generativos representativos (VAEs, GANs y Modelos de Difusión) para mapear su uso de estos métodos de evaluación. Descubren que los estudios de VAE y modelos de difusión generalmente carecen de evaluación de privacidad, mientras que solo un subconjunto de estudios de GAN incluye alguna forma de evaluación. Crucialmente, ningún estudio revisado había aplicado previamente Ataques de Inferencia de Membresía (MIAs) a modelos generativos de trayectorias.
3. Evaluación Empírica mediante MIAs: Para abordar esta brecha, los autores implementan Ataques de Inferencia de Membresía contra cuatro modelos representativos:
   • Basados en GAN: LSTM-TrajGAN y MoveSim.
   • Basados en Difusión: DiffTraj y Diff-RNTraj.
   • Formulaciones de Ataque:
     • Para GANs, se utiliza un MIA basado en discriminador, aprovechando las puntuaciones de confianza del discriminador para distinguir entre trayectorias de entrenamiento (miembro) y no de entrenamiento (no miembro).
     • Para Modelos de Difusión, se emplea un MIA basado en pérdida, calculando el Error Cuadrático Medio (MSE) negativo promedio de la predicción de ruido a lo largo de múltiples pasos de tiempo. Una pérdida más baja indica una mayor probabilidad de membresía.
   • Conjuntos de Datos: Los experimentos utilizan los conjuntos de datos de trayectorias de taxis Foursquare NYC, GeoLife y DiDi Chengdu. La evaluación se realiza en un entorno de caja blanca donde el adversario tiene acceso completo a los pesos y la arquitectura del modelo.

Contribuciones Clave

1. Identificación de la Brecha de Evaluación: El artículo identifica y categoriza los métodos de evaluación empírica de privacidad para la generación de trayectorias y demuestra una falta significativa de dichas evaluaciones en la literatura actual, particularmente en lo que respecta a MIAs.
2. Mapeo Sistemático: Los autores mapean sistemáticamente modelos generativos representativos (VAEs, GANs, Modelos de Difusión) con los métodos de evaluación existentes, destacando que las prácticas actuales a menudo no logran evaluar los riesgos de privacidad de manera integral.
3. Demostración de Factibilidad: El trabajo proporciona la primera implementación de Ataques de Inferencia de Membresía contra modelos generativos de trayectorias, demostrando que tales evaluaciones empíricas son prácticas y necesarias.

Resultados
La evaluación empírica arrojó resultados mixtos en los cuatro modelos probados, demostrando que los riesgos de privacidad dependen del modelo:

• MoveSim (GAN): Exhibió un AUC-ROC de 0.7002, indicando evidencia clara de filtración de membresía. Esto sugiere que el modelo memorizó trayectorias de entrenamiento específicas en un grado explotable por un adversario.
• LSTM-TrajGAN (GAN), DiffTraj (DM) y Diff-RNTraj (DM): Mostraron valores de AUC-ROC cercanos a 0.5 (rango de 0.4949 a 0.5029), consistentes con una adivinanza aleatoria. Bajo las formulaciones de ataque específicas utilizadas, estos modelos no exhibieron filtración de membresía explotable.

Significado y Afirmaciones
El artículo afirma que la naturaleza generativa de estos modelos no elimina los riesgos de privacidad. El éxito del ataque en MoveSim confirma que las vulnerabilidades de privacidad son tangibles y no pueden asumirse como ausentes simplemente porque los datos son sintéticos. Los autores argumentan que:

• Las garantías formales (como DP) son insuficientes por sí solas debido a fallas de implementación, elecciones inapropiadas de la Unidad de Privacidad (UoP) y limitaciones de alcance.
• La evaluación empírica es un complemento necesario para las garantías formales, o un sustituto donde tales garantías están ausentes.
• Los hallazgos subrayan la necesidad de una evaluación empírica sistemática y exhaustiva de la privacidad en toda la gama de modelos generativos de trayectorias para garantizar la seguridad del despliegue de datos sintéticos.

Los autores concluyen con modestia que, aunque su trabajo demuestra la factibilidad de los MIAs, otras formulaciones y categorías de ataques (como ataques de reconstrucción o inferencia de propiedades) podrían revelar vulnerabilidades adicionales, lo que hace necesaria una investigación más amplia.