Quantifying the Privacy of Counterfactuals by Leveraging Membership Inference Attacks Against Synthetic Data

Resumen Técnico: Cuantificación de la Privacidad de los Contrafácticos Mediante el Aprovechamiento de Ataques de Inferencia de Membresía contra Datos Sintéticos

Planteamiento del Probleo
Las explicaciones contrafácticas se utilizan ampliamente en aplicaciones de aprendizaje automático (ML) de alto riesgo para elucidar las decisiones de un modelo, mostrando a los usuarios cómo alterar sus perfiles para lograr un resultado deseado. Sin embargo, la publicación de estas explicaciones plantea un riesgo de privacidad. Si bien la investigación existente ha identificado que los contrafácticos pueden filtrar información sobre los datos de entrenamiento mediante Ataques de Inferencia de Membresía (MIA, por sus siglas en inglés), los ataques actuales específicos para contrafácticos (por ejemplo, el Ataque de Distancia de Contrafácticos) requieren típicamente que el adversario tenga acceso de consulta al modelo objetivo. Esta limitación permite que los proveedores de modelos mitiguen potencialmente los riesgos restringiendo las tasas de consulta o proporcionando contrafácticos repetitivos. El artículo aborda la brecha crítica de si pueden ocurrir brechas de privacidad en un escenario de "sin caja" (no-box), donde un adversario tiene acceso únicamente a un conjunto de contrafácticos publicados, sin ningún acceso al modelo subyacente, a sus datos de entrenamiento o a la capacidad de consultarlo.

Metodología
Los autores proponen un modelo de amenaza novedoso que trata los contrafácticos publicados como una forma de datos sintéticos. Basándose en la analogía de que los contrafácticos son sustitutos realistas de los datos de entrenamiento reales, similares a los datos sintéticos generados por GANs u otros modelos generativos, el artículo investiga la transferibilidad de los MIAs de vanguardia diseñados para datos sintéticos al panorama de los contrafácticos.

El marco experimental involucra los siguientes pasos:

1. Definición del Modelo de Amenaza: El estudio define un escenario de ataque de "sin caja" donde el adversario posee un conjunto de contrafácticos generados para varios usuarios, pero carece de acceso al modelo objetivo ($f_\theta$) o al conjunto de datos de entrenamiento ($D$). Esto se contrasta con un escenario base de "acceso de consulta" (el Ataque de Distancia de Contrafácticos), que utiliza modelos de sombra y requiere consultar el modelo objetivo para calcular distancias.
2. Implementación del Ataque: Los autores implementan un ensamble de seis MIAs de vanguardia para datos sintéticos:
   • Distance to Closest Record (DCR/DCR-Diff)
   • Ataque Monte-Carlo
   • DOMIAS (MIA basado en densidad)
   • Índice de Plagio de Datos (DPI)
   • Gen-LRA (Ataque de Razón de Verosimilitud Generativa)
   • LOGAN/Classifier
     Estos ataques se aplican a contrafácticos generados por cuatro mecanismos distintos:
   • Basados en instancias: Explicaciones Contrafácticas de Instancia Cercana (NICE) y Explicaciones Contrafácticas Diversas usando árboles k-d (Dice-kdtree).
   • Basados en perturbación: Explicaciones Contrafácticas Diversas usando gradientes (Dice-gradient) y SCFE (Explicaciones Contrafácticas Suaves).
3. Estrategia de Ensamble: Para manejar la incertidumbre de qué mecanismo de ataque es más efectivo para un método específico de generación de contrafácticos, los autores emplean estrategias de ensamble (Votación por Mayoría y Agregación de Media) para combinar las señales de los seis ataques individuales.
4. Configuración Experimental: Los experimentos se realizaron en cuatro conjuntos de datos tabulares (Adult, Acs_income, Compas, Heloc) utilizando diversas técnicas de generación de contrafácticos. El rendimiento se evaluó utilizando ROC AUC, Tasa de Verdaderos Positivos (TPR) en bajas Tasas de Falsos Positivos (FPR) y Precisión-Recall AUC.

Contribuciones Clave

• Puente entre Dominios: El artículo establece un vínculo teórico y práctico entre la privacidad de los datos sintéticos y la privacidad de los contrafácticos, demostrando que los MIAs diseñados para datos sintéticos son directamente aplicables a los contrafácticos.
• Viabilidad del Ataque de "Sin Caja": Los autores demuestran que se pueden realizar MIAs exitosos contra contrafácticos sin tener acceso al modelo generador o a los datos de entrenamiento, desafiando la suposición de que limitar el acceso de consulta es suficiente para la protección de la privacidad.
• Efectividad del Ensamble: El estudio muestra que un ensamble de ataques de datos sintéticos supera al Ataque de Distancia de Contrafácticos existente en la mayoría de los escenarios, particularmente cuando los contrafácticos son basados en instancias.
• Análisis de Vulnerabilidad: La investigación identifica que la vulnerabilidad de los contrafácticos a los MIA se correlaciona con su similitud con la distribución de los datos de entrenamiento. Se encontró que los métodos basados en instancias (que seleccionan instancias reales de entrenamiento) son más vulnerables que los métodos basados en perturbación (que alteran los valores de las características).

Resultados
Los resultados experimentales indican que el MIA de ensamble es consistentemente más fuerte que el Ataque de Distancia de Contrafácticos (Dist-LRT) en la mayoría de los conjuntos de datos y métodos de generación de contrafácticos, con la notable excepción del método dice_gradient en el conjunto de datos Compas.

• Basados en Instancias vs. Basados en Perturbación: El ataque de ensamble supera significativamente al de la línea base en contrafácticos basados en instancias (NICE, Dice-kdtree), alcanzando puntuaciones de ROC AUC de hasta 0.694 (SCFE en Compas) y 0.624 (Dice-kdtree en Compas). En contraste, ambos ataques actúan cerca de un simple azar en métodos basados en perturbación (Dice-gradient, SCFE) para conjuntos de datos más grandes, aunque el ensamble aún mantiene una ligera ventaja.
• Tamaño del Conjunto de Datos: El rendimiento del ataque es generalmente mayor en conjuntos de datos más pequeños (Compas, Heloc) en comparación con los más grandes (Adult, Acs_income), lo cual es consistente con la hipótesis de que los conjuntos de datos más pequeños conducen a una mayor memorización.
• Proximidad y Diversidad: El estudio encontró que una mayor proximidad a la instancia original generalmente aumenta la vulnerabilidad, aunque esta relación es no lineal. Limitar los cambios solo a características "accionables" aumentó la vulnerabilidad en el conjunto de datos Acs_income pero la disminuyó en Compas.
• Superioridad de "Sin Caja": En el conjunto de datos Compas utilizando Dice-kdtree, el ataque de ensamble de "sin caja" mostró una mejora del 26% sobre la línea base de consulta, resaltando la severidad del riesgo incluso sin acceso al modelo.

Significancia y Reivindicaciones
El artículo sostiene que la publicación de contrafácticos sin medidas robustas de privacidad constituye un riesgo de privacidad significativo, incluso cuando los proveedores de modelos limitan el acceso de consulta. Los autores argumentan que, debido a que los contrafácticos actúan como sustitutos realistas de los datos de entrenamiento, heredan las vulnerabilidades de privacidad de los datos sintéticos.

• Implicación para Profesionales: Los desarrolladores de modelos deben actuar con cautela al publicar contrafácticos, ya que estos pueden ser explotados para inferir la membresía en el conjunto de entrenamiento sin necesidad de consultar el modelo.
• Implicación para Auditores: El escenario de ataque de "sin caja" propuesto permite a auditores externos evaluar la filtración de privacidad en modelos desplegados sin requerir acceso a los propios modelos.
• Limitaciones y Trabajo Futuro: Los autores señalan modestamente que, para algunos conjuntos de datos y métodos, el rendimiento del ataque es solo ligeramente mejor que el azar. Aclaran que esto no garantiza la privacidad, ya que la filtración puede existir incluso si este MIA específico falla. Sugieren que defensas como la Privacidad Diferencial (DP) en la generación de contrafácticos o la devolución de instancias prototípicas en lugar de contrafácticos específicos de consulta podrían mitigar estos riesgos.