Beyond Membership: Limitations of Add/Remove Adjacency in Differential Privacy

Título: Más allá de la membresía: Limitaciones de la adyacencia de adición/eliminación en la privacidad diferencial

1. El Problema

La Privacidad Diferencial (DP) es el estándar para proteger datos sensibles en el aprendizaje automático, limitando la capacidad de un adversario para distinguir entre dos conjuntos de datos "adyacentes". Sin embargo, existe una brecha crítica entre la teoría y la práctica en la protección de atributos individuales:

• Relación de Adyacencia Estándar (Add/Remove): La mayoría de las bibliotecas de DP (como Opacus) utilizan la relación de adyacencia de adición/eliminación ($\sim_{AR}$). Bajo este modelo, dos conjuntos de datos son adyacentes si uno se obtiene añadiendo o eliminando un registro. Esto protege eficazmente contra ataques de inferencia de membresía (saber si una persona estaba en el conjunto de entrenamiento).
• La Limitación: En muchas aplicaciones de ML (como el ajuste fino supervisado), el objetivo real es proteger los atributos o etiquetas de un registro conocido que sí está en el conjunto de entrenamiento. La relación de adición/eliminación no protege adecuadamente contra ataques de inferencia de atributos en este escenario.
• La Discrepancia: La relación de adyacencia de sustitución ($\sim_{S}$), donde un registro se reemplaza por otro, es la correcta para proteger atributos. Aunque un límite de privacidad bajo adición/eliminación implica teóricamente un límite bajo sustitución, este último es mucho más débil (peores parámetros de privacidad). Los autores demuestran que confiar en los contadores de adición/eliminación sobrestima significativamente la protección real contra ataques de inferencia de atributos.

2. Metodología

Para cuantificar esta brecha, los autores desarrollaron un marco de auditoría bajo el modelo de amenaza de adyacencia de sustitución en un escenario de estado oculto (el adversario solo tiene acceso al modelo final, no a los gradientes intermedios).

• Definición de Adyacencia: Se define un par de conjuntos de datos adyacentes $(D, D')$ donde $D'$ se obtiene reemplazando un registro objetivo $z \in D$ por un registro "canario" $z'$.
• Estrategia de Auditoría:
  • Se diseñaron algoritmos para crear canarios (muestras de prueba) que maximicen la distinguibilidad entre $D$ y $D'$.
  • Se exploraron dos espacios de creación de canarios:
    1. Espacio de Gradientes (S2): Se manipulan los gradientes directamente (en un modelo de amenaza más fuerte o simulado) para crear gradientes opuestos y saturados ($\nabla \ell(z) = C$ y $\nabla \ell(z') = -C$).
    2. Espacio de Entrada (S3, S4, S5): Se crean muestras de entrada adversarias ($z'$) que minimicen la similitud coseno con los gradientes de $z$ o que tengan etiquetas incorrectas, sin acceso directo a los gradientes internos.
• Procedimiento:
  1. Entrenar modelos con DP-SGD (o DP-Adam) en $D$ y $D'$.
  2. El adversario observa la salida del modelo final (logits o cambios de parámetros).
  3. Se calcula una puntuación de distinguibilidad (ej. diferencia de logits o producto punto con la diferencia de parámetros).
  4. Se estima el $\epsilon$ empírico (límite inferior) utilizando la distribución de la región de privacidad (basada en $\mu$-GDP) comparando las tasas de falsos positivos y negativos.

3. Contribuciones Clave

• Algoritmos de Auditoría para Sustitución: Propusieron nuevos algoritmos para crear canarios bajo adyacencia de sustitución, proporcionando límites inferiores empíricos que coinciden con las garantías teóricas de contadores de sustitución.
• Demostración de la Brecha: Probaron empíricamente que la fuga de privacidad en modelos DP excede las garantías reportadas por contadores de adición/eliminación, pero se alinea estrechamente con las predicciones de contadores de sustitución.
• Herramientas de Creación de Canarios: Desarrollaron métodos para generar canarios en espacio de entrada (muestras naturales adversarias, muestras con etiquetas incorrectas) que son efectivos para auditar modelos entrenados con datos reales.

4. Resultados

Los experimentos se realizaron en modelos de visión por computadora (ViT-B-16 en CIFAR-10), procesamiento de lenguaje natural (Sentence-BERT en SST-2) y redes neuronales desde cero (MLP en Purchase100).

• Violación de Garantías Add/Remove: En todos los escenarios, la fuga de privacidad empírica ($\epsilon_{Auditing}$) superó los límites teóricos calculados bajo adyacencia de adición/eliminación ($\epsilon_{AR}$).
• Alineación con Sustitución: La fuga empírica coincidió casi perfectamente con los límites calculados bajo adyacencia de sustitución ($\epsilon_{S}$), confirmando que la relación de sustitución es la métrica correcta para proteger atributos.
• Efectividad de los Canarios:
  • Los canarios de espacio de gradientes proporcionaron las auditorías más ajustadas (tightest), violando consistentemente los límites de adición/eliminación.
  • Los canarios de espacio de entrada también superaron los límites de adición/eliminación, aunque su eficacia disminuyó en etapas tardías del entrenamiento y con tasas de muestreo ($q$) bajas, especialmente en problemas de optimización no convexos (entrenamiento desde cero).
  • Los modelos ajustados (fine-tuned) mostraron ser más vulnerables a la fuga de privacidad mediante canarios de espacio de entrada que los modelos entrenados desde cero.
• Impacto de la Submuestreo: A tasas de submuestreo más bajas (comunes para mejorar el equilibrio privacidad-utilidad), la brecha entre la protección real y la prometida por adición/eliminación se hizo más evidente.

5. Significado e Implicaciones

• Riesgo para la Práctica: Los practicantes que utilizan bibliotecas estándar de DP (que asumen adición/eliminación) para proteger atributos o etiquetas de datos sensibles están sobrestimando la seguridad de sus modelos. Un modelo que parece tener un $\epsilon$ bajo bajo adición/eliminación podría tener un $\epsilon$ mucho más alto (y por tanto, menos privacidad) bajo sustitución.
• Cambio de Paradigma en la Auditoría: Para proteger atributos, es imperativo utilizar contadores de privacidad y modelos de amenaza basados en sustitución, no en adición/eliminación.
• Recomendación: Cuando el objetivo de privacidad es la inferencia de atributos (ej. etiquetas de un usuario conocido), los contadores de adición/eliminación no son suficientes. Se debe adoptar la adyacencia de sustitución para obtener garantías de privacidad realistas y precisas.
• Limitaciones Futuras: Los autores reconocen que sus canarios de espacio de entrada dependen de los hiperparámetros de entrenamiento y que la auditoría requiere múltiples ejecuciones (costo computacional alto), sugiriendo la necesidad de métodos de auditoría de una sola ejecución más robustos en el futuro.

En resumen, el artículo advierte que la elección de la relación de adyacencia al reportar garantías de DP es crítica. Ignorar la adyacencia de sustitución en favor de la de adición/eliminación puede llevar a una falsa sensación de seguridad en aplicaciones donde la privacidad de los atributos es primordial.