Resumen Técnico: Detectabilidad en la Diversidad: Mejora en la Elaboración de Canarios para Auditoría de Privacidad en una Ejecución

Enunciado del Problema

La auditoría de privacidad busca evaluar empíricamente las fugas de privacidad en modelos de aprendizaje automático, a menudo para derivar cotas inferiores de los parámetros de Privacidad Diferencial (DP). Esto se logra típicamente mediante Ataques de Inferencia de Membresía (MIAs), donde un adversario intenta determinar si un punto de datos específico formó parte del conjunto de entrenamiento de un modelo.

Los enfoques de auditoría estándar requieren entrenar miles de modelos independientes con inclusiones variables de canarios para obtener estimaciones estadísticamente fiables, lo cual es computacionalmente prohibitivo. Para abordar esto, se propuso la auditoría de "una sola ejecución", donde un único modelo se entrena en un conjunto de datos que contiene múltiples canarios, cada uno incluido independientemente con probabilidad 1/2. El adversario luego infiere el estado de inclusión de todos los canarios a partir de este único modelo.

Sin embargo, existe una brecha significativa entre las cotas superiores teóricas de privacidad (proporcionadas por métodos de contabilidad) y las cotas inferiores empíricas (estimadas por la auditoría de una sola ejecución). La literatura reciente atribuye esta brecha a la interferencia entre canarios: la inclusión o exclusión de un canario $z'$ puede alterar la puntuación de confianza del MIA de otro canario $z$, particularmente cuando los canarios son similares en el espacio de representación. Esta interferencia degrada la capacidad del adversario para distinguir miembros de no miembros, lo que conduce a estimaciones de fugas más débiles en comparación con los métodos de múltiples ejecuciones. Los métodos existentes de elaboración de canarios no imponen explícitamente la diversidad para mitigar esta interferencia.

Metodología

Los autores proponen IBIS (Elaboración de Canarios Bilevel basada en Influencia con Supresión de Interferencia), un pipeline de dos etapas diseñado para elaborar canarios que sean altamente detectables (fuertemente memorizados) y diversos (con interferencia mínima).

1. Inicialización Greedy mediante Funciones de Influencia

La primera etapa selecciona un conjunto inicial de canarios a partir de los datos de entrenamiento utilizando funciones de influencia, que miden el efecto de aumentar el peso de una muestra de datos en un modelo.

• Auto-influencia ($I_s(z, z)$): Un proxy para la memorizabilidad. Una alta auto-influencia indica que un punto es fuertemente memorizado por el modelo.
• Cruce-influencia ($I_s(z, z')$): Un proxy para la interferencia. Una alta cruces-influencia indica que la presencia de $z'$ afecta significativamente la puntuación de $z$.
• Estrategia de Selección: El algoritmo selecciona greedy un conjunto de $m$ canarios para maximizar la relación entre la auto-influencia y la máxima cruces-influencia de otros canarios seleccionados. Esto se formula como un problema de optimización combinatoria resuelto mediante una heurística greedy. Este paso proporciona una inicialización sólida con baja interferencia par a par a un bajo costo computacional.

2. Optimización Bilevel con Regularización de Diversidad

La segunda etapa refina los canarios seleccionados utilizando optimización basada en gradientes. A diferencia de trabajos anteriores que requieren reentrenar el modelo para cada subconjunto de canarios (computacionalmente intratable), los autores formulan un problema de optimización bilevel tratable.

• Objetivo: Minimizar un objetivo de distinguibilidad que maximiza la diferencia de puntuación entre canarios incluidos y excluidos, sujeto a la restricción de que los parámetros del modelo minimicen el riesgo empírico.
• Regularizador de Diversidad: Para suprimir explícitamente la interferencia, se añade un regularizador $R(C)$, que promueve la ortogonalidad en el espacio de representación (incrustaciones) de los canarios:
  $$R_{\theta^*}(C) = \lambda \sum_{z, z' \in C, z \neq z'} \langle \phi_{\theta^*}(z), \phi_{\theta^*}(z') \rangle^2$$
  donde $\phi_{\theta^*}$ mapea las muestras a sus incrustaciones bajo el modelo base $\theta^*$.
• Solucionador Eficiente (SOBA): Los autores emplean un enfoque de Diferenciación Implícita Aproximada (AID), adaptando el algoritmo SOBA. Esto mantiene variables acopladas para los parámetros del modelo ($\theta$), el vector de influencia ($v$) y las entradas de los canarios ($C_x$). Crucialmente, el modelo se actualiza incrementalmente junto con los canarios en lugar de reentrenarse desde cero en cada paso, lo que permite el cálculo eficiente de hipergradientes.

Contribuciones Clave

1. Selección Basada en Influencia Greedy: Un algoritmo de bajo costo que identifica puntos de entrenamiento con alta memorabilidad y baja interferencia mutua, sirviendo como una inicialización robusta para una optimización posterior.
2. Formulación de Optimización Bilevel: Una formulación novedosa que incorpora un regularizador de diversidad explícito para imponer ortogonalidad en el espacio de representación. Esta formulación permite algoritmos bilevel eficientes al actualizar el modelo incrementalmente, evitando el costo prohibitivo de reentrenar para cada subconjunto de canarios.
3. Pipeline IBIS: Un marco unificado que combina los componentes anteriores. Logra estimaciones de fugas de privacidad más fuertes que los métodos existentes mientras requiere recursos computacionalmente sustancialmente menores.

Resultados Experimentales

El método se evaluó en arquitecturas WideResNet (WRN16-4) y CNN utilizando el conjunto de datos CIFAR-10.

• Estudios de Ablación: La preselección basada en influencia superó a la selección aleatoria incluso antes de la optimización bilevel. En configuraciones no privadas, el regularizador de diversidad mejoró aún más el rendimiento.
• Inferencia de Membresía (MIA): Al elaborar canarios utilizando la misma arquitectura que el modelo auditado (WRN16-4), el IBIS regularizado logró Tasas de Verdaderos Positivos (TPR) casi perfectas a una Tasa de Falsos Positivos (FPR) de 0.05, superando significativamente a las líneas base aleatorias y igualando o superando el rendimiento del método más avanzado de Boglioni et al. [6].
• Auditoría DP: El método proporcionó cotas inferiores competitivas para el parámetro de privacidad $\epsilon$ en comparación con enfoques existentes. Si bien las estimaciones mostraron una alta varianza (consistente con la dificultad del escenario de auditoría DP), IBIS igualó el rendimiento de trabajos anteriores.
• Eficiencia Computacional: El método propuesto es significativamente más eficiente. Generar 1000 canarios requirió aproximadamente 2.5 horas de GPU en una NVIDIA A100, en comparación con las 90–120 horas reportadas para el enfoque basado en reentrenamiento de Boglioni et al. [6]. Esta ganancia de eficiencia proviene de las actualizaciones incrementales del modelo en lugar del reentrenamiento completo.

Significado y Afirmaciones

El artículo afirma que la limitación principal de los enfoques existentes de auditoría de una sola ejecución es la interferencia entre canarios. Al abordar esto explícitamente mediante la selección basada en influencia y una optimización bilevel que promueve la diversidad, los autores demuestran que es posible cerrar la brecha entre el rendimiento de la auditoría de una sola ejecución y la de múltiples ejecuciones.

El significado de este trabajo radica en hacer que la auditoría de privacidad de una sola ejecución sea computacionalmente viable y estadísticamente más fuerte. Al reducir el costo computacional en un orden de magnitud mientras se mantiene o mejora la fuerza de la auditoría, el método permite a los auditores utilizar la arquitectura específica del modelo que se está auditando para la generación de canarios, lo que los autores muestran que mejora significativamente el rendimiento. Los autores posicionan esto como un avance práctico para la evaluación empírica de la privacidad, particularmente para modelos a gran escala donde la auditoría de múltiples ejecuciones es inviable.