Privacy Leakage via Output Label Space and Differentially Private Continual Learning

Resumen Técnico: Fuga de Privacidad a través del Espacio de Etiquetas de Salida y Aprendizaje Continuo con Privacidad Diferencial

1. El Problema: El Canal Lateral de las Etiquetas

El artículo aborda una vulnerabilidad crítica en los sistemas de aprendizaje automático (ML) que utilizan Privacidad Diferencial (DP). Aunque el entrenamiento de un modelo (sus pesos) se realice bajo estándares de DP para proteger los datos individuales, el modelo es parte de un sistema más grande. Los autores identifican un "canal lateral de privacidad" (privacy side-channel): el espacio de etiquetas de salida de un clasificador.

En el contexto del Aprendizaje Continuo (CL), donde un modelo aprende tareas secuencialmente, el conjunto de etiquetas que el modelo puede clasificar cambia con el tiempo. Si un atacante observa que un modelo ha añadido una nueva etiqueta (por ejemplo, "Tipo 2") en una nueva tarea, puede inferir con un 100% de certeza que el nuevo conjunto de datos contiene esa clase específica, rompiendo así las garantías formales de DP. Este problema es especialmente grave en CL, donde la actualización de etiquetas es necesaria para la utilidad del modelo pero catastrófica para la privacidad.

2. Metodología y Propuestas

Para mitigar este canal lateral, los autores proponen formalizar la DP para el aprendizaje continuo y presentan dos métodos para proteger el espacio de etiquetas:

• Método 1: Liberación de Etiquetas mediante DP ($S_{learned}$):
  En lugar de publicar las etiquetas reales directamente, se utiliza un mecanismo de DP separado (inspirado en el problema de la partición privada) para decidir qué etiquetas se añaden al espacio de salida. Esto implica un compromiso (trade-off): parte del presupuesto de privacidad ($\epsilon$) se gasta en "comprar" el derecho de revelar las etiquetas, dejando menos presupuesto para el entrenamiento de los pesos del modelo.
• Método 2: Espacio de Etiquetas Prioritario ($S_{prior}$):
  Se utiliza un conjunto de etiquetas público y predefinido que es independiente de los datos sensibles. Si las etiquetas del conjunto de datos no coinciden con este conjunto público, se reasignan mediante relaciones conocidas o se descartan. Al no depender de los datos para definir el espacio de salida, este método es intrínsecamente DP.

Implementación con Modelos Pre-entrenados:
Los autores adaptan dos arquitecturas de CL para trabajar con DP y modelos pre-entrenados (ViT-Base-16):

1. Cosine Similarity Classifier: Utiliza un extractor de características congelado y acumula sumas de características por clase bajo ruido Gaussiano.
2. PEFT Ensemble (Parameter-Efficient Fine-Tuning): Utiliza adaptadores (como FiLM) para realizar un ajuste fino eficiente de parámetros mediante DP-SGD, creando un conjunto de modelos para cada tarea.

3. Contribuciones Clave

1. Identificación de un nuevo canal lateral: Demuestran matemáticamente que la liberación ingenua del espacio de etiquetas no es DP.
2. Formalización de DP para CL: Introducen la definición de "Task-wise DP" (DP basado en tareas), que permite razonar sobre la privacidad en flujos de datos secuenciales.
3. Nuevos mecanismos de protección: Proponen métodos para seleccionar o predefinir el espacio de etiquetas sin comprometer la privacidad.
4. Integración de Modelos Pre-entrenados y DP-CL: Son los primeros en proponer métodos de aprendizaje continuo con privacidad diferencial que aprovechan la potencia de los modelos pre-entrenados para mejorar la utilidad.

4. Resultados Experimentales

Los autores evaluaron sus métodos en los benchmarks Split-CIFAR-100 y Split-ImageNet-R bajo diferentes niveles de privacidad ($\epsilon = 1$ y $\epsilon = 8$):

• Superioridad sobre el estado del arte: Sus modelos superan consistentemente a métodos previos (como el de Desai et al., 2021) en precisión, incluso sin utilizar "buffers de memoria" (episodic memories), lo cual es una ventaja tanto en privacidad como en eficiencia de memoria.
• Efectividad de los métodos de etiquetas: El método de "Release Labels" (liberación de etiquetas con DP) resultó ser tan bueno o mejor que el uso de etiquetas públicas en configuraciones de división de clases disjuntas.
• Robustez ante la "borrosidad" (Blurriness): En escenarios donde las clases se solapan entre tareas (clases borrosas), el Cosine Classifier demostró ser más robusto bajo restricciones de privacidad estrictas ($\epsilon = 1$), mientras que el PEFT Ensemble ofrece mejor utilidad cuando la privacidad es más relajada ($\epsilon = 8$).

5. Significado e Impacto

Este trabajo es fundamental para el desarrollo de sistemas de IA que deban aprender de forma continua en entornos altamente regulados (como medicina o finanzas). Al demostrar que la privacidad de los pesos no es suficiente si el esquema de clasificación es revelador, los autores establecen un nuevo estándar de seguridad para el aprendizaje continuo. Su enfoque de utilizar modelos pre-entrenados ofrece una vía práctica para mantener la utilidad del modelo (precisión) mientras se cumplen garantías matemáticas de privacidad robustas.