Verification of Machine Unlearning is Fragile

Aquí presento un resumen técnico detallado del artículo "Verification of Machine Unlearning is Fragile" (La verificación del olvido de máquinas es frágil), escrito por Binchi Zhang et al.

1. Problema y Contexto

Con el aumento de las regulaciones de privacidad (como el GDPR y la CCPA), los propietarios de datos tienen derecho a solicitar que sus datos sean eliminados de los modelos de aprendizaje automático entrenados, un proceso conocido como Olvido de Máquinas (Machine Unlearning - MUL).

Sin embargo, existe una brecha de confianza crítica:

• Caja Negra: Los propietarios de datos no pueden monitorear el proceso de olvido ni verificar si sus datos han sido realmente eliminados.
• Riesgo de Deshonestidad: Los proveedores de modelos (servidores) podrían fingir que han eliminado los datos para evitar el alto costo computacional de reentrenar el modelo o para mantener la utilidad del modelo (memorando los datos eliminados).
• Fragilidad de las Estrategias Actuales: Se han propuesto estrategias de verificación, como la verificación por puerta trasera (inyección de datos envenenados) y la verificación por reproducción (el proveedor debe probar que reentrenó el modelo desde cero). El artículo plantea la pregunta de investigación: ¿Pueden los proveedores de modelos eludir estas estrategias de verificación de manera deshonestas mientras retienen la información de los datos supuestamente olvidados?

2. Metodología: Dos Métodos Adversarios

Los autores proponen dos procesos adversarios de olvido diseñados para engañar a las estrategias de verificación actuales mientras preservan la información de los datos eliminados.

A. Método Basado en Reentrenamiento (Retraining-based)

Este método está diseñado para engañar tanto a la verificación por puerta trasera como a la verificación por reproducción (incluso con umbral de error $\epsilon = 0$).

• Mecanismo: En lugar de simplemente eliminar los datos $D_u$ y reentrenar con el conjunto restante $D \setminus D_u$, el proveedor selecciona mini-lotes del conjunto retenido que generan gradientes muy similares a los que habrían generado los datos eliminados.
• Estrategia de Selección:
  • Si un mini-lote original no contiene datos a eliminar, se usa tal cual.
  • Si contiene datos a eliminar, se reemplazan por los vecinos más cercanos (en el espacio de características) dentro del conjunto retenido que pertenecen a la misma clase.
  • Alternativamente, se puede usar muestreo aleatorio múltiple para encontrar el mini-lote que minimiza la distancia del gradiente.
• Resultado: El modelo resultante se actualiza de manera que su trayectoria de entrenamiento es indistinguible de un reentrenamiento honesto (satisfaciendo la prueba de reentrenamiento o PoRT), pero el modelo sigue "aprendiendo" de la información de los datos eliminados a través de los datos sustitutos.

B. Método Basado en Falsificación (Forging-based)

Este método es más eficiente computacionalmente pero solo engaña a la verificación por reproducción bajo un umbral de error $\epsilon > 0$.

• Mecanismo: En lugar de reentrenar, el proveedor toma la Prueba de Entrenamiento (PoT) original registrada durante el entrenamiento inicial y la transforma en una Prueba de Reentrenamiento (PoRT) mediante un "mapa de falsificación".
• Estrategia:
  • Para los pasos de entrenamiento que no involucraban datos a eliminar, se realizan pequeños ajustes aleatorios en los parámetros del modelo para evitar que sean idénticos al original.
  • Para los pasos que sí involucraban datos a eliminar, se reemplazan los datos por sus vecinos más cercanos (similar al método anterior) y se actualizan los parámetros del modelo basándose en estos datos sustitutos.
• Ventaja: Permite paralelización masiva, reduciendo drásticamente el tiempo de ejecución en comparación con el reentrenamiento.

3. Contribuciones Clave

1. Identificación de Vulnerabilidades: Demostración teórica y empírica de que las estrategias actuales de verificación de MUL son frágiles y pueden ser eludidas por un proveedor de modelos deshonesto.
2. Propuesta de Dos Ataques: Desarrollo de dos métodos adversarios (Reentrenamiento y Falsificación) que satisfacen las condiciones de verificación (reproducibilidad y eliminabilidad) mientras preservan la utilidad de los datos eliminados.
3. Garantías Teóricas:
   • Prueba de que el método basado en reentrenamiento satisface la verificación con error cero.
   • Prueba de que el modelo resultante converge a un vecindario del óptimo original, manteniendo la información de los datos eliminados.
   • Análisis de complejidad temporal que muestra la superioridad del método de falsificación en eficiencia.
4. Validación Empírica: Experimentos exhaustivos en conjuntos de datos reales (MNIST, CIFAR-10, SVHN) que confirman la eficacia de los ataques.

4. Resultados Experimentales

• Eficacia de Verificación:
  • El método basado en reentrenamiento logra un error de verificación de 0 en la verificación por reproducción y un alto porcentaje de éxito en engañar a la verificación por puerta trasera (probabilidad de error tipo II > 0.99, lo que significa que el verificador cree que los datos fueron olvidados cuando no lo fueron).
  • El método basado en falsificación logra errores de verificación muy bajos (por debajo de $10^{-3}$), satisfaciendo verificaciones con umbrales realistas, aunque es detectable por verificaciones de puerta trasera más estrictas.
• Utilidad del Modelo:
  • Los modelos adversarios mantienen una utilidad (precisión/F1-score) comparable o incluso superior a la del reentrenamiento honesto, especialmente en escenarios de desequilibrio de clases.
  • El método de falsificación mantiene una utilidad casi idéntica al entrenamiento original.
• Eficiencia:
  • El método de falsificación es significativamente más rápido que el reentrenamiento honesto (y que el método adversario de reentrenamiento), permitiendo una ejecución paralela.

5. Significado e Impacto

El artículo tiene implicaciones profundas para la seguridad y la privacidad en el aprendizaje automático:

• Crisis de Confianza: Revela que la confianza actual en los mecanismos de verificación de MUL es injustificada. Un proveedor de servicios de ML (MLaaS) puede cumplir formalmente con las solicitudes de eliminación de datos sin hacerlo realmente.
• Necesidad de Nuevos Protocolos: Señala que las estrategias actuales (basadas en la reproducción de pasos o inyección de puertas traseras) son insuficientes. Se requieren nuevos marcos de verificación que puedan detectar la similitud de gradientes inducida por datos sustitutos o que utilicen hardware de confianza (como SGX) de manera más robusta.
• Dirección Futura: El estudio subraya la necesidad de investigar la verificación segura del "olvido aproximado" y desarrollar métodos que no dependan únicamente de la honestidad del proveedor o de la aleatoriedad del algoritmo de entrenamiento.

En resumen, el paper demuestra que, bajo el modelo de amenaza actual, la verificación del olvido de máquinas es inherentemente frágil, permitiendo que los proveedores de modelos retengan información privada mientras engañan a los auditores sobre la eliminación efectiva de los datos.