SUPREME: A Multi-GPU Framework for Reproducible Image Unlearning Method Evaluation

Resumen Técnico: SUPREME: Un Marco Multi-GPU para la Evaluación Reproducible de Métodos de Desaprendizaje de Imágenes

Planteamiento del Problema
El desaprendizaje de máquinas (machine unlearning) busca eliminar la influencia de datos de entrenamiento específicos de un modelo entrenado sin necesidad de reentrenar desde cero. Aunque se han propuesto numerosos métodos aproximados (por ejemplo, ajuste fino, destilación, esquemas de importancia de parámetros), su evaluación presenta desafíos significativos. Una evaluación rigurosa requiere repetir todo el proceso —entrenamiento, desaprendizaje y evaluación— a través de múltiples semillas aleatorias para dar cuenta de la estocasticidad en los pesos iniciales, el orden de los datos y las operaciones de desaprendizaje. Los marcos de trabajo existentes para la clasificación de imágenes (por ejemplo, MUBox, ERASURE, Deep Unlearn) operan típicamente en una sola GPU con precisión completa. Esta limitación restringe el número de semillas que pueden evaluarse en un tiempo razonable, lo que puede conducir a conclusiones erróneas basadas en resultados de una sola semilla. Además, a medida que las arquitecturas de modelos (por ejemplo, Vision Transformers) y los conjuntos de datos crecen, el costo computacional de estas evaluaciones aumenta, lo que hace necesaria una infraestructura más eficiente.

Metodología: El Marco de Trabajo SUPREME
Los autores presentan SUPREME (Standardised Unlearning Platform for Reproducible Method Evaluation), un marco de código abierto diseñado para distribuir el proceso de evaluación del desaprendizaje a través de múltiples GPUs. El marco está construido sobre PyTorch y Lightning Fabric, y soporta estrategias distribuidas como Distributed Data Parallel (DDP), Fully Sharded Data Parallel (FSDP) y DeepSpeed ZeRO.

El núcleo de SUPREME es un proceso de múltiples etapas basado en semillas (Algoritmo 1) que ejecuta tres etapas distintas a través de $P$ dispositivos:

1. Etapa 1 (Entrenamiento): Se entrena un modelo $M_o$ en el conjunto de datos completo $D$ utilizando una semilla de entrenamiento específica.
2. Etapa 2 (Desaprendizaje y Reentrenamiento): Para cada objetivo de olvido, el marco define un conjunto de olvido ($D_f$) y un conjunto de retención ($D_r$). Luego:
   • Reentrena un modelo base $M_r$ desde cero en $D_r$ utilizando una semilla de desaprendizaje específica.
   • Aplica un método de desaprendizaje $a$ a $M_o$ utilizando $D_f$ y $D_r$ para producir el modelo desaprendido $M_u$.
   • Tanto el reentrenamiento como el desaprendizaje utilizan la sincronización de gradientes entre dispositivos.
3. Etapa 3 (Evaluación): $M_u$ se evalúa frente a $M_r$ utilizando métricas configuradas en conjuntos de prueba ($D'_f$ y $D'_r$). Los resultados se agregan mediante una operación all-gather.

El marco soporta dos escenarios de desaprendizaje:

• Desaprendizaje Dirigido (Targeted Unlearning): Elimina todas las muestras asociadas con una etiqueta de clase específica.
• Desaprendizaje de Muestras Aleatorias (Random-Sample Unlearning): Elimina un subconjunto aleatorio de muestras (definido por un porcentaje) extraídas de todo el conjunto de datos.

Contribuciones Clave
El artículo describe tres contribuciones primarias:

1. Extensibilidad Basada en Registro: SUPREME emplea un diseño donde los conjuntos de datos, las arquitecturas de modelos, los métodos de desaprendizaje, las métricas de evaluación y los escenarios se registran mediante rutas de módulos. Se pueden añadir nuevos componentes implementando interfaces estándar y registrando la ruta del módulo, sin modificar el código central del marco.
2. Arquitectura Multi-GPU: A diferencia de otras herramientas, SUPREME distribuye el entrenamiento, el desaprendizaje y la evaluación a través de múltiples aceleradores. Soporta varios modos de precisión (por ejemplo, precisión mixta, 8-bit/4-bit vía BitsandBytes) y estrategias distribuidas, reduciendo significativamente el tiempo requerido para las evaluaciones de múltiples semillas.
3. Demostración en Reconocimiento Facial de Pins: Los autores demuestran el marco utilizando el conjunto de datos de Reconocimiento Facial de Pins con arquitecturas ResNet18 y Vision Transformer (ViT). Evalúan múltiples métodos de desaprendizaje bajo escenarios de clase completa y de muestra aleatoria a través de diez semillas.

Resultados Experimentales
La demostración se llevó a cabo en una única GPU NVIDIA L40S para mantener la paridad numérica con las implementaciones de referencia, aunque el marco soporta la ejecución multi-GPU. Hallazgos clave incluyen:

• Varianza Entre Semillas: El estudio destaca que los resultados de una sola semilla pueden ser altamente engañosos. Por ejemplo, en el escenario de muestra aleatoria, la diferencia de precisión en el conjunto de olvido ($\Delta Acc_{D'_f}$) para "Random Labels" en ResNet18 mostró una desviación estándar de $\pm 34.03$ puntos porcentuales a través de diez semillas. Del mismo modo, "Selective Synaptic Dampening" en ViT mostró una desviación de $\pm 37.99$. Esto confirma que la evaluación de múltiples semillas es necesaria para comparaciones consistentes.
• Sensibilidad de la Métrica: En el escenario de clase completa, las diferencias de Ataque de Inferencia de Membresía (MIA) ($\Delta MIA$) fueron mínimas en todos los métodos (mayormente dentro de $\pm 0.05$), fallando en distinguir entre métodos. Por el contrario, las diferencias de precisión del conjunto de olvido ($\Delta Acc_{D'_f}$) variaron significativamente (de 0.00 a 89.44 en ResNet18), demostrando ser una métrica más discriminativa en este entorno.
• Rendimiento: El marco ejecutó con éxito el proceso completo tanto para ResNet18 como para ViT, capturando la varianza introducida por diferentes semillas y demostrando la viabilidad de una evaluación reproducible a gran escala.

Significancia y Reivindicaciones
Los autores posicionan a SUPREME como una herramienta para permitir comparaciones consistentes y reproducibles de los métodos de desaprendizaje, abordando la creciente complejidad de los modelos y la necesidad de la evaluación de múltiples semillas. Expresan explícitamente que los números reportados caracterizan las capacidades del marco más que proporcionar un ranking definitivo de los métodos de desaprendizaje, ya que la demostración se limitó a un solo conjunto de datos, dos arquitecturas y un solo dispositivo. El artículo concluye que el trabajo futuro extenderá la demostración a otros componentes registrados y utilizará semillas independientes para las etapas de entrenamiento, desaprendizaje y evaluación para descomponer aún más las fuentes de varianza. El marco está destinado a facilitar el benchmarking riguroso requerido a medida que el campo del desaprendizaje de máquinas madura.