Benchmarking Unlearning for Vision Transformers

Este trabajo presenta el primer benchmark integral para evaluar algoritmos de olvido machine en Vision Transformers, comparando su rendimiento frente a CNNs y estableciendo una línea base reproducible que analiza el impacto de la memorización de datos en diferentes arquitecturas y protocolos de olvido.

Lo esencial

Imagina que has construido una biblioteca de inteligencia artificial (IA) muy avanzada, llamada "Vision Transformer" (VT). Esta biblioteca es increíblemente buena para reconocer imágenes: sabe diferenciar un gato de un perro, un coche de una bicicleta, etc. Pero, como cualquier biblioteca, a veces guarda información que no debería tener: fotos privadas, imágenes con errores, o datos sesgados que hacen que la IA tome decisiones injustas.

Aquí es donde entra el concepto de "Desaprendizaje" (Machine Unlearning). Es como pedirle a la biblioteca que, por favor, olvide esas páginas específicas sin tener que tirar toda la biblioteca y empezar de cero.

Este artículo es el primer gran estudio que prueba cómo funcionan las herramientas de "olvido" en estas bibliotecas modernas (Vision Transformers), comparándolas con las bibliotecas más antiguas (las llamadas CNNs).

Aquí tienes los puntos clave explicados con analogías sencillas:

1. El Problema: ¿Cómo olvidar sin perder la memoria?

Antes, los científicos probaban herramientas para borrar datos en bibliotecas antiguas (CNNs). Ahora, como las bibliotecas modernas (VTs) funcionan de manera diferente (usan una red neuronal global en lugar de mirar pedacitos de imagen uno por uno), nadie sabía si las herramientas antiguas funcionarían bien en las nuevas.

La analogía: Imagina que tienes un método para borrar una mancha de café de una camisa de algodón (CNN). ¿Funciona ese mismo método si la camisa es de seda (VT)? No lo sabíamos hasta ahora.

2. La Gran Sorpresa: ¡Funcionan muy bien!

El estudio descubrió que, aunque las bibliotecas modernas funcionan de forma distinta, se comportan casi igual que las antiguas cuando se trata de "memorizar" cosas.

• La memoria: Tanto las antiguas como las nuevas tienden a recordar los datos difíciles de la misma manera (una distribución de "cola larga": recuerdan mucho los datos fáciles y muy poco los difíciles).
• Las herramientas: Las técnicas que funcionaban para las bibliotecas antiguas también funcionan para las modernas. De hecho, en algunos casos, las modernas son incluso mejores para olvidar.

3. Los "Detectives de Memoria" (Proxies)

Para saber qué borrar, necesitas saber qué es lo que la IA ha memorizado. Como calcular la memoria exacta es muy costoso (como contar cada grano de arena de una playa), los científicos usan "detectives" o proxies (indicadores rápidos).

• El detective "Confianza": Mira qué tan seguro está el modelo de su respuesta. Si está muy seguro, probablemente lo ha memorizado.
• El detective "Reentrenamiento de prueba" (Holdout Retraining): Es como hacer un pequeño examen de prueba para ver qué recuerda el modelo.
• El hallazgo: Estos detectives funcionan igual de bien en las bibliotecas modernas que en las antiguas. El detective "Confianza" es el mejor para tareas simples, pero el de "Reentrenamiento" es el campeón para tareas complejas.

4. ¿Qué herramienta de olvido usar? (El menú de opciones)

El estudio probó tres métodos principales para borrar datos:

1. Ajuste Fino (Fine-tune): Es como decirle a la biblioteca: "Oye, no uses esas páginas, sigue estudiando el resto". Funciona muy bien en las bibliotecas modernas simples (ViT).
2. NegGrad+: Es como darle un empujón suave pero firme a la memoria para que suelte lo que no debe, sin soltar lo que sí debe. ¡Este fue el gran ganador! Funcionó increíblemente bien en casi todos los casos, especialmente en tareas difíciles.
3. SalUn: Es un método muy preciso que intenta borrar solo los "nudos" específicos de la memoria. Funciona bien para borrar, pero a veces falla en proteger la privacidad (es como borrar una página pero dejar la huella digital de que estaba ahí).

5. La Arquitectura Importa: ViT vs. Swin-T

Las bibliotecas modernas tienen dos estilos principales:

• ViT (Vision Transformer puro): Mira la imagen entera de golpe. Es como un artista que ve el cuadro completo. Le va mejor con el método de "Ajuste Fino".
• Swin-T: Mira la imagen en ventanas pequeñas y luego las une (como un mosaico). Es más parecido a las bibliotecas antiguas. Le va mejor con el método "NegGrad+".

Conclusión: No hay una talla única. Si tienes una tarea compleja, usa Swin-T con el método NegGrad+. Si es una tarea más sencilla, ViT con Ajuste Fino es suficiente.

6. Olvidar una y otra vez (Desaprendizaje Continuo)

En la vida real, no olvidamos un solo dato, sino muchos a lo largo del tiempo. ¿Se rompe la biblioteca si le pedimos olvidar cosas una y otra vez?

• Resultado: ¡No! El estudio mostró que puedes pedirle a la biblioteca que olvide datos en pequeños lotes (como borrar 5 páginas hoy, 5 mañana, etc.) y la biblioteca no se degrada. Sigue funcionando perfectamente.

En resumen: ¿Qué nos dice esto?

Este trabajo es como un manual de instrucciones para los ingenieros que construyen IAs seguras. Nos dice:

1. No te asustes con las nuevas tecnologías (Vision Transformers); las herramientas de privacidad que ya conocemos funcionan aquí también.
2. Usa el método NegGrad+ si quieres resultados sólidos y seguros.
3. Usa el indicador de Reentrenamiento (Holdout Retraining) si trabajas con datos complejos.
4. Puedes borrar datos de forma continua sin miedo a romper tu sistema.

Básicamente, hemos demostrado que las bibliotecas de IA modernas son tan "educables" (o en este caso, tan "olvidadizas" cuando es necesario) como las antiguas, lo cual es una noticia excelente para la privacidad y la seguridad de la inteligencia artificial.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Benchmarking Unlearning for Vision Transformers" en español:

1. Planteamiento del Problema

El campo del aprendizaje automático (Machine Unlearning - MU) ha ganado importancia crítica para garantizar la seguridad, equidad y privacidad de la IA, permitiendo eliminar la influencia de datos "problemáticos" (sesgados, erróneos, envenenados o sensibles) de modelos entrenados.

Aunque el MU se ha estudiado extensamente en Grandes Modelos de Lenguaje (LLMs), modelos de difusión y Redes Neuronales Convolucionales (CNN), existe un vacío significativo en las Vision Transformers (VTs). A pesar de que las VTs (como ViT y Swin) han superado a las CNN en muchas tareas de visión por computadora, no existen benchmarks sistemáticos que evalúen cómo funcionan los algoritmos de olvido en estas arquitecturas. Las diferencias arquitectónicas (atención global vs. sesgos inductivos espaciales locales) y los regímenes de entrenamiento (pre-entrenamiento + ajuste fino) plantean la incógnita de si las estrategias de olvido diseñadas para CNN son efectivas en VTs.

2. Metodología

Los autores presentan el primer benchmark integral para el olvido de máquinas en VTs. La metodología se basa en los siguientes pilares:

• Arquitecturas Evaluadas: Se comparan dos familias principales de VTs con diferentes sesgos inductivos:
  • ViT (Vision Transformer): Utiliza atención global, carece de sesgos espaciales fuertes y es más dependiente de los datos.
  • Swin-T (Swin Transformer): Introduce una estructura jerárquica y atención por ventanas desplazadas, imitando más de cerca la localidad de las CNN.
  • Se evalúan diferentes capacidades (desde Tiny hasta Base) para analizar el impacto del tamaño del modelo.
• Algoritmos de Olvido: Se seleccionan tres enfoques fundamentales representativos, tanto en sus versiones "vanilla" como integradas en el marco RUM (que mejora el rendimiento utilizando la memorización):
  1. Fine-tune (FT): Re-entrenamiento solo con datos retenidos.
  2. NegGrad+: Un método basado en gradientes que empuja los parámetros lejos del conjunto a olvidar mientras mantiene el rendimiento en los datos retenidos.
  3. SalUn: Olvido selectivo de parámetros basado en la saliencia.
• Proxies de Memorización: Dado que calcular la memorización exacta (Feldman score) es costoso, se evalúan "proxies" (indicadores aproximados) para guiar el proceso de olvido:
  • Confianza (Confidence), Entropía, Precisión Binaria.
  • Holdout Retraining (HR): Un proxy computacionalmente eficiente que mide la divergencia entre el modelo original y uno reentrenado sin un subconjunto de datos.
• Protocolos y Datos:
  • Datasets: CIFAR-10, CIFAR-100, SVHN e ImageNet-1K (para evaluar escalabilidad y complejidad).
  • Escenarios: Olvido de un solo disparo (single-shot) y olvido continuo (continual unlearning).
  • Métricas: Se utilizan ToW (Test of W) y ToW-MIA, que combinan la precisión en datos retenidos, datos de prueba y la vulnerabilidad a Ataques de Inferencia de Membresía (MIA) en el conjunto olvidado.

3. Contribuciones Clave

1. Primer Benchmark para VTs: Establece una base reproducible y justa para comparar algoritmos de olvido en arquitecturas Transformer para visión.
2. Análisis de Memorización: Demuestra que, a pesar de las diferencias arquitectónicas, los patrones de memorización en VTs son fundamentalmente similares a los de las CNN (distribuciones de cola larga), lo que valida el uso de proxies derivados de CNN.
3. Evaluación de Proxies: Identifica que proxies simples como la Confianza y Holdout Retraining son altamente efectivos en VTs, permitiendo un olvido basado en memorización sin el costo computacional de recalcular puntuaciones de memorización exactas.
4. Guías de Compatibilidad: Revela que la elección del algoritmo y el proxy depende críticamente de la arquitectura y la complejidad de los datos.

4. Resultados Principales

• Efectividad de Algoritmos:
  • NegGrad+ emerge como el método más robusto y consistente para VTs, especialmente en conjuntos de datos complejos (CIFAR-100, ImageNet) y cuando se combina con el proxy Holdout Retraining.
  • Fine-tune funciona sorprendentemente bien en tareas más simples (CIFAR-10) y en modelos ViT, probablemente debido a la menor memorización en tareas sencillas.
  • SalUn, aunque logra buenos puntajes en ToW, falla consistentemente en ToW-MIA (protección contra ataques de inferencia de membresía) en VTs, especialmente en ViT, haciéndolo menos seguro para escenarios sensibles a la privacidad.
• Impacto de la Arquitectura:
  • ViT: Tiende a beneficiarse más de enfoques basados en ajuste fino (Fine-tune) debido a su atención global y participación difusa de parámetros.
  • Swin-T: Se alinea mejor con métodos basados en gradientes (NegGrad+) debido a su estructura local y jerárquica, similar a las CNN. En tareas complejas, Swin-T a menudo supera a ViT en rendimiento de olvido.
• Ventaja del Pre-entrenamiento: En tareas simples, el pre-entrenamiento de VTs (ej. en ImageNet) otorga una ventaja inicial, ya que los modelos reentrenados desde cero ($\theta_r$) ya tienen alta precisión en el conjunto a olvidar, reduciendo la necesidad de un olvido agresivo. Sin embargo, esta ventaja disminuye en tareas más complejas.
• Olvido Continuo: El rendimiento se mantiene estable a lo largo de múltiples pasos de olvido continuo, sin degradación acumulativa significativa, siempre que se utilicen pares algoritmo-proxy adecuados (ej. NegGrad+ con HR).
• Escalabilidad: Los hallazgos se mantienen consistentes al escalar a modelos más grandes (Swin-Base, ViT-Base) y datasets masivos (ImageNet-1K), aunque los valores absolutos de las métricas de olvido disminuyen ligeramente debido a la mayor complejidad de los datos.

5. Significado e Impacto

Este trabajo es fundamental para la adopción responsable de Vision Transformers en entornos de producción que requieren cumplimiento de normativas de privacidad (como el "derecho al olvido").

• Establece un Baseline: Proporciona la primera referencia de rendimiento para futuros algoritmos de olvido en VTs.
• Guía Práctica: Ofrece recomendaciones concretas a los practicantes:
  • Para ViT en tareas de baja/media complejidad: Usar Fine-tune + Confidence.
  • Para Swin o tareas de alta complejidad/olvido continuo: Usar NegGrad+ + Holdout Retraining.
  • Evitar SalUn en contextos donde la privacidad (resistencia a MIA) es crítica.
• Validación de Transferencia: Confirma que las técnicas de olvido desarrolladas para CNN pueden transferirse a VTs, pero requieren ajustes en la selección de algoritmos y proxies según la arquitectura específica.

En resumen, el artículo demuestra que el olvido de máquinas en Vision Transformers es viable y efectivo, pero su éxito depende de una alineación cuidadosa entre la arquitectura del modelo, la complejidad de los datos y la estrategia de olvido seleccionada.