CoUn: Empowering Machine Unlearning via Contrastive Learning

Imagina que tienes un estudiante muy inteligente que ha estudiado una biblioteca masiva de libros para convertirse en un experto. Un día, se le pide que "desaprenda" un conjunto específico de libros, quizás porque esos libros fueron prestados por otra persona y deben ser devueltos, o porque la información en ellos ahora se considera privada.

El objetivo del Desaprendizaje de Máquina es hacer que el estudiante olvide esos libros específicos sin olvidar todo lo demás que sabe.

El Problema: El "Reinicio Duro" vs. El "Arreglo Rápido"

La forma perfecta de hacer esto es enviar al estudiante de vuelta a la escuela, darle solo los libros que tiene permitido conservar y hacer que vuelva a aprender todo desde cero. Esto se llama Desaprendizaje Exacto. Funciona perfectamente, pero es como enviar a un estudiante de vuelta a la guardería solo para olvidar un capítulo de un libro de matemáticas: requiere demasiado tiempo y energía.

Los métodos de "arreglo rápido" existentes intentan ser más rápidos. Algunos intentan engañar al estudiante diciéndole las respuestas incorrectas para los libros que necesita olvidar (Manipulación de Etiquetas). Otros intentan "sacudir" ligeramente el cerebro del estudiante para desordenar los recuerdos (Perturbación de Pesos).

• El defecto: Estos arreglos rápidos a menudo confunden al estudiante sobre los libros que debe recordar, o no son lo suficientemente efectivos para hacerle olvidar los libros malos.

La Solución: CoUn (Desaprendizaje Contrastivo)

Los autores de este artículo, del Laboratorio Noah's Ark de Huawei, proponen un nuevo método llamado CoUn.

Para entender CoUn, primero necesitamos entender cómo maneja el estudiante "perfecto" (el que volvió a aprender desde cero) los libros que le dijeron que olvidara.

• La Observación: Cuando el estudiante perfecto mira un libro "prohibido" (por ejemplo, una imagen de un Camión), no ve simplemente un espacio en blanco. Como solo estudió libros de "Conservación" (como Coches, Aviones y Barcos), mira el Camión y piensa: "Hmm, esto se parece más a un Coche". Clasifica el Camión basándose en lo que se parece entre los libros que aún conoce.

CoUn imita este comportamiento natural. En lugar de intentar forzar al estudiante a olvidar el Camión por completo, CoUn enseña al estudiante a mirar el Camión y decir: "Esto definitivamente no es un Camión; en realidad se parece más a un Coche".

Cómo Funciona CoUn: El Juego de "Agrupación"

CoUn utiliza dos herramientas principales para lograr esto, usando solo los libros de "Conservación" (los que el estudiante tiene permitido conservar):

1. Aprendizaje Contrastivo (El Juego de la "Similitud"):
   Imagina que el estudiante está jugando un juego donde mira dos fotos ligeramente diferentes del mismo libro de "Conservación" (por ejemplo, un Coche con un filtro diferente) y se le dice: "¡Estas son iguales!". También se le muestra una foto de un libro diferente (por ejemplo, un Barco) y se le dice: "¡Estas son diferentes!".

   • La Magia: Al hacer esto, el cerebro del estudiante crea grupos estrechos (clústeres) para los libros que conoce.
   • El Efecto Secundario: Como el estudiante se concentra tanto en agrupar los libros de "Conservación", los libros "Prohibidos" (Camiones) son naturalmente empujados hacia los grupos que más se parecen. Si un Camión se parece a un Coche, el cerebro del estudiante empuja naturalmente la memoria del Camión hacia el clúster del "Coche". Esto sucede indirectamente sin que el estudiante vea nunca el Camión durante este entrenamiento.

2. Aprendizaje Supervisado (La Regla de "Mantener los Grupos Separados"):
   Existe el riesgo de que si solo jugamos al juego de similitud, todos los grupos puedan confundirse (por ejemplo, los Coches y los Barcos podrían empezar a parecerse). Para evitar esto, CoUn también utiliza la enseñanza estándar para asegurar que los libros de "Conservación" permanezcan en sus propios grupos distintos y claros. Esto asegura que el estudiante no pierda su capacidad de reconocer los libros que debe conservar.

El Resultado

El artículo afirma que CoUn es mejor que los métodos actuales de "arreglo rápido" porque:

• Olvida mejor: Empuja con éxito los datos "Prohibidos" hacia los clústeres de los datos de "Conservación" que más se parecen, tal como lo haría el estudiante perfecto.
• Recuerda mejor: Mantiene los datos de "Conservación" precisos y distintos, para que el estudiante no se confunda sobre los libros que tiene permitido conservar.
• No necesita los libros malos: A diferencia de otros métodos, CoUn no necesita ver los libros "Prohibidos" para desaprenderlos; solo necesita los libros de "Conservación".

En Resumen

Piensa en CoUn como un maestro astuto que no intenta borrar la memoria de un estudiante sobre un tema específico. En cambio, el maestro reorganiza el archivador mental del estudiante para que los archivos "prohibidos" se deslicen naturalmente hacia las carpetas de los archivos "permitidos" que se parecen más. El estudiante efectivamente "olvida" el tema prohibido al clasificarlo erróneamente como algo más, mientras mantiene todo su otro conocimiento agudo y organizado.

El artículo probó esto en varios conjuntos de datos de imágenes (como CIFAR-10 y TinyImageNet) y descubrió que CoUn superó consistentemente a otros métodos, acercándose más al modelo reentrenado "perfecto" sin el enorme costo de reentrenar desde cero.