🤖 machine learning

Similarity-Aware Machine Unlearning

Este artículo propone un marco de desaprendizaje de aprendizaje automático consciente de la similitud que emplea un método de localización consciente de la retención para minimizar el daño colateral en los datos retenidos semánticamente similares, al tiempo que mejora la eficiencia del desaprendizaje estándar, validado mediante un nuevo conjunto de evaluación y experimentos extensos.

Autores originales: Madhavan Citalamangalam Kumaran, Midhun Parakkal Unni, Vicky Kouni, Haripriya Harikumar

Publicado 2026-08-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Madhavan Citalamangalam Kumaran, Midhun Parakkal Unni, Vicky Kouni, Haripriya Harikumar

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que has construido un cerebro digital gigante y superinteligente que aprendió todo de una biblioteca masiva de fotos. Este cerebro es tan bueno en su trabajo que puede distinguir un gato de un perro o un barco de un coche con una precisión increíble. Pero aquí está el truco: a veces, las personas quieren que sus fotos sean eliminadas de esa biblioteca por leyes de privacidad o elección personal. Si simplemente eliminas la foto, el cerebro aún podría recordarla, como un estudiante que memorizó un dato para un examen pero olvidó desaprenderlo después del examen. Aquí es donde entra la "Desaprendizaje de Máquina" (Machine Unlearning). Es el arte de enseñar a una computadora a olvidar cosas específicas sin tener que desechar todo el cerebro y construir uno nuevo desde cero, lo cual tomaría una eternidad y costaría una fortuna.

Sin embargo, hay un problema complicado: en el cerebro de una computadora, la información no se almacena en cajones ordenados y separados. En cambio, es como una red gigante de conexiones donde las cosas similares están entrelazadas. Una foto de un golden retriever y una foto de un golden lab podrían usar exactamente el mismo conjunto de conexiones porque se ven casi iguales. Si intentas cortar las conexiones del golden retriever para hacerlo olvidar, podrías accidentalmente cortar los cables del golden lab también, haciendo que el cerebro olvide cosas que se suponía debía conservar. Este artículo trata sobre encontrar una manera de desenredar esa red para que podamos borrar lo que queremos sin dañar las cosas que son similares.

Los investigadores detrás de este estudio, trabajando con datos del famoso conjunto de datos CIFAR-10 (una colección de 60,000 pequeñas imágenes en color) y un modelo llamado ResNet18, descubrieron que la forma antigua de hacer esto era un poco torpe. El método anterior, llamado "localización de solo olvido" (forget-only localization), era como un jardinero que intenta arrancar una maleza específica pero solo mira la maleza en sí misma. Agarraba las raíces de la maleza, pero como esa maleza crecía justo al lado de una flor hermosa que era casi idéntica, el jardinero también arrancaba accidentalmente la flor de la tierra. En términos informáticos, esto causaba "daño colateral", donde el modelo empeoraba su capacidad de reconocer imágenes retenidas que eran muy similares a las que se suponía debía olvidar.

Para solucionar esto, el equipo propuso un nuevo método "consciente de la retención" (retain-aware). En lugar de solo mirar la cosa que se va a olvidar, le pidieron a la computadora que también mirara las cosas que necesita conservar. Crearon un "mapa de similitud" especial para ver qué imágenes retenidas eran las vecinas más cercanas de las olvidadas. Luego, utilizaron un sistema de puntuación ingenioso para decidir qué partes del cerebro de la computadora debían ajustarse. Básicamente dijeron: "Solo corta los cables que son súper importantes para la cosa que queremos olvidar, pero deja los cables en paz si también son muy importantes para las cosas similares que queremos conservar".

Probaron tres formas diferentes de calcular estas puntuaciones: un método de resta simple, un método ponderado (donde podían subir el volumen de cuánto les importaba mantener las cosas seguras) y un método de razón. Después de realizar once experimentos diferentes, encontraron que su nuevo enfoque funcionaba mucho mejor que el viejo método de "solo olvido". Específicamente, el "método de diferencia submuestreada" (una forma específica de la resta) fue la estrella del espectáculo. Logró que el modelo olvidara las imágenes objetivo mientras mantenía la precisión en las imágenes similares retenidas casi perfecta.

El artículo muestra que, al ser conscientes de la similitud, pudieron reducir significamente el "daño colateral". Por ejemplo, cuando observaron qué tan bien funcionaba su método en imágenes que eran visualmente muy cercanas a las olvidadas, su nuevo método causó casi ninguna caída en el rendimiento, mientras que el método antiguo causó una disminución notable. También verificaron que el modelo no estuviera simplemente adivinando o actuando de forma extraña; utilizaron una prueba de "ataque de inferencia de membresía" (una forma de ver si el modelo todavía recuerda secretamente los datos eliminados) y descubrieron que su nuevo método era mucho mejor para borrar realmente la memoria.

En resumen, los autores sugieren que no podemos tratar el olvido simplemente como una tarea de eliminación. Debido a que los cerebros de las computadoras aprenden encontrando patrones y similitudes, hay que tener cuidado de no romper los patrones que queremos conservar. Su nuevo método actúa como un cirujano preciso en lugar de un martillo, eliminando la memoria específica de una foto olvidada sin dañar la memoria de sus amigos parecidos. Aunque probaron esto en un conjunto específico de imágenes y un modelo específico, los resultados sugieren que este enfoque "consciente de la retención" es un paso prometedor hacia la creación de herramientas de privacidad de IA que sean tanto efectivas como seguras para los datos que queremos conservar.

Resumen Técnico: Aprendizaje No Supervisado Consciente de la Similitud (Similarity-Aware Machine Unlearning)

1. Planteamiento del Problema

El aprendizaje no supervisado (machine unlearning) tiene como objetivo eliminar la influencia de ejemplos de entrenamiento específicos (el "conjunto de olvido", $D_f$ ) de un modelo entrenado sin necesidad de reentrenar desde cero, satisfaciendo así los derechos de supresión de datos (por ejemplo, el RGPD) manteniendo la eficiencia computacional. Aunque los métodos basados en la localización mejoran la eficiencia al modificar solo un subconjunto de parámetros influyentes, los enfoques actuales sufren una limitación crítica: el entrelazamiento de características (feature entanglement).

Los métodos actuales seleccionan parámetros basándose únicamente en su importancia para el conjunto de olvido. Sin embargo, los parámetros influyentes para los ejemplos olvidados también suelen dar soporte a ejemplos semánticamente similares en el "conjunto de retención" ( $D_r$ ). La modificación de estos parámetros compartidos causa daños colaterales, degradando el rendimiento del modelo en ejemplos retenidos que están cerca de los datos olvidados en el espacio de representación aprendido. Además, las métricas agregadas estándar (como la precisión general del conjunto de retención) a menudo no logran detectar este daño porque este se concentra en un pequeño subconjunto de ejemplos retenidos semánticamente similares.

2. Metodología

Los autores proponen un marco de Aprendizaje No Supervisado Localizado Consciente de la Similitud que extiende el enfoque de Deletion by Example Localization (DEL). La innovación central es una estrategia de localización consciente de la retención que considera la importancia de los parámetros tanto para el conjunto de olvido como para el conjunto de retención.

2.1. Conceptos Centrales

Similitud Semántica: Definida mediante la similitud de coseno en el espacio de incrustación (embedding) del modelo. Los autores observan que las muestras semánticamente similares (incluso entre las fronteras de olvido y retención) ocupan regiones cercanas en el espacio de características y activan subconjuntos superpuestos de neuronas.
Conjunto de Evaluación de Retención Similar ( $D_{r,sim}$ ): Para medir directamente el daño colateral, los autores construyen un conjunto de evaluación específico. Para cada ejemplo en $D_f$ , identifican a su vecino más cercano de la misma clase en $D_r$ basándose en la similitud de coseno en el embedding del modelo original. Este conjunto aísla los ejemplos retenidos más vulnerables al entrelazamiento de características.

2.2. Estrategia de Localización

El método calcula puntuaciones de criticidad para los parámetros (neuronas) por separado para el conjunto de olvido ( $s_f$ ) y el conjunto de retención ( $s_r$ ). El objetivo es seleccionar parámetros que sean altamente críticos para $D_f$ pero mínimamente críticos para $D_r$ . Se proponen tres estrategias de puntuación específicas:

Método de Diferencia: $\tilde{s}_j = \max(s_f^j - s_r^j, 0)$ . Este prioriza los parámetros donde la importancia del conjunto de olvido supera la del conjunto de retención.
Método de Diferencia Ponderada: $\tilde{s}_j = \max(w \cdot s_f^j - s_r^j, 0)$ . Este introduce un peso escalar $w$ para ajustar el equilibrio entre la especificidad del conjunto de olvido y la protección del conjunto de retención.
Método de Ratio: $\tilde{s}_j = \frac{s_f^j}{s_r^j + \epsilon}$ . Este favorece los parámetros con alta importancia de olvido relativa a la importancia de retención.

2.3. Proceso de Olvido (Unlearning)

Enmascaramiento (Masking): Se construye una máscara de localización binaria clasificando las neuronas globalmente a través de todas las capas basándose en la puntuación de criticidad elegida. Las neuronas se seleccionan de forma codiciosa hasta cumplir con un presupuesto (por ejemplo, el 30% del total de parámetros).
Reinicialización: Los pesos seleccionados se reinicializan utilizando la inicialización Kaiming normal para restablecer sus valores.
Ajuste Fino (Fine-tuning): El modelo se ajusta finamente en el conjunto de retención ( $D_r$ ) durante un número fijo de épocas. Los gradientes para los pesos no seleccionados se enmascaran, restringiendo las actualizaciones al subconjunto reinicializado.

3. Configuración Experimental

Dataset: CIFAR-10 (60,000 imágenes, 10 clases). El conjunto de entrenamiento se divide en un conjunto de olvido ( $D_f$ , 5,000 imágenes) y un conjunto de retención ( $D_r$ , 35,000 imágenes).
Modelo: ResNet-18 modificado (adaptado para imágenes de 32x32).
Líneas Base (Baselines): Comparación contra una línea base de localización de "solo olvido" (DEL) y un modelo Oráculo (reentrenado desde cero sobre $D_r$ ).
Métricas:
- Estándar: Precisión de prueba (test accuracy), precisión de retención, precisión de olvido, puntuación de Ataque de Inferencia de Membresía (MIA), divergencia KL.
- Propuesta: Precisión de Retención Similar ( $\Delta_{rs}$ ), que mide el rendimiento específicamente en $D_{r,sim}$ .
- Evaluación: Las métricas se reportan como deltas ( $\Delta = \text{Oráculo} - \text{No supervisado/Unlearned}$ ), donde los valores cercanos a cero indican un mejor alineamiento con el Oráculo.

4. Resultados Clave

Los experimentos se realizaron en 11 configuraciones (variando los métodos de localización y los hiperparámetros).

Reducción del Daño Colateral: El método de Diferencia submuestreada logró el mejor equilibrio. Redujo el delta de la precisión de retención similar ( $\Delta_{rs}$ ) a +0.04, significativamente menor que el +0.49 de la línea base de solo olvido. Esto indica una reducción sustancial del daño colateral en los ejemplos retenidos semánticamente similares.
Eficacia del Olvido: El mismo método logró un delta de precisión de olvido ( $\Delta_{forget}$ ) de +0.56, lo que indica un olvido efectivo (cercano al comportamiento del Oráculo) sin el exceso de olvido visto en la línea base (+2.70).
Alineación con el Oráculo: El método de diferencia submuestrada mostró un fuerte alineamiento con el modelo Oráculo, evidenciado por un bajo delta de la puntuación MIA (+4.98 frente a +5.48 para la línea base) y una baja divergencia KL (0.395).
Comparación de Métodos:
- El método de Ratio preservó la utilidad (bajo $\Delta_{retain}$ ) pero falló en olvidar eficazmente (gran $\Delta_{forget}$ negativo), lo que sugiere que subpriorizó las modificaciones de parámetros necesarias.
- El método de Diferencia Ponderada mostró que aumentar el peso $w$ hacía la intervención más agresiva, aumentando la pérdida de utilidad y las señales de membresía residuales.
Sobrecarga Computacional: El método propuesto incurrió en una sobrecarga computacional insignificante (02:29 vs 02:57 para la línea base), ya que los tiempos de computación de la criticidad y de ajuste fino fueron casi idénticos.

5. Significación y Reivindicaciones

El artículo afirma que el entrelazamiento de características es una causa primaria del daño colateral en los métodos de localización existentes, que las métricas agregadas a menudo no logran detectar.

La importancia de este trabajo radica en:

Identificación de una Limitación: Vincular explícitamente el daño colateral con las representaciones aprendidas compartidas entre los conjuntos de olvido y retención.
Localización Consciente de la Retención: Demostrar que la incorporación de la importancia del conjunto de retención en la selección de parámetros permite un aprendizaje no supervisado "consciente de la similitud", eliminando efectivamente el conocimiento específico del olvido mientras se preservan las representaciones compartidas.
Protocolo de Evaluación: Introducir el conjunto de evaluación de retención similar como una herramienta necesaria para medir directamente el daño colateral, argumentando que las métricas agregadas estándar son insuficientes para este modo de fallo específico.

Los autores concluyen que su enfoque reduce consistentemente el daño colateral mientras mejora las métricas estándar de aprendizaje no supervisado, ofreciendo una solución práctica con un costo computacional insignificante. Sugieren que trabajos futuros evalúen el método en conjuntos de datos y arquitecturas más grandes.