🤖 machine learning

PURGE: Projected Unlearning via Retain-Guided Erasure

El artículo introduce PURGE, un algoritmo de desaprendizaje de máquinas que aprovecha la dualidad entre el aprendizaje continuo y el desaprendizaje mediante la combinación de restricciones de proyección de gradiente con el borrado de representaciones multicapa y un objetivo de retención-confusión para eliminar eficazmente datos específicos mientras preserva la utilidad del modelo y resiste los ataques de inferencia de membresía.

Autores originales: Vedant Jawandhia, Daksh Ahuja, Ghufran Alam Siddiqui, Prashant Trivedi, Yash Sinha, Pratik Narang

Publicado 2026-06-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Vedant Jawandhia, Daksh Ahuja, Ghufran Alam Siddiqui, Prashant Trivedi, Yash Sinha, Pratik Narang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes a un estudiante muy inteligente que ha estudiado una biblioteca masiva de libros para convertirse en un experto. Ahora, imagina que una persona específica (llamémosla "Bob") le pide al estudiante que olvide todo sobre él debido a las leyes de privacidad.

La forma antigua y "naíf" de manejar esto es decirle al estudiante: "Vuelve a la biblioteca, tira los libros de Bob y comienza a estudiar desde cero". Esto funciona perfectamente, pero toma años y cuesta una fortuna.

PURGE es un atajo nuevo y astuto. Es como un borrador mágico que elimina la influencia de Bob del cerebro del estudiante sin hacer que olvide todo lo demás que aprendió.

Aquí está cómo el artículo explica este proceso utilizando analogías simples:

1. La idea central: Dos caras de la misma moneda

Los autores notaron algo interesante: Aprender y Olvidar son en realidad los opuestos de un mismo problema.

Aprendizaje (Aprendizaje Continuo): Quieres aprender una nueva habilidad (como tocar la guitarra) sin olvidar tu habilidad anterior (como tocar el piano).
Olvido (Desaprendizaje de Máquinas/Machine Unlearning): Quieres borrar un recuerdo específico (Bob) sin olvidar el resto de la biblioteca.

El artículo dice: "Tomemos prestadas las matemáticas utilizadas para aprender cosas nuevas y dales la vuelta para ayudarnos a olvidar cosas".

2. El truco de magia: El "Guardarraíl" (Proyección de Gradiente)

Cuando el estudiante intenta borrar el recuerdo de Bob, podría accidentalmente derribar un jarrón de flores (el "conjunto de retención" u otros datos).

PURGE utiliza una técnica llamada Proyección de Gradiente. Piensa en esto como un guardarraíl o un portero.

Cada vez que el estudiante intenta dar un paso para borrar a Bob, el portero revisa: "¿Dañará este paso a las flores?".
Si la respuesta es "Sí", el portero empuja suavemente el pie del estudiante de vuelta para que solo se mueva en una dirección que no dañe las flores.
Esto garantiza que, mientras borran a Bob, el resto de su conocimiento permanezca seguro y preciso.

3. La estrategia de la "Confusión Falsa" (Objetivo de Confusión de Retención)

Normalmente, cuando intentas hacer que un modelo olvide algo, le dices que adivine al azar (como lanzar un dado). El artículo encontró un problema con esto: Los robots son demasiado buenos detectando la aleatoriedad falsa. Si un modelo de repente empieza a adivinar al azar, un hacker puede decir: "¡Ajá! ¡Este modelo fue forzado a olvidar algo!".

En su lugar, PURGE utiliza un Objetivo de Confusión de Retención (Retain-Confusion Target).

Imagina que el estudiante mira los libros que conservó y ve dónde se confunde. Tal vez confunde "Gatos" con "Perros" a veces.
Al borrar a Bob, se le dice al estudiante: "No adivines al azar. En su lugar, adivina de la misma manera confundida en que lo haces con los libros que conservaste".
Esto hace que el modelo "borrado" se vea exactamente como un estudiante que nunca vio a Bob en primer lugar. Para un hacker, es imposible notar la diferencia.

4. Limpieza profunda: Borrando el "Presentimiento"

A veces, incluso si un modelo deja de decir la respuesta correcta, todavía "siente" la respuesta incorrecta en lo más profundo de su cerebro (en las capas intermedias).

Los métodos antiguos simplemente le dicen al modelo que deje de decir la respuesta incorrecta al final (la salida).
PURGE va más profundo. Limpia el "presentimiento" (representaciones intermedias), empujando la actividad cerebral interna para que se vea como la actividad de alguien que nunca conoció a Bob.

5. El botón de "Parada Automática"

¿Cómo sabe el estudiante cuándo dejar de borrar?

Forma antigua: Tienes que contar los minutos o adivinar cuántas veces practicar.
Forma de PURGE: Tiene dos señales de alto autorreguladas:
1. El Presupuesto: "Si empezamos a dañar demasiado las flores (datos de retención), detente inmediatamente".
2. El Objetivo: "Si el recuerdo de Bob es tan difuso que no podemos adivinarlo mejor que al azar, detente".
  Esto significa que el algoritmo decide cuándo ha terminado, para que los humanos no tengan que adivinar.

6. La sorpresa de la "Estadística Congelada"

El artículo encontró una trampa oculta: Cuando se borra toda una clase de datos (como todas las fotos de "Gatos"), la calculadora interna del modelo (BatchNorm) se confunde porque solo ve "Gatos" y olvida cómo manejar "Perros".

La Solución: Los autores se dieron cuenta de que tenían que congelar esta calculadora para que no actualice sus estadísticas con los datos extraños y unilaterales. Es como decirle a la calculadora: "No cambies tus ajustes mientras estamos haciendo esta cirugía". Sin esto, todo el sistema colapsa.

Los Resultados: ¿Qué encontraron?

Los autores probaron esto en cinco tipos diferentes de datos (desde números escritos a mano hasta imágenes médicas).

Privacidad: El modelo "borrado" es tan bueno ocultando que los hackers no pueden saber si Bob estaba en los datos de entrenamiento o no (una puntuación de 0.5, que es perfecta).
Utilidad: El modelo todavía recuerda el 96% o más de todo lo demás.
Velocidad: Es aproximadamente 13 veces más rápido que reentrenar todo el modelo desde cero.

En resumen: PURGE es una forma rápida, segura y astuta de eliminar datos específicos de la memoria de una IA tomando prestados trucos de cómo la IA aprende cosas nuevas, asegurando que la IA no olvide accidentalmente el resto de su conocimiento o sea atrapada por hackers.

Resumen Técnico: PURGE (Proyección de Olvido mediante Borrado Guiado por la Retención)

1. Planteamiento del Problema

El desaprendizaje de máquinas (Machine Unlearning, MU) tiene como objetivo eliminar la influencia de datos de entrenamiento específicos (el conjunto de olvido, $D_f$ ) de un modelo entrenado sin el costo computacional prohibitivo de reentrenar desde cero. Existe una tensión fundamental en el MU: el modelo debe olvidar agresivamente $D_f$ para satisfacer las auditorías de privacidad (por ejemplo, el "derecho al olvido" del RGPD) mientras preserva una alta utilidad en los datos restantes (el conjunto de retención, $D_r$ ).

Los métodos existentes enfrentan modos de falla específicos:

Ascenso de Gradiente (Gradient Ascent): Maximiza la pérdida en $D_f$ , pero a menudo degrada catastróficamente el rendimiento en $D_r$ .
Métodos basados en la prominencia (ej. SalUn): Perturban selectivamente los pesos, pero carecen de garantías formales sobre el rendimiento de la retención.
Destilación de Conocimiento (Knowledge Distillation): Ancla la distribución de retención, pero no logra restringir las direcciones del gradiente.
Métodos basados en Fisher: Están fundamentados teóricamente, pero son computacionalmente costosos debido a las aproximaciones de la Hessiana.

Crucialmente, muchos enfoques existentes no logran asegurar que el modelo desaprendido sea estadísticamente indistinguible de un modelo reentrenado únicamente con $D_r$ . Esta distinción es vital para resistir los Ataques de Inferencia de Membresía (MIA), donde un adversario intenta determinar si una muestra específica estuvo en el conjunto de entrenamiento.

2. Metodología

La idea central de PURGE es la dualidad entre el Aprendizaje Continuo (CL) y el Desaprendizaje de Máquinas (MU). Mientras que el CL aprende nuevas tareas sin olvidar las antiguas, el MU borra datos específicos sin perjudicar el rendimiento retenido. PURGE adapta el algoritmo A-GEM (Averaged Gradient Episodic Memory) de CL, el cual proyecta los gradientes de nuevas tareas para evitar el aumento de la pérdida en tareas anteriores.

2.1 Proyección de Gradiente para la Seguridad de la Retención

PURGE trata el proceso de desaprendizaje como un problema de optimización restringida. Para cada paso de actualización, el gradiente para la dirección de olvido ( $g_f$ ) se proyecta sobre un semiespacio definido por el gradiente de retención ( $g_r$ ).

Restricción: La actualización no debe aumentar la pérdida de retención ( $L_r$ ).
Mecanismo: Si el gradiente de olvido entra en conflicto con el gradiente de retención (es decir, $\langle g_f, g_r \rangle < 0$ ), $g_f$ se proyecta sobre el límite del semiespacio donde $\langle g, g_r \rangle \geq 0$ .
Garantía Teórica: Esto proporciona una garantía constructiva por paso de que la pérdida de retención no aumentará (en una aproximación de primer orden), una característica que carecen los métodos de desaprendizaje aproximados previos.

2.2 Objetivos de Olvido

PURGE introduce un nuevo objetivo para el conjunto de olvido, yendo más allá de los simples objetivos de distribución uniforme:

KL-Retain (Objetivo de Confusión de Retención): En lugar de empujar las salidas de olvido hacia una distribución uniforme (lo cual es fácilmente detectable por MIA), PURGE apunta al patrón de confusión natural del modelo en el conjunto de retención. Precalcula una distribución $p_r$ promediando las salidas softmax del modelo original congelado sobre $D_r$ . El objetivo de olvido minimiza la divergencia KL entre las salidas de olvido y $p_r$ .
Racional: Esto hace que las salidas del modelo desaprendido sean estadísticamente indistinguibles de un modelo reentrenado desde cero, llevando el AUROC de MIA hacia el ideal de 0.5.

2.3 Borrado de Representación Multicapa

La supresión de la salida por sí sola es insuficiente, ya que la información puede persistir en las capas intermedias. PURGE calcula el Error Cuadrático Medio (MSE) entre las activaciones del conjunto de olvido y la media de las activaciones del conjunto de retención (desde el modelo congelado) a través de múltiples capas intermedias. Esto fuerza la eliminación de la información de las representaciones ocultas, no solo de la salida final.

2.4 Mecanismos de Estabilidad y Parada

Estabilidad Anclada por KD: Una copia congelada del modelo previo al desaprendizaje actúa como profesor para el conjunto de retención mediante Destilación de Conocimiento (KD), reduciendo la deriva de la representación.
Puerta de Entropía y Limitación (Entropy Gating & Capping): Las actualizaciones se restringen al objetivo de retención si la entropía de la salida del modelo en el lote de olvido ya está cerca del máximo, evitando el exceso de olvido o la explosión del gradiente.
Parada de Doble Autorregulación: El algoritmo se detiene automáticamente basándose en dos criterios:
1. Presupuesto de Pérdida de Retención: Se detiene si la pérdida de retención excede un presupuesto predefinido respecto a la pérdida inicial.
2. Objetivo de Precisión de Olvido (FA): Se detiene cuando la FA cae a un nivel de azar (ej. $100/K\%$ ).
Congelación de BatchNorm: Un detalle crítico de implementación identificado por los autores: las capas de BatchNorm deben congelarse en modo de evaluación durante el desaprendizaje. Los lotes de olvido con homogeneidad de clase pueden corromper las estadísticas de ejecución si BatchNorm permanece en modo de entrenamiento, lo que conduce al colapso del modelo.

3. Contribuciones Clave

Instanciación Algorítmica de la Dualidad CL-MU: PURGE es el primer trabajo que adapta directamente el mecanismo de proyección de gradiente de A-GEM (un algoritmo de CL) como la herramienta constructiva primaria para el desaprendizaje de máquinas, proporcionando garantías formales de seguridad de retención por paso.
Objetivo de Confusión de Retención: La propuesta de un objetivo de divergencia KL basado en la confusión natural del modelo sobre los datos de retención, lo que mejora significativamente la resistencia a MIA en comparación con los objetivos de distribución uniforme.
Borrado de Capas Intermedias: Extensión del desaprendizaje a las activaciones de las capas intermedias para asegurar la eliminación profunda de la información.
Marco de Autorregulación: Eliminación del ajuste manual de épocas mediante criterios de parada duales (presupuesto de pérdida de retención y objetivo de FA).
Descubrimiento Empírico: Identificación del modo de falla de BatchNorm en el desaprendizaje a nivel de clase, un problema sutil pero crítico que afecta la estabilidad.

4. Resultados Experimentales

PURGE fue evaluado en cinco conjuntos de datos (CIFAR-10, MNIST, SVHN, STL10, PathMNIST) a través de 22 tareas de olvido a nivel de clase utilizando ResNet-18.

Compromiso Privacidad-Utilidad: PURGE mantiene consistentemente una Precisión de Retención (RA) por encima del 96% en todos los conjuntos de datos.
Privacidad (Resistencia a MIA): PURGE logra un AUROC de MIA cercano a 0.5 (el puntaje de indistinguibilidad ideal) en cuatro de los cinco conjuntos de datos. Por ejemplo, en CIFAR-10, alcanza un AUROC de 0.496.
Comparación con Baselines:
- A diferencia del Ascenso de Gradiente (que reduce la precisión de retención a ~38% en CIFAR-10) o SalUn (que carece de garantías formales de MIA), PURGE equilibra una alta utilidad de retención con una verdadera privacidad de membresía.
- Aunque la Precisión de Prueba (TA) de PURGE en CIFAR-10 (84.5%) es menor que la de SalUn (93.5%), los autores argumentan que este es un compromiso deliberado para lograr una privacidad genuina (MIA $\approx$ 0.5) en lugar de solo una baja precisión de olvido.
Eficiencia: PURGE converge en aproximadamente 1.75 épocas (menos de 200 segundos en CIFAR-10), ofreciendo una aceleración de $\sim$ 13 $\times$ respecto al reentrenamiento completo.
Borrado de Representación: Las métricas de distancia de Fréchet (FIDfeat) y similitud de coseno confirán que PURGE altera efectivamente las representaciones intermedias, acercándolas a las de un modelo reentrenado desde cero.

5. Significado y Reivindicaciones

El artículo afirma que PURGE proporciona un marco principista para el desaprendizaje de máquinas al aprovechar la dualidad con el aprendizaje continuo. Su significancia radica en:

Garantías Formales: Proporcionar una garantía por paso de que la pérdida de retención no aumentará, una característica ausente en los métodos de desaprendizaje basados en heurísticas.
Privacidad Robusta: Demostrar que apuntar a la "confusión natural" del modelo es superior a los objetivos uniformes artificiales para derrotar los Ataques de Inferencia de Membresía.
Guía Práctica: Ofrecer conocimientos críticos de implementación, como la necesidad de congelar las capas de BatchNorm, que a menudo se pasan por alto en la literatura de desaprendizaje.

Los autores reconocen limitaciones, incluyendo una brecha de precisión de prueba en comparación con algunos baselines, la falta de garantías formales de privacidad diferencial $(\epsilon, \delta)$ , y el alcance actual de la evaluación (ResNet-18, olvido de clase única). Sin embargo, postulan que la perspectiva de la dualidad CL-MU abre un espacio de diseño más amplio para futuros algoritmos de desaprendizaje.