🤖 machine learning

LoTUS: Large-Scale Machine Unlearning with a Taste of Uncertainty

El artículo presenta LoTUS, un método de desaprendizaje automático novedoso y eficiente que elimina la influencia de las muestras de entrenamiento de los modelos preentrenados mediante el suavizado de las probabilidades de predicción hacia un límite de teoría de la información, superando así a los modelos de referencia del estado del arte tanto en conjuntos de datos estándar como a gran escala sin requerir reentrenamiento.

Autores originales: Christoforos N. Spartalis, Theodoros Semertzidis, Petros Daras, Efstratios Gavves

Publicado 2026-06-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Christoforos N. Spartalis, Theodoros Semertzidis, Petros Daras, Efstratios Gavves

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes a un estudiante muy inteligente que se ha memorizado un libro de texto masivo. Este estudiante es tan bueno que puede recitar hechos específicos sobre cada una de las páginas. Pero ahora, imagina una situación en la que algunas páginas de ese libro fueron escritas por alguien que quiere permanecer en el anonimato, o quizás esas páginas contienen información sensible que necesita ser borrada.

Quieres que el estudiante "olvide" esas páginas específicas por completo, como si nunca las hubiera visto, sin tener que enviar al estudiante de vuelta a la escuela para que vuelva a leer todo el libro desde el principio. Ese es el problema del Desaprendizaje de Máquinas (Machine Unlearning).

El artículo presenta un nuevo método llamado LoTUS (Estrategia de Desaprendizaje de Templado de Logits) para resolver esto. Así es como funciona, usando analogías simples:

El Problema: El Estudiante "Excesivamente Confiado"

Los modelos de aprendizaje profundo (como el estudiante) a menudo "memorizan" detalles específicos de los datos con los que fueron entrenados. Si le muestras la foto de un gato con una cicatriz única, no solo aprende "gato"; aprende "gato con esa cicatriz específica".

Debido a esta memorización, el modelo se vuelve excesivamente confiado. Dice: "¡Estoy 99.9% seguro de que este es ese gato específico!". Esto es peligroso porque revela que el modelo ha visto esa imagen específica antes. Los hackers pueden usar esta excesiva confianza para averiguar si la foto de una persona específica estaba en los datos de entrenamiento (un ataque de privacidad).

La Solución: LoTUS (La Estrategia de "Enfriamiento")

En lugar de reentrenar todo el modelo (que es como hacer que el estudiante vuelva a leer toda la biblioteca), LoTUS "enfría" suavemente la confianza del modelo en las imágenes específicas que debe olvidar.

Piensa en la salida del modelo como un rayo láser caliente y afilado. LoTUS convierte ese láser en un foco de luz suave y difuso.

Suavizado de las Probabilidades: El método toma las predicciones del modelo para las imágenes de "olvido" y hace que sean menos seguras. Distribuye la confianza para que el modelo ya no esté tan seguro de esos detalles específicos.
El Objetivo del "Estándar de Oro": El objetivo es hacer que el modelo actúe ante esas imágenes de "olvido" exactamente como habría actuado si nunca las hubiera visto. Si el modelo nunca hubiera visto al "gato con la cicatriz", sería menos seguro de él. LoTUS obliga al modelo a ser menos seguro, imitando ese estado de "nunca haberlo visto".
La Perilla de Temperatura: El método utiliza un ajuste de "temperatura" (como un termostato).
- Si el modelo sigue siendo demasiado confiado (demasiado caliente), el sistema sube la temperatura para que las predicciones sean más aleatorias e inciertas.
- Si el modelo se confunde demasiado (demasiado frío), el sistema baja la temperatura para volver a enfocar la precisión.
- Ajusta constantemente esta perilla hasta que el comportamiento del modelo ante las imágenes de "olvido" coincida con el comportamiento de un modelo que nunca las vio.

La Nueva Herramienta: La "Hoja de Calificación Sin Re-evaluación"

Normalmente, para demostrar que hiciste que un estudiante olvidara algo, tienes que enviarlo de vuelta a la escuela, re-enseñarle todo sin las páginas malas, y comparar las dos versiones. Esto es costoso y lento.

Los autores inventaron una nueva forma de revisar el trabajo llamada RF-JSD (Divergencia de Jensen-Shannon Sin Re-entrenamiento).

La Analogía: En lugar de re-enseñar al estudiante y comparar las dos versiones, simplemente miras las respuestas actuales del estudiante y las comparas con una "caja misteriosa" de preguntas nuevas y no vistas.
Si las respuestas del estudiante a las preguntas de "olvido" se parecen a sus respuestas a las preguntas "nuevas" (donde no tiene memoria), sabes que ha olvidado con éxito.
Esto permite verificar las filtraciones de privacidad sin necesidad de reentrenar el modelo, lo cual es crucial para conjuntos de datos enormes como ImageNet donde el reentrenamiento es imposible.

Qué Encontraron

Los investigadores probaron LoTUS en varios modelos (como Vision Transformers y ResNet) y conjuntos de datos (desde pequeños como CIFAR hasta el masivo ImageNet).

Mejor que el resto: LoTUS fue más rápido y efectivo que todos los otros métodos con los que lo compararon.
Funciona con grandes datos: Lograron usarlo en ImageNet (más de 1 millón de imágenes), un escenario donde el reentrenamiento es prácticamente imposible.
Evita el "Efecto Streisand": A veces, cuando intentas ocultar algo, lo haces resaltar más. LoTUS evita esto; no se limita a hacer que el modelo se equivoque (lo cual sería obvio); hace que el modelo sea genuinamente incierto, que es el estado natural de no saber.

En Resumen

LoTUS es un "borrador" inteligente para la IA. No borra todo el libro; simplemente difumina suavemente las páginas específicas que deben olvidarse, asegurando que la IA no sea demasiado confiada sobre ellas, todo esto mientras ahorra una cantidad masiva de tiempo y potencia informática. También construyeron una nueva regla (RF-JSD) para medir qué tan bien funcionó el borrado sin necesidad de reconstruir toda la máquina.

Resumen Técnico: LoTUS – Aprendizaje de Olvido a Gran Escala con un Toque de Incertidumbre

1. Planteamiento del Problema

El Aprendizaje de Olvido (Machine Unlearning o MU) tiene como objetivo eliminar la influencia de muestras de entrenamiento específicas (el "conjunto de olvido") de un modelo preentrenado sin tener que reentrenar el modelo desde cero. Esto es crítico para la protección de la privacidad, el cumplimiento de derechos de autor y la mitigación de sesgos. Sin embargo, los métodos existentes enfrentan tres desafíos principales:

Eficiencia: Reentrenar desde cero (el "estándar de oro") es computacionalmente prohibitivo, especialmente para conjuntos de datos a gran escala como ImageNet1k.
Accesibilidad de Datos: En escenarios del mundo real, el acceso total a los datos de entrenamiento originales suele estar restringido debido a políticas de privacidad o limitaciones de almacenamiento, lo que hace que el reentrenamiento sea imposible.
Efectividad vs. Retención: Los métodos deben eliminar eficazmente la influencia de las muestras de olvido mientras preservan la utilidad del modelo sobre los datos restantes. Los enfoques actuales a menudo luchan por equilibrar estos objetivos contrapuestos o fallan en aproximar con precisión el rendimiento del modelo estándar de oro.

Las técnicas de olvido actuales generalmente se dividen en olvido exacto (estadísticamente indistinguible del reentrenamiento, pero a menudo inviable) o olvido aproximado (utilizando diversas métricas para medir la proximidad al estándar de oro). Existe una brecha significativa en los métodos que pueden operar de manera eficiente en modelos a gran escala bajo restricciones de datos realistas y que, al mismo tiempo, proporcionen métricas de evaluación robustas que no requieran un modelo de oro estándar reentrenado.

2. Metodología: LoTUS

Los autores proponen LoTUS (Estrategia de Olvido de Templado de Logits), un enfoque novedoso que opera directamente en el espacio de salida del modelo utilizando un marco de información teórica.

Concepto Central: Entropía e Incertidumbre

LoTUS aborda la tendencia de las Redes Neuronales Profundas (DNN) a memorizar características específicas de las muestras, lo que conduce a predicciones excesivamente confiadas en los datos de entrenamiento. Esta sobreconfianza es una vulnerabilidad explotada por los Ataques de Inferencia de Membresía (MIA). LoTUS busca suavizar las probabilidades de predicción de las muestras de olvido para aumentar su entropía, haciendo que la respuesta del modelo a estas muestras se asemeje a su respuesta ante datos no vistos.

Marco Teórico

El método se fundamenta en la separación de la información global (características compartidas entre clases, por ejemplo, la forma general de un gato) y la información específica de un subconjunto (características únicas de muestras específicas, por ejemplo, patrones de pelaje únicos).

Objetivo: Eliminar la información específica del subconjunto ( $I(f_{orig}(X_f); X_f | X)$ ) mientras se retiene la información global ( $I(f_{orig}(X_f); X)$ ).
Aproximación: Dado que estimar la información mutua directamente es computacionalmente intensivo, LoTUS aproxima el objetivo de olvido igualando la precisión del modelo de olvido en el conjunto de olvido ( $D_f$ ) con la precisión del modelo original preentrenado en un conjunto no visto ( $D_u$ ):
$Acc(f_{un}, D_f) = Acc(f_{orig}, D_u)$
Aquí, $D_u$ puede ser un conjunto de validación o datos sintéticos. Esto asegura que el modelo de olvido no retenga la confianza "memorizada" que tenía sobre $D_f$ .

Implementación: Temperatura Dinámica y Ruido Gumbel

LoTUS emplea un marco de destilación de conocimiento donde un modelo estudiante ( $f_{un}$ ) aprende de un modelo profesor ( $f_{orig}$ ).

Perturbación Gumbel-Softmax: Los logits del profesor se perturban utilizando ruido Gumbel ( $g \sim \text{Gumbel}(0,1)$ ) y un parámetro de temperatura ( $\tau$ ) a través de la función Gumbel-Softmax. Esto introduce estocasticidad y permite un muestreo diferenciable.
Ajuste de Temperatura Dinámica: La temperatura $\tau_d$ $τ_{d}$ se ajusta dinámicamente en cada época basándose en la brecha de precisión entre el estudiante en el conjunto de olvido y el profesor en el conjunto no visto:
$\tau_d = \exp(\alpha \cdot (Acc(f_{un}, D_f) - Acc(f_{orig}, D_u)))$
- Si el estudiante es demasiado preciso en $D_f$ (indicando memorización), $\tau_d > 1$ , suavizando las probabilidades para aumentar la entropía.
- Si el estudiante es demasiado impreciso (sobre-olvido), $\tau_d < 1$ , agudizando las probabilidades para restaurar la utilidad.
Función de Pérdida: La función de pérdida combina un término de "olvido" (usando la salida perturbada del profesor con $\tau_d$ dinámico) y un término de "retención" (usando la salida del profesor con $\tau \to 0$ para agudizar las predicciones y preservar la utilidad en el conjunto de retención).

3. Contribuciones Clave

Algoritmo LoTUS: El primer método de olvido que opera directamente en el espacio de salida utilizando un límite de información teórica. Controla la incertidumbre mediante un parámetro de temperatura dinámica, evitando la maximización indiscriminada de la entropía.
Métrica RF-JSD: La introducción de la Divergencia de Jensen-Shannon Libre de Reentrenamiento (RF-JSD). Esta métrica evalúa la efectividad del olvido comparando la salida del modelo de olvido en el conjunto de olvido contra la salida del modelo original en un conjunto no visto. Elimina la necesidad de un modelo de oro estándar reentrenado, lo que la hace adecuada para escenarios de gran escala en el mundo real. RF-JSD muestra una fuerte correlación de Pearson ( $0.92 \pm 0.04$ ) con la puntuación JSD establecida.
Configuración Experimental a Gran Escala: Un marco de evaluación novedoso que utiliza el conjunto de datos ImageNet1k (1.2M de muestras) con acceso restringido a los datos, simulando condiciones donde el reentrenamiento es inviable.

4. Resultados Experimentales

Los autores evaluaron LoTUS en arquitecturas Vision Transformer (ViT) y ResNet18 a través de cinco conjuntos de datos: CIFAR-10, CIFAR-100, MUFAC, TinyImageNet e ImageNet1k.

Efectividad: LoTUS superó consistentemente a ocho líneas base del estado del arte (incluyendo Finetuning, NegGrad+, SalUn y SCRUB) en términos de la métrica Avg Gap (que equilibra el olvido y la retención) y JSD (que mide la similitud de la distribución con el estándar de oro y la resiliencia al efecto Streisand).
Eficiencia: LoTUS demostró una eficiencia computacional superior, requiriendo a menudo menos tiempo que las líneas base. Esto se atribuye a su capacidad para utilizar solo un pequeño porcentaje de muestras de retención (30%) y su complejidad lineal en los cálculos auxiliares.
Rendimiento a Gran Escala: En ImageNet1k, donde el reentrenamiento era imposible, LoTUS logró el puntaje RF-JSD más bajo (1.11 frente a 1.22 del modelo original, y superior para las líneas base), lo que indica un olvido efectivo. También preservó de manera única la Precisión de Retención mientras reducía significamente la precisión de los Ataques de Inferencia de Membresía (MIA).
Robustez: El método se mantuvo efectivo incluso cuando el conjunto no visto consistía en datos sintéticos generados por IA (CIFAKE), validando la relajación del supuesto de similitud de distribución.

5. Significado y Reivindicaciones

El artículo afirma que LoTUS representa un avance significativo en el aprendizaje de olvido al:

Cerrar la Brecha: Proporcionar un método que es tanto efectivo como eficiente para modelos a gran escala donde el reentrenamiento es poco práctico.
Aplicabilidad en el Mundo Real: La introducción de la métrica RF-JSD permite una evaluación rigurosa en escenarios donde el modelo de oro estándar no está disponible, una restricción común en industrias sensibles a la privacidad.
Rigor Teórico: Ir más allá de los enfoques heurísticos al fundamentar el proceso de olvido en la teoría de la información, apuntando específicamente a la eliminación de la información específica del subconjunto mientras se preserva la utilidad global.
Superioridad: Demostrar que LoTUS supera a los métodos actuales del estado del arte al equilibrar la compensación entre olvidar datos específicos y mantener el rendimiento del modelo, además de mitigar el efecto Streisand (donde el olvido inadvertidamente hace que los datos sean más identificables).

Los autores señalan que, aunque el marco se extiende al olvido de clases, su validación experimental principal se centra en el olvido de instancias. El trabajo se presenta como un paso hacia un aprendizaje automático escalable y preservador de la privacidad en entornos con restricciones.