💬 NLP

Deep Contrastive Unlearning for Language Models

Este artículo propone DeepCUT, un marco de desaprendizaje profundo que optimiza el espacio latente de los modelos de lenguaje mediante el aprendizaje contrastivo profundo para eliminar eficazmente datos de entrenamiento específicos preservando la calidad predictiva, abordando las limitaciones de los métodos existentes que ignoran las distribuciones geométricas de las muestras.

Autores originales: Estrid He, Tabinda Sarwar, Ibrahim Khalil, Xun Yi, Ke Wang

Publicado 2026-08-25

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Estrid He, Tabinda Sarwar, Ibrahim Khalil, Xun Yi, Ke Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En la era digital, nuestras vidas se registran cada vez más en texto: publicaciones en redes sociales, registros médicos, documentos legales y correos electrónicos privados. Los modelos de lenguaje de gran tamaño, los poderosos programas informáticos que pueden escribir, traducir y responder preguntas, se entrenan con vastos océanos de estos datos generados por humanos. Aprenden leyendo millones de estos ejemplos, absorbiendo patrones de lenguaje y conocimiento para convertirse en herramientas increíblemente útiles. Sin embargo, esta dependencia de los datos del mundo real crea un problema significativo. Si una persona decide que ya no quiere que su información privada sea utilizada, o si un dato resulta ser incorrecto o sensible, la forma actual de eliminarlo es borrar los datos y comenzar todo el proceso de entrenamiento desde cero. Para modelos que han tardado semanas en entrenarse con miles de millones de palabras, esto es como quemar una biblioteca solo para retirar un solo libro. Es demasiado lento, demasiado costoso y, a menudo, imposible de hacer rápidamente cuando las personas ejercen su derecho al olvido.

Para resolver esto, los investigadores han estado desarrollando un campo llamado desaprendizaje automático (machine unlearning). El objetivo es enseñar a un modelo a olvidar información específica sin tener que reentrenarlo por completo. Imagine a un estudiante que ha memorizado un libro de texto; el desaprendizaje automático pretende hacer que ese estudiante olvide un capítulo específico mientras sigue recordando todo lo demás, todo ello sin enviarlo de vuelta a la escuela para un nuevo año. Si bien existen algunos métodos para hacer esto con imágenes o datos simples, aplicarlo al complejo y matizado mundo del lenguaje ha resultado difícil. La mayoría de los intentos existentes se centran solo en las respuestas finales que da un modelo, tratando de influir en la salida para que ya no mencione el tema olvidado. Pero este enfoque a menudo deja la memoria subyacente de los datos intacta, oculta profundamente dentro de los cálculos internos del modelo, lista para resurgir.

Un equipo de investigadores de la Universidad RMIT ha propuesto un nuevo método llamado DeepCUT, que adopta un enfoque diferente al observar directamente cómo el modelo organiza la información dentro de su propia mente. En lugar de simplemente retocar las respuestas finales, DeepCUT reorganiza el mapa interno donde el modelo almacena su conocimiento. Los investigadores entrenaron un modelo de lenguaje con cuatro conjuntos de datos del mundo real diferentes, que van desde publicaciones ruidosas en redes sociales hasta literatura biomédica precisa. Luego pidieron al modelo que olvidara porciones específicas de estos datos, que variaban desde el uno por ciento hasta el diez por ciento del conjunto de entrenamiento total. Para probar si el olvido funcionó, midieron qué tan bien podía el modelo seguir respondiendo preguntas sobre los datos que se suponía debía haber olvidado, y qué tan bien mantenía su capacidad para manejar los datos que se suponía debía conservar.

Los resultados mostraron que los métodos anteriores eran a menudo ineficientes o incompletos. Simplemente continuar el entrenamiento del modelo con los datos restantes, una técnica conocida como olvido catastrófico, no logró borrar las memorias específicas del texto eliminado; el modelo aún recordaba los datos prohibidos con alta precisión. Otra estrategia común, que consiste en dividir los datos en trozos más pequeños y solo reentrenar las piezas afectadas, funcionó bien para eliminar los datos pero perjudicó significativamente la inteligencia general del modelo, haciéndolo menos preciso en tareas generales. En contraste, el método DeepCUT logró borrar con éxito las memorias específicas manteniendo intacto el rendimiento general del modelo. Cuando se probó con los datos que se suponía debía olvidar, la precisión del modelo DeepCUT cayó drásticamente, indicando que realmente había olvidado la información. Al mismo tiempo, mantuvo una alta precisión en los datos que se suponía debía recordar, funcionando tan bien como un modelo que hubiera sido totalmente reentrenado desde cero.

El secreto de este éxito reside en cómo el método manipula el espacio interno del modelo. Los investigadores trataron los puntos de datos como ubicaciones en un mapa. Para hacer que el modelo olvide una pieza específica de información, empujaron esa pieza de datos lejos de su propio grupo y la acercaron a grupos diferentes, desordenando efectivamente su identidad única dentro de la memoria del modelo. Este proceso asegura que el modelo ya no pueda reconocer las características específicas que hacían que ese dato fuera distinto, mientras deja el resto del mapa sin alteraciones. Los experimentos demostraron que este enfoque no solo fue efectivo para eliminar los datos, sino que también fue mucho más rápido que reentrenar todo el modelo. Al centrarse en la disposición geométrica de la información dentro del modelo, los investigadores encontraron una forma de eliminar quirúrgicamente los recuerdos no deseados, ofreciendo un camino práctico para proteger la privacidad en la era de la inteligencia artificial.

Resumen Técnico: Deep Contrastive Unlearning para Modelos de Lenguaje

Planteamiento del Problema

El rápido avance de los Modelos de Lenguaje Extensos (LLM) se basa en el entrenamiento con vastas cantidades de datos web, que incluyen contenido generado por usuarios que puede contener información personal sensible o material protegido por derechos de autor. Si bien los LLM demuestran capacidades poderosas, plantean riesgos significativos para la privacidad del usuario y la protección de datos, particularmente a la luz de regulaciones como el RGPD que exige el "derecho al olvido".

El desafío central es el desaprendizaje de máquinas (machine unlearning): el proceso de eliminar la influencia de muestras de entrenamiento específicas de un modelo sin tener que reentrenar todo el modelo desde cero. El reentrenamiento es computacionalmente prohibitivo para los LLM debido a su escala y al tiempo requerido para las rondas de entrenamiento. Los métodos de desaprendizaje existentes para los LLM se centran principalmente en mitigar el impacto de las muestras olvidadas en las distribuciones de salida del modelo (por ejemplo, probabilidades de clasificación). Sin embargo, estos enfoques a menudo no consideran u optimizan explícitamente las distribuciones geométricas de las muestras dentro del espacio latente del modelo. En consecuencia, pueden no borrar eficazmente las características discriminativas de los datos que se desean olvidar, lo que genera rastros de memoria residuales.

Metodología: DeepCUT

Para abordar estas limitaciones, los autores proponen Deep Contrastive Unlearning for Fine-Tuning (DeepCUT). Este marco opera optimizando directamente el espacio latente de un modelo de lenguaje ajustado (fine-tuned) para facilitar el olvido de muestras específicas mientras se preserva el rendimiento del modelo en los datos restantes.

La metodología consta de tres componentes principales:

Codificación y Aumento de Datos:
- El marco utiliza un codificador de LLM preentrenado para mapear oraciones de entrada en un espacio de incrustación (embedding) latente.
- Para facilitar el aprendizaje contrastivo dentro de un mini-lote (mini-batch), los autores emplean el aumento de datos mediante un dropout estándar. Al pasar una muestra por una capa de dropout dos veces con diferentes máscaras, generan múltiples vistas de la misma muestra ancla. Esto asegura la disponibilidad de muestras positivas (misma clase) dentro del lote, incluso cuando el tamaño del lote es pequeño o la clase específica está subrepresentada.
Objetivo de Desaprendizaje Contrastivo:
- A diferencia del aprendizaje contrastivo tradicional que atrae a las muestras positivas y aleja a las negativas, DeepCUT invierte esta lógica para los datos que se desean olvidar ( $D_f$ ).
- Para una muestra ancla $x_f$ en el conjunto de olvido, el modelo se ajusta para alejar su incrustación latente de instancias de su propia clase ( $D_y$ ) y atraerla hacia instancias de clases diferentes ( $D_{\neg y}$ ).
- Esto se logra utilizando una pérdida contrastiva modificada (inspirada en la pérdida FoCL), formulada como:
  $L_f = -\sum_{x_f \in D_f} \frac{1}{|D_{\neg y}|} \sum_{x_i \in D_{\neg y}} \log \frac{\exp(z_i^\top z_f / \tau)}{\exp(z_i^\top z_f / \tau) + \sum_{z_j \in D_y} \exp(z_j^\top z_f / \tau)}$
- Este proceso altera la representación aprendida de los datos olvidados, borrando eficazmente sus características discriminativas únicas y moviéndolas hacia las fronteras de decisión de otras clases.
Optimización Combinada:
- Para prevenir el olvido catastrófico de los datos restantes ( $D_r$ ), la pérdida de desaprendizaje ( $L_f$ ) se combina con la pérdida de entropía cruzada estándar ( $L_{CE}$ ) para las muestras retenidas.
- La función objetivo final es:
  $L = -\sum_{x_r \in D_r} \log \frac{\exp(\theta_{y_r}^\top z_r)}{\sum_c \exp(\theta_c^\top z_r)} + \gamma L_f$
- Aquí, $\gamma$ es un hiperparámetro que equilibra la retención del conocimiento útil y la eliminación de datos específicos.

Contribuciones Clave

El artículo describe tres contribuciones primarias:

Introducción del Marco: La propuesta de DeepCUT, un marco de desaprendizaje efectivo diseñado para olvidar selectivamente muestras específicas en modelos entrenados mediante la operación directa en el espacio latente.
Optimización del Espacio Latente: Un enfoque novedoso inspirado en el aprendizaje contrastivo que optimiza las distribuciones de las muestras dentro del espacio latente. Esto asegura la eliminación de características discriminativas específicas de las muestras a olvidar, en lugar de solo ajustar las probabilidades de salida.
Validación Empírica: Experimentos extensos en conjuntos de datos del mundo real que demuestran que DeepCUT puede olvidar eficientemente muestras especificadas sin degradar el rendimiento predictivo del modelo en los datos restantes.

Resultados Experimentales

Los autores evaluaron DeepCUT en cuatro conjuntos de datos de referencia en dos dominios: Redes Sociales (WNUT16, WNUT17) y Bioquímico (NCBI-Disease, ChEMU). El modelo fue comparado contra varias líneas base:

Retrain (Reentrenar): Desaprendizaje exacto mediante reentrenamiento completo (verdad fundamental/ground truth).
Fine-tune (Ajuste fino): Ajuste fino estándar sobre los datos restantes (dependiendo del olvido catastrófico).
Reverse Gradient (Gradiente Inverso): Reversión de gradientes del conjunto de olvido.
SISA: Técnica de fragmentación, aislamiento, segmentación y agregación (Sharding, Isolation, Slicing, and Aggregation).

Hallazgos Clave:

Efectividad del Desaprendizaje: DeepCUT alcanzó consistentemente la precisión más baja en el "conjunto de olvido" en todos los conjuntos de datos y configuraciones (tasas de eliminación del 1% y 10%), superando significativamente a líneas base como Reverse Gradient. Por ejemplo, en WNUT16 con una eliminación del 1%, DeepCUT redujo la precisión del conjunto de olvido al 32.25%, que es menor (indicando un desaprendizaje más efectivo) que el 54.55% logrado por el modelo de reentrenamiento de verdad fundamental y el 99.14% logrado por el método de Fine-tune estándar.
Preservación del Rendimiento: DeepCUT mantuvo una alta precisión en el "conjunto retenido" y en el "conjunto de prueba", comparable al modelo reentrenado y superior a SISA (que sufrió caídas de precisión debido a la fragmentación de datos).
Eficiencia: En términos de tiempo de ejecución, DeepCUT fue significativamente más rápido que la línea base "Retrain" y más eficiente que el enfoque "Fine-tune", que requería épocas extensas para lograr un olvido parcial. Aunque SISA era rápido, comprometía la precisión general del modelo.

Significado y Reivindicaciones

El artículo afirma que DeepCUT representa un paso significativo adelante en el desaprendizaje de máquinas para los LLM al cambiar el enfoque de la mitigación a nivel de salida hacia la optimización geométrica en el espacio latente. Los autores argumentan que los métodos existentes fallan al no abordar explícitamente la distribución de las muestras en el espacio latente, lo que conduce a un desaprendizaje incompleto. Al manipular directamente las incrustaciones latentes para borrar las características discriminativas, DeepCUT ofrece una solución más fundamentada, precisa y eficiente. Los resultados sugieren que la manipulación contrastiva del espacio latente es un enfoque viable y superior para garantizar el cumplimiento de la privacidad en modelos de lenguaje a gran escala sin los costos prohibitivos de un reentrenamiento completo.