🤖 machine learning

Natively Unlearnable Large Language Models

Este artículo presenta NULLs (Natively Unlearnable LLMs), una arquitectura de modelo que utiliza neuronas de columna vertebral compartidas y sumideros específicos de la fuente activados de forma dispersa para permitir un desaprendizaje eficiente, robusto y libre de datos de fuentes de entrenamiento individuales, preservando al mismo tiempo los beneficios del aprendizaje conjunto y las capacidades lingüísticas generales.

Autores originales: Gaurav R. Ghosal, Pratyush Maini, Aditi Raghunathan

Publicado 2026-06-15

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Gaurav R. Ghosal, Pratyush Maini, Aditi Raghunathan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás construyendo una biblioteca masiva de conocimiento dentro de un cerebro gigante (un Modelo de Lenguaje Extenso o LLM). Normalmente, cuando le enseñas a este cerebro, lo mezclas todo. Si le enseñas un dato sobre "Harry Potter" y un dato sobre la "Segunda Guerra Mundial", esos recuerdos se enredan en las mismas neuronas. Si después necesitas eliminar el recuerdo de "Harry Potter" debido a una solicitud legal, es como intentar cortar un solo hilo de un suéter sin deshilacharlo por completo. Podrías borrar accidentalmente la lección de historia o el recuerdo de Harry Potter podría volver a colarse.

Este artículo presenta una nueva forma de construir estos cerebros de IA llamados NULLs (LLMs Nativamente Inaprendibles). En lugar de mezclar todo en un gran montón, los NULLs construyen el cerebro con un "sistema de clasificación" especial desde el primer día.

Así es como funciona, usando analogías simples:

1. La "Cocina Compartida" frente a los "Casilleros Personales"

Piensa en el cerebro de la IA como si tuviera dos tipos de almacenamiento:

La Cocina Compartida (El Esqueleto/Backbone): Aquí es donde la IA aprende cosas generales que se aplican a todo, como la gramía, cómo formar oraciones o hechos comunes sobre el mundo (por ejemplo, "París está en Francia"). Todos usan esta cocina.
Los Casilleros Personales (Los Sinks): Esta es la nueva invención. Para cada fuente específica de información (como un único artículo de Wikipedia o un libro específico), la IA recibe un conjunto único de "casilleros" (neuronas) que solo esa fuente puede usar.

Cuando la IA aprende un hecho que es único para un artículo (como el nombre de un denunciante específico en una noticia), naturalmente almacena ese hecho en el Casillero Personal de ese artículo. Cuando aprende un hecho general (como que "los denunciantes son importantes"), eso va a la Cocina Compartida.

2. El Interruptor Mágico (Desaprendizaje)

En la IA estándar, si quieres olvidar algo, tienes que reentrenar todo el cerebro o intentar eliminar pesos quirúrgicamente, lo cual suele romper otras cosas.

Con los NULLs, el "desaprendizaje" es tan simple como apagar un interruptor de luz.

Si un editor dice: "Elimine ese artículo específico de nuestro modelo", no necesitas reentrenar. Simplemente desactivas el "Casillero Personal" asignado a ese artículo.
La IA olvida instantáneamente los detalles únicos de ese artículo porque su casillero está cerrado.
Sin embargo, la Cocina Compartida permanece abierta. La IA todavía conoce los hechos generales sobre el tema porque esos están almacenados en el área común, no en el casillero específico.

Es como si tuvieras una casa con una sala de estar compartida y un dormitorio para cada invitado. Si un invitado se va, solo tienes que cerrar la puerta de su dormitorio. La sala de estar (donde todos pasan el tiempo) permanece exactamente igual, y la casa no se desmorona.

3. Lo que el artículo descubrió

Los investigadores probaron esta idea de dos maneras principales:

La Prueba de Wikipedia (Granularidad Fina): Entrenaron un modelo con 6 millones de artículos de Wikipedia. Querían ver si podían eliminar solo un artículo sin borrar el conocimiento general encontrado en artículos similares.
- Resultado: Cuando "bloquearon" el casillero de un artículo, el modelo olvidó los detalles únicos de ese artículo pero mantuvo el conocimiento general compartido por otros artículos. Funcionó casi tan bien como si hubieran desechado el artículo y reentrenado el modelo desde cero (lo cual suele ser demasiado costoso de hacer).
La Prueba de Harry Potter (Granularidad Gruesa): Entrenaron un modelo con toda la serie de libros de Harry Potter y luego intentaron eliminar todo el conocimiento de Harry Potter.
- Resultado: Cuando apagaron el "casillero de Harry Potter", el modelo dejó de hablar de magos y empezó a hablar de cosas normales (como reuniones del consejo municipal) cuando se le provocaba con frases de Harry Potter.
- Bonus: Intentaron engañar al modelo para que recordara a Harry Potter nuevamente usando prompts "adversarios" o re-enseñándole un poco. Los modelos de IA estándar fallaron y recordaron los libros rápidamente. El modelo NULL, sin embargo, se mantuvo "desaprendido" y resistió estos trucos.

4. ¿Hace la IA más tonta?

Una gran preocupación es que, si se separan los recuerdos, la IA podría volverse peor en tareas generales. El artículo probó esto en estándares de lenguaje (como responder preguntas científicas o resolver acertijos lógicos).

Resultado: El modelo NULL funcionó tan bien como una IA estándar no especializada. No perdió su inteligencia general.

Resumen

El artículo argumenta que no deberíamos esperar hasta después de entrenar una IA para averiguar cómo borrar datos. En su lugar, debemos construir el "botón de borrar" directamente en la arquitectura. Al darle a cada fuente de datos su propio "casillero" dedicado mientras comparten una "cocina" común, podemos eliminar quirúrgicamente información específica sin romper el resto del modelo o necesitar reentrenar todo desde cero.

Resumen Técnico: Modelos de Lenguaje de Gran Escala Nativamente No Aprendibles (NULLs)

1. Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) se entrenan con conjuntos de datos a escala web que a menudo contienen material protegido por derechos de autor, información personal y contenido regulado. Los requisitos legales y éticos pueden hacer necesario la eliminación de fuentes de datos específicas (desaprendizaje o unlearning) de un modelo desplegado. Sin embargo, el entrenamiento estándar entrelaza todas las fuentes de datos en un único conjunto compartido de pesos mediante el descenso de gradiente, lo que dificza el aislamiento de la contribución de cualquier fuente individual.

Los enfoques existentes enfrentan una disyuntiva:

Desaprendizaje post-hoc: Aplica actualizaciones correctivas después del entrenamiento. Aunque esto preserva el aprendizaje conjunto, la influencia del objetivo permanece entrelazada en los pesos compartidos, lo que conduce a una eliminación incompleta, degradación del conocimiento relacionado y vulnerabilidad al re-aprendizaje adversarial.
Aislamiento de fuentes (Mezcla de Expertos - Mixture-of-Experts): Entrena modelos o módulos separados para cada fuente. Si bien esto facilita la eliminación, impide el aprendizaje conjunto entre fuentes, sacrificando los beneficios de la generalización y fallando al escalar a fuentes de grano fino (por ejemplo, millones de documentos individuales).

El desafío central es lograr el desaprendizaje a nivel de fuente sin sacrificar el aprendizaje conjunto y las capacidades de generalización.

2. Metodología: Arquitectura NULLs

Los autores proponen NULLs (Natively Unlearnable LLMs), una clase de modelo diseñada para satisfacer los objetivos opuestos de aislar las contribuciones específicas de cada fuente mientras se aprende conjuntamente a través de ellas.

Modificaciones de la Arquitectura:

Backbone y Sinks (Sumideros): El modelo modifica las capas Totalmente Conectadas (MLP) del transformador. Los neuronas ocultas se particionan en dos conjuntos:
1. Backbone Compartido ( $N_{gen}$ ): Un conjunto de neuronas activas para todas las entradas, responsables de aprender capacidades generales e información compartida entre fuentes.
2. Pool de Sumideros de Memorización ( $N_{pool}$ ): Un pool más grande de neuronas donde se localiza la información específica de la fuente.
Máscaras de Activación Dispersa: A cada fuente de datos $S_i$ $S_{i}$ se le asigna una máscara determinista y dispersa sobre el pool de sumideros. Esta máscara se genera a partir del identificador de la fuente utilizando un generador de números pseudoaleatorios.
- Durante el entrenamiento, un documento activa las neuronas del backbone compartido más un subconjunto específico de neuronas del sumidero definido por su máscara.
- La relación entre las neuronas del sumidero activas y el total del pool ( $N_{source}/N_{pool}$ ) es el ratio de solapamiento, que controla la interferencia entre fuentes.
Dinámica de Entrenamiento: El mecanismo se basa en el principio de que el backbone compartido recibe actualizaciones de gradiente de todas las fuentes, creando interferencia para los hechos específicos de la fuente. Por el contrario, las neuronas del sumidero son activas solo para una fracción de las fuentes, recibiendo menos interferencia. En consecuencia, los hechos específicos de la fuente se "ajustan" en los sumideros antes que en el backbone, mientras que los hechos compartidos se acumulan en el backbone.
Mecanismo de Desaprendizaje: En el momento de la inferencia, el desaprendizaje se realiza deshabilitando la máscara del sumidero correspondiente a la fuente objetivo. Esto puede hacerse mediante:
- Sink-Off (Apagado del sumidero): Dirigir la entrada al sumidero de la fuente más cercana (por similitud de embeddings) o simplemente no aplicar la máscara objetivo.
- Eliminación Permanente: Poner a cero los parámetros de las neuronas activas en la máscara de la fuente objetivo.
- Crucialmente, esto requiere ninguna actualización de gradiente y ningún acceso a los datos retenidos.

3. Contribuciones Clave

No aprendibilidad Nativa: NULLs integra el desaprendizaje directamente en la estructura del modelo, eliminando la necesidad de actualizaciones de pesos post-hoc.
Escalabilidad: Al utilizar máscaras dispersas sobre un pool de sumideros compartido, NULLs puede manejar un número combinatorio de fuentes (por ejemplo, ~6 millones de artículos de Wikipedia) sin aumentar linealmente el recuento de parámetros.
Desentrelazamiento sin Supervisión: El método aísla automáticamente el conocimiento específico de la fuente sin requerir supervisión explícita para identificar qué información pertenece a qué fuente.
Robustez: La arquitectura resiste ataques de extracción y re-aprendizaje adversarial que típicamente revierten el desaprendizaje post-hoc.

4. Resultados Experimentales

Los autores evaluaron NULLs en dos casos de estudio:

A. Desaprendizaje a Nivel de Artículo (Wikipedia)

Configuración: Un modelo de 1B de parámetros entrenado con ~6 millones de artículos de Wikipedia.
Hallazgos:
- Eliminación Quirúrgica: Deshabilitar el sumidero de un artículo específico redujo drásticamente la capacidad de recuperación de hechos únicos de ese artículo (Ratio de Verdad $\approx$ 0) mientras preservaba los hechos compartidos con artículos semánticamente relacionados.
- Comparación con el Re-entrenamiento: El rendimiento de NULLs (Sink-Off) se acercó estrechamente a un modelo de referencia re-entrenado desde cero sin el artículo objetivo.
- Contraste con Baselines: Los métodos de gradiente post-hoc (por ejemplo, NPO, ascenso de gradiente) degradaron el conocimiento compartido al mismo ritmo que el conocimiento específico de la fuente, fallando en distinguir entre ambos.

B. Desaprendizaje a Nivel de Tema (Harry Potter)

Configuración: Un modelo de 1B de parámetros entrenado con una mezcla del corpus C4 y los 7 libros de Harry Potter.
Hallazgos:
- Cambio de Comportamiento: Deshabilitar el sumidero de "Harry Potter" eliminó las referencias a los libros en el texto generado, cambiando el tema hacia contenido no relacionado mientras mantenía la coherencia.
- Robustez Adversarial:
  - Extracción: NULLs (Sink-Off) resistió la extracción mediante prompts adversariales (optimización GCG) para provocar el texto desaprendido, igualando el rendimiento de un modelo que nunca fue entrenado con los libros.
  - Re-aprendizaje: Cuando se realizó un ajuste fino (fine-tuning) con un pequeño subconjunto de datos de Harry Potter, un transformador estándar con desaprendizaje post-hoc recuperó rápidamente la información desaprendida (en 10 pasos). En contraste, NULLs (Sink-Off) exhibió dinámicas de re-aprendizaje idénticas a las de un modelo que nunca había visto los datos.

C. Capacidades Generales y Escalabilidad

Preservación de Capacidades: NULLs igualó a los transformadores estándar en benchmarks de tareas descendentes (ARC-E, Winogrande, PIQA, SciQ) y mantuvo la capacidad de conocimiento en hechos específicos de artículos.
Sensibilidad del Pool de Sumideros: Aumentar el tamaño del pool de sumideros (reduciendo el solapamiento) mejoró la capacidad de memorización sin debilitar significativamente la capacidad de desaprendizaje. El tamaño del pool de sumideros determina principalmente cuánto se aprende, no si puede ser desaprendido.

5. Significado y Reivindicaciones

El artículo afirma que el desaprendizaje a nivel de fuente no tiene por qué ser algo posterior al entrenamiento, sino que puede integrarse nativamente en el entrenamiento de los LLMs.

Reconciliación de Objetivos: NULLs demuestra que desentrelazar las contribuciones de las fuentes y aprender conjuntamente a través de ellas no son objetivos excluyentes.
Control Nativo: Permite el control sobre modelos grandes al nivel de sus datos, no solo de sus salidas.
Atribución: Debido a que las contribuciones de las fuentes permanecen desentrelazadas, las salidas del modelo pueden atribuirse a fuentes de datos de pre-entrenamiento específicas, y la influencia de cualquier fuente individual puede medirse directamente activando o desactivando su sumidero.

Los autores señalan limitaciones, incluyendo el uso de modelos de 1B de parámetros y la dependencia de definiciones de fuentes predefinidas en el momento del entrenamiento, reconociendo que manejar solicitudes de desaprendizaje para fuentes no definidas sigue siendo un problema abierto. Sin embargo, los resultados sugieren que la no aprendibilidad nativa es un camino viable hacia sistemas de IA conformes y controlables.